前言 先简单介绍下我们的使用场景，线上5台Broker节点的kafka承接了所有binlog订阅的数据，用于Flink组件接收数据做数据中台的原始数据。昨儿开发反馈，线上的binlog大量报错，都是kafka的异常，而且都是同一条topic抛的错，特征也很明显，发送的消息体非常大，主观判断肯定是写入大消息导致的超时了，异常详情如下： thread: kafka-producer-network-thread | producer-1throwable: org.apache.kafka.common.erro...

阅读全文 »

前言 kafka是一个消息队列产品，基于Topicpartitions的设计，能达到非常高的消息发送处理性能。Spring创建了一个项目Spring-kafka，封装了Apache 的Kafka-client，用于在Spring项目里快速集成kafka。除了简单的收发消息外，Spring-kafka还提供了很多高级功能，下面我们就来一一探秘这些用法。 项目地址： https://github.com/spring-projects/spring-kafka 简单集成 引入依赖 dependency groupIdorg.springframework.kafka/groupId ar...

阅读全文 »

前言 最近在弄kafka相关的东东，因为是spring boot工程，所以用到了Spring-kafka，一个包含了kafka-producer和kafka- consumer自动装配的依赖。为了进一步研究spring是如何封装的kafka官方客户端的细节，所以从github上拉到了源码准备研究下，在导入到IDEA中时，因为Spring-kafka工程使用的是Gradle，导入时就编译失败了，导入工程失败。 Spring-kafka地址： https://github.com/spring-projects/spring-kafka 异常信息如下...

阅读全文 »

前言碎语 昨天博主写了 《windows环境下flink入门demo实例》 实现了官方提供的最简单的单词计数功能，今天升级下，将数据源从socket流换成生产级的消息队列kafka来完成一样的单词计数功能。本文实现的重点主要有两个部分，一是kafka环境的搭建，二是如何使用官方提供的flink-connector-kafka_2.12来消费kafka消息，其他的逻辑部分和上文类似。 进入正题 本篇博文涉及到的软件工具以及下载地...

阅读全文 »