RUI个人博客 首页>>Kafka

kafka并发写大消息TimeoutException排查记录

kafka并发写大消息TimeoutException排查记录

前言 先简单介绍下我们的使用场景,线上5台Broker节点的kafka承接了所有binlog订阅的数据,用于Flink组件接收数据做数据中台的原始数据。昨儿开发反馈,线上的binlog大量报错,都是kafka的异常,而且都是同一条topic抛的错,特征也很明显,发送的消息体非常大,主观判断肯定是写入大消息导致的超时了,异常详情如下: thread: kafka-producer-network-thread | producer-1throwable: org.apache.kafka.common.erro...

阅读全文 »

spring boot集成kafka之spring-kafka深入探秘

spring boot集成kafka之spring-kafka深入探秘

前言 kafka是一个消息队列产品,基于Topicpartitions的设计,能达到非常高的消息发送处理性能。Spring创建了一个项目Spring-kafka,封装了Apache 的Kafka-client,用于在Spring项目里快速集成kafka。除了简单的收发消息外,Spring-kafka还提供了很多高级功能,下面我们就来一一探秘这些用法。 项目地址: https://github.com/spring-projects/spring-kafka 简单集成 引入依赖 dependency groupIdorg.springframework.kafka/groupId ar...

阅读全文 »

IDEA导入Spring-kafka项目Gradle编译失败

IDEA导入Spring-kafka项目Gradle编译失败

前言 最近在弄kafka相关的东东,因为是spring boot工程,所以用到了Spring-kafka,一个包含了kafka-producer和kafka- consumer自动装配的依赖。为了进一步研究spring是如何封装的kafka官方客户端的细节,所以从github上拉到了源码准备研究下,在导入到IDEA中时,因为Spring-kafka工程使用的是Gradle,导入时就编译失败了,导入工程失败。 Spring-kafka地址: https://github.com/spring-projects/spring-kafka 异常信息如下...

阅读全文 »

Windows环境下Flink消费Kafka实现热词统计

Windows环境下Flink消费Kafka实现热词统计

前言碎语 昨天博主写了 《windows环境下flink入门demo实例》 实现了官方提供的最简单的单词计数功能,今天升级下,将数据源从socket流换成生产级的消息队列kafka来完成一样的单词计数功能。本文实现的重点主要有两个部分,一是kafka环境的搭建,二是如何使用官方提供的flink-connector-kafka_2.12来消费kafka消息,其他的逻辑部分和上文类似。 进入正题 本篇博文涉及到的软件工具以及下载地...

阅读全文 »