kafka并发写大消息TimeoutException排查记录

kafka并发写大消息TimeoutException排查记录

前言 先简单介绍下我们的使用场景,线上5台Broker节点的kafka承接了所有binlog订阅的数据,用于Flink组件接收数据做数据中台的原始数据。昨儿开发反馈,线上的binlog大量报错,都是kafka的异常,而且都是同一条topic抛的错,特征也很明显,发送的消息体非常大,主观判断肯定是写入大消息导致的超时了,异常详情如下: thread: kafka-producer-network-thread | producer-1throwable: org.apache.kafka.common.erro...

阅读全文 »

记web.xml中Maven占位符不生效问题

记web.xml中Maven占位符不生效问题

问题背景 开发反馈,一个spring mvc的web项目,在web.xml配置的占位符不生效,编译后还是没有替换成配置的属性,如下: context-param param-namelogbackConfigLocation/param-name param-valueclasspath:${ loagback.xml.path:logback.xml }/param-value /context-param 问题分析 先了解下,为什么在Maven中可以通过${xx}这种占位符的方式在编译期可以获取到Maven中的Properties属性信息呢?因为Maven提供了一个插件在起作用 maven-resource...

阅读全文 »

记spring-boot项目启动卡住问题排查记录

记spring-boot项目启动卡住问题排查记录

问题背景 一个spring boot开发的项目,spring boot版本是1.5.7,携带的spring版本是4.1.3。开发反馈,突然在本地启动不起来了,表象特征就是在本地IDEA上运行时,进程卡住也不退出,应用启动时加载相关组件的日志也不输出。症状如下图: 问题分析 因为没有有用的日志信息,所以不能从日志这个层面上排查问题。但是像这种没有输出日志的话,一般情况下,肯定是程序内部启动流程卡在什...

阅读全文 »

j2Cache线上异常问题排查记录

j2Cache线上异常问题排查记录

问题背景 开发反馈,线上有个服务在运行一段时间后,就会抛异常导致redis缓存不可用。项目使用了j2Caceh,异常是j2Cache的RedisCacheProvider抛出来的,如: Exception in thread \"main\" redis.clients.jedis.exceptions.JedisException: Could not get a resource from the poolat redis.clients.util.Pool.getResource(Pool.java:51)at redis.clients.jedis.JedisPool.getResource(JedisPool.java:99)at net.oschina.j2cache.redis.RedisCacheProvider.getResource(RedisCacheProvider.ja...

阅读全文 »

Elasticsearch写入瓶颈导致skywalking大盘空白

Elasticsearch写入瓶颈导致skywalking大盘空白

前言 本文首发于博主所在公司凯京官方博客,欢迎关注: https://my.oschina.net/keking/ 继上次skywalking出故障《 https://my.oschina.net/keking/blog/3016839 》不到一个月,线上skywalking又出毛病了。又是大盘空白,trace列表最近的数据都查询不出来,但是时间稍久的数据就能查询出来,如一天前的数据有,一个小时前的数据就没有,这个只是表象,最终查明症结是ES的服务写入瓶颈,导致写入写入数据...

阅读全文 »

kafka外网访问疑云

kafka外网访问疑云

前言 最近在搭建数据实时捕获和传输管道(CDC)时用到了kafka,首先在阿里云ECS上搭建了一个最简单的kafka实例,因为是阿里云内网ECS,经测试无误后通过公网映射出来到公司内网环境提供服务,主要后面需要将DTS中的数据塞到kafka提供到本地调试。但是因为对kafka不了解,在本地连接kafka时遇到了各种网络问题。 问题集 如果Topic不存在时,通过kafka-client发送消息,会抛如下异常: java.util....

阅读全文 »

Arthas排查Kubernetes中的应用频繁挂掉重启问题

Arthas排查Kubernetes中的应用频繁挂掉重启问题

Arthas,Kubernetes...

阅读全文 »