kkfileView使用问题年终答疑篇

kkfileView使用问题年终答疑篇

kkfileview...

阅读全文 »

Windows环境下Flink消费Kafka实现热词统计

Windows环境下Flink消费Kafka实现热词统计

前言碎语 昨天博主写了 《windows环境下flink入门demo实例》 实现了官方提供的最简单的单词计数功能,今天升级下,将数据源从socket流换成生产级的消息队列kafka来完成一样的单词计数功能。本文实现的重点主要有两个部分,一是kafka环境的搭建,二是如何使用官方提供的flink-connector-kafka_2.12来消费kafka消息,其他的逻辑部分和上文类似。 进入正题 本篇博文涉及到的软件工具以及下载地...

阅读全文 »

windows环境下flink入门实例

windows环境下flink入门实例

前言碎语 为了应对凯京科技集团的飞速发展,凯京科技研发中心2019定下了数据中台的目标。数据处理我们选择了批处理+流处理结合的大数据应用软件新秀Apache Flink,前几天阿里又发出好信息称将开源Blink(Flink早期分支迁出迭代优化),所以今天来近距离认识下Flink。博主之前没接触过大数据相关的东西,所以不细究其设计概念了。目标就是跑一个最简单的流处理的例子,后面慢慢深...

阅读全文 »

分布式事务fescar的设计

分布式事务fescar的设计

前言碎语 继昨天fescar发布后,官方又给出了Fescar的详细设计文档。博主看了总结下来,fescar区别于传统xa分布式事务就在于将资源管理从数据库层面支持转移到应用层面来管理了。核心的原理还是依赖本地事务的管理,fescar接管了本地事务资源管理,在本地事务提交前通过对sql的解析,生成回滚的sql保存事务日志。当全局事务管理器通知需要回滚时,在通过全局事务xid查询到回滚日志...

阅读全文 »

阿里GTS开源版本fescar分布式事务发布了

阿里GTS开源版本fescar分布式事务发布了

前言碎语 阿里重磅开源fescar分布式事务框架、其前身是拥有多项专利的云分布式事务产品GTS、很早前阿里在推广GTS分布式事务的时候就隐隐透露过可能会有开源项目的推出,终于在社区千呼万唤之下fescar发布了。目前是0.1的版本,因为脱胎于商业产品,社区版本要上生产环境可能需要在社区迭代孵化一段时间。代码可以先拉下来研究一下,后期持续关注fescar的发展。 项目地址: https:/...

阅读全文 »

tcc分布式事务框架解析

tcc分布式事务框架解析

前言碎语 楼主之前推荐过2pc的分布式事务框架LCN。今天来详细聊聊TCC事务协议。 tcc实现: https://github.com/yu199195/hmily 首先我们了解下什么是tcc,如下图 tcc分布式事务协议控制整体业务事务分为三个阶段。 try:执行业务逻辑 confirm:确定业务逻辑执行无误后,确定业务逻辑执行完成 cancel:假如try阶段有问题,执行cancel阶段逻辑,取消try阶段的数据 这就需要我们在设计业务时,在try阶段...

阅读全文 »

skywalking docker镜像构建k8s部署

skywalking docker镜像构建k8s部署

前言碎语 skywalking是个非常不错的apm产品,但是在使用过程中有个非常蛋疼的问题,在基于es的存储情况下,es的数据一有问题,就会导致整个skywalking web ui服务不可用,然后需要agent端一个服务一个服务的停用,然后服务重新部署后好,全部走一遍。这种问题同样也会存在skywalking的版本升级迭代中。而且apm 这种过程数据是允许丢弃的,默认skywalking中关于trace的数据记录只保存了90分钟...

阅读全文 »