kkfileview...

阅读全文 »

前言碎语 昨天博主写了 《windows环境下flink入门demo实例》 实现了官方提供的最简单的单词计数功能，今天升级下，将数据源从socket流换成生产级的消息队列kafka来完成一样的单词计数功能。本文实现的重点主要有两个部分，一是kafka环境的搭建，二是如何使用官方提供的flink-connector-kafka_2.12来消费kafka消息，其他的逻辑部分和上文类似。 进入正题 本篇博文涉及到的软件工具以及下载地...

阅读全文 »

前言碎语 为了应对凯京科技集团的飞速发展，凯京科技研发中心2019定下了数据中台的目标。数据处理我们选择了批处理+流处理结合的大数据应用软件新秀Apache Flink，前几天阿里又发出好信息称将开源Blink（Flink早期分支迁出迭代优化），所以今天来近距离认识下Flink。博主之前没接触过大数据相关的东西，所以不细究其设计概念了。目标就是跑一个最简单的流处理的例子，后面慢慢深...

阅读全文 »

前言碎语 继昨天fescar发布后，官方又给出了Fescar的详细设计文档。博主看了总结下来，fescar区别于传统xa分布式事务就在于将资源管理从数据库层面支持转移到应用层面来管理了。核心的原理还是依赖本地事务的管理，fescar接管了本地事务资源管理，在本地事务提交前通过对sql的解析，生成回滚的sql保存事务日志。当全局事务管理器通知需要回滚时，在通过全局事务xid查询到回滚日志...

阅读全文 »

前言碎语 阿里重磅开源fescar分布式事务框架、其前身是拥有多项专利的云分布式事务产品GTS、很早前阿里在推广GTS分布式事务的时候就隐隐透露过可能会有开源项目的推出，终于在社区千呼万唤之下fescar发布了。目前是0.1的版本，因为脱胎于商业产品，社区版本要上生产环境可能需要在社区迭代孵化一段时间。代码可以先拉下来研究一下，后期持续关注fescar的发展。 项目地址： https:/...

阅读全文 »