全教育培训行业第三方平台平台就业机构
扫码试听
扫码试听
Q:2638333071
首页 > 零基础学习 > Web前端 > > Flink 配置Kafka数据源(flink对接kafka作为source使用)
行业动态 行业问答 课程问答 零基础学习 就业前景 技术干货

Flink 配置Kafka数据源(flink对接kafka作为source使用)

发布时间:4 周 前 栏目:Web前端 浏览:

1、Flink 配置Kafka数据源

flink 中已经预置了 kafka 相关的数据源实现 FlinkKafkaConsumer010 ,先看下具体的实现:

kafka 的 Consumer 有一堆实现,不过最终都是继承自 FlinkKafkaConsumerBase ,而这个抽象类则是继承 RichParallelSourceFunction ,是不是很眼熟,跟自定义 mysql 数据源继承的抽象类 RichSourceFunction 很类似。

可以看到,这里有很多构造函数,我们直接使用即可。

说明:

a、这里直接使用 properties 对象来设置 kafka 相关配置,比如 brokers 、 zk 、 groupId 、 序列化 、 反序列化 等。

b、使用 FlinkKafkaConsumer010 构造函数,指定 topic 、 properties 配置

c、 SimpleStringSchema 仅针对 String 类型数据的序列化及反序列化,如果 kafka 中消息的内容不是 String ,则会报错;看下 SimpleStringSchema 的定义:

d、这里直接把获取到的消息打印出来。

Flink 配置Kafka数据源

2、kafka与Flink集成问题记录

Kafka库与Flink的反向类加载方法不兼容,修改 conf/flink-conf.yaml 并重启Flink

Flink 配置Kafka数据源

3、flink处理数据从kafka到另外一个kafka

需求就是将流量数据(json格式)中某个接口数据抽取一下。如:有个identityUri="yiyang/user/getById/13782" , 这里的13782,是个userId,我们需要将其处理成 identityUri="yiyang/user/getById/{}"

实际上我们生产中是将二者接口使用的。先使用2,如果没有匹配到,在使用1

这里是演示flink kafka的用法,我们简单使用正则处理

注意:kafka消费的方式是: kafkaConsumer.setStartFromGroupOffsets();

看下上面的启动日志,有这样的信息:Resetting offset for partition yiyang-0 to offset 22.

我们另外启动一个程序,发送消息,并消费两个topic中的数据

看下 ConsumeKafkaTest 中的日志

在看下另外一个服务(消费两个topic数据)的日志:

说明已经成功的把处理好的消息发送到另外一个topic中了

关于数据处理,如果只是简单的增加字段,减少字段,正则替换,也可以使用logstash工具

4、每秒千万级实时数据处理系统是如何设计的?

楼主你好,这种大系统对硬件设备,软件技术要求都是非常严格。每年的618,双11,对于京东、阿里的技术大咖来说,很紧张状态。这种活动每秒钟处理的订单量都是千万级的。这种大系统都是由各个子系统之间相互配合完成的。

硬件设备就不用多说了,采购最好的。重点说一下软件部分。对于这种大系统。用的技术很多。也是业界都在用的技术,比如大数据实时数据处理、大数据实时计算、几乎准实时查询检索等等。

大数据实时数据处理用的技术主要是Flume+Kafka+SparkStreaming、Flume+Kafka+Storm、Flink等。这些技术每个技术细节就不详细讲述了。它们都是处理海量数据使用的开源框架,对于京东或者阿里很有可能优化了源码,开发出适合他们公司需要的场景框架。但是核心技术差异不大。

大数据实时计算技术基本上都是用Kafka、SparkStreaming、SparkSQL、SparkGrapnX等中的一个或者多个去完成。

大数据准实时查询检索用的技术就很多,这里介绍两种,一种是交互式查询,创建二级索引(Hbase+Solr),另外一种ElasticSearch全文检索框架。

大系统用到的技术都差不多,关键看架构师怎么设计架构好业务场景,设计不好就会出现最早的购票系统12306。设计好了就像现在的京东商城、天猫商城处理那么大数据量还能运行正常。

技术在快速发展,未来各个行业都会有这种千万级秒处理的大平台。需要大家不断的给自己充电学习。大家一起加油!

谢谢大家!如有疑问,可以私信我。

5、急!问一下关于小功率电台的一些问题,行内人士给说一下。重谢!!!

45w小功率电台的发射距离有多远,以及在它的信号覆盖频率范围内,与接收器的数量有没有关系??

上一篇:没有了
技术干货
零基础学习
行业多年深耕,从这报名,学费立减800
  • 岳同学180****1241刚刚成功领取
  • 胡同学134****6431刚刚成功领取
  • 李同学150****6122刚刚成功领取
  • 张同学136****2231刚刚成功领取
  • 孙同学178****5521刚刚成功领取
  • 齐同学156****7788刚刚成功领取
猜你喜欢
查看更多
相关推荐
查看更多
现在学习,我的薪资能达到多少?
立即报名

联系我们:

Q:2638333071

鄂ICP备2023015464号