当前位置: 首页 > news >正文

大数据应用开发——实时数据采集

前言

hadoop,zookeeper要开启

目录

        题目

        准备一个Flume agent的配置文件

        创建、查看Kafka的Topic中(Topic名称为order,分区数为4)


题目

在主节点使用Flume采集实时数据生成器10050端口的socket数据,将数据存入到Kafka的Topic中(Topic名称为order,分区数为4),使用Kafka自带的消费者消费order(Topic)中的数据,将前2条数据的结果截图粘贴至客户端桌面【Release\任务D提交结果.docx】中对应的任务序号下;

准备一个Flume agent的配置文件
vi /usr/flume/conf/flume-kafka.conf
# 定义了agent a1 的一个source,名称为s1
a1.sources=s1
# 定义了agent a1 的一个sink,名称为k1
a1.sinks=k1
# 定义了agent a1 的一个channel,名称为c1
a1.channels=c1# 指定了source s1 的类型为netcat
a1.sources.s1.type=netcat
# 指定了netcat source绑定的IP地址
a1.sources.s1.bind=localhost
# 指定了netcat source监听的端口号为10050
a1.sources.s1.port=10050# 指定了sink k1 的类型为Kafka sink,用于将数据发送到Kafka集群
a1.sinks.k1.type=org.apache.flume.sink.kafka.KafkaSink
# 指定了Kafka sink发送数据的目标主题为order
a1.sinks.k1.kafka.topic=order
# 指定了Kafka集群的bootstrap服务器列表
a1.sinks.k1.kafka.bootstrap.servers=master:9092,slave1:9092,slave2:9092# 指定了channel c1 的类型
a1.channels.c1.type=memory
# 设置了内存channel的容量为1000个事件,这是channel可以存储的最大事件数
a1.channels.c1.capacity=1000
# 设置了内存channel的事务容量为100个事件,这是channel在一次事务中可以处理的最大事件数
a1.channels.c1.transactionCapacity=100# 将source s1 与channel c1 连接起来
a1.sources.s1.channels=c1
# 将sink k1 与channel c1 连接起来
a1.sinks.k1.channel=c1
创建、查看Kafka的Topic中(Topic名称为order,分区数为4)
# 可以用jps查看Kafka有没有启动,没有启动可以运行此命令
/usr/kafka/bin/kafka-server-start.sh -daemon /usr/kafka/config/server.properties# 查看Kafka中所有已创建的Topics
/usr/kafka/bin/kafka-topics.sh --zookeeper master:2181 --list# 在Kafka中创建一个新的Topic为order,分区数为4
/usr/kafka/bin/kafka-topics.sh --create --topic order --partitions 4 --replication-factor 1 --zookeeper master:2181# 查看Kafka中所有已创建的Topics
/usr/kafka/bin/kafka-topics.sh --zookeeper master:2181 --list# 使用flume-kafka.conf配置文件,在/usr/flume/conf/配置目录下,启动一个名为a1的Flume agent,并将日志级别设置为INFO,输出到控制台
/usr/flume/bin/flume-ng agent -n a1 -c conf/ -f /usr/flume/conf/flume-kafka.conf -Dflume.root.logger=INFO,console# 启动Kafka的消费者,它允许你从指定的Topic中读取消息并显示在控制台上,最大消息数2条
/usr/kafka/bin/kafka-console-consumer.sh --bootstrap-server master:9092 --topic order --from-beginning --max-messages 2

http://www.mrgr.cn/news/70865.html

相关文章:

  • HarmonyOs鸿蒙开发实战(20)=>一文学会基础使用组件导航Navigation
  • 【MyBatis】全局配置文件—mybatis.xml 创建xml模板
  • 介绍一下strncmp(c基础)
  • 2411rust,cargo清理缓存
  • 初始Python篇(4)—— 元组、字典
  • 缓存cache
  • Vue.js 组件开发详解
  • 斗破QT编程入门系列之四:GUI应用程序设计基础:UI文件设计原理与运行机制(五星斗师)
  • 腾讯云边缘安全加速平台EdgeOne最佳实践
  • 拾贝(Shibei):微信读书笔记管理的新篇章
  • 如何使用Flask编写一个网站
  • Ubuntu 20.04配置ollama并下载安装调用本地大语言模型
  • 探索jQuery与原生JavaScript:事件绑定的比较
  • 网页直播/点播播放器EasyPlayer.js播放器OffscreenCanvas这个特性是否需要特殊的环境和硬件支持
  • 【Kettle实战】按日期变量批量执行任务[附全部job和tras配置图]
  • 河南测绘资质办理注意事项
  • AI 大模型如何重塑软件开发流程与模式
  • 深入理解Python字符串:常用查找方法、去除首位信息、大小写转换与排版
  • Elasticsearch(ES)简介
  • 群晖NAS上部署Photopea并实现随时随地高效图片处理
  • 2024下半年软考系统架构师案例分析题试题与答案--Cache-aside
  • debug
  • Nginx 部署负载均衡服务全解析
  • 文章管理系统微信小程序ssm+论文源码调试讲解
  • JMeter进阶篇
  • 一、HTML