- 1、本文档共30页,可阅读全部内容。
- 2、原创力文档(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
- 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
查看更多
Day 06 Flume
1. Flume 介绍
1.1. 概述
Flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。
Flume可以采集文件,socket数据包、文件、文件夹、kafka等各种形式源数据,又可以将采集到
的数据(下沉sink)输出到HDFS、hbase 、hive 、kafka等众多外部存储系统中
一般的采集需求,通过对flume的简单配置即可实现
Flume针对特殊场景也具备 好的自定义扩展能力,
因此,flume可以适用于大部分的日常数据采集场景
1.2. 运行机制
1. Flume分布式系统中最核心的角色是agent ,flume采集系统就是由一个个agent所连接起来形成
2. 每一个agent相当于一个数据传递员,内部有三个组件:
1. Source :采集组件,用于跟数据源对接,以获取数据
2. Sink :下沉组件,用于往下一级agent传递数据或者往最终存储系统传递数据
3. Channel :传输通道组件,用于从source将数据传递到sink
1.3. Flume 结构图
简单结构
单个 Agent 采集数据
复杂结构
多级 Agent 之间串联
2. Flume 实战案例
案例:使用网络telent命令向一台机器发送一些网络数据,然后通过flume采集网络端口数据
2.1. Flume 的安装部署
Step 1: 下载解压修改配置文件
下载地址:
/dist/flume/ 1.8.0/apache-flume-1.8.0-bin.tar.gz
Flume的安装非常简单,只需要解压即可,当然,前提是已有hadoop环境
上传安装包到数据源所在节点上
这里我们采用在第三台机器来进行安装
cd /export/softwares/
tar -zxvf apache-flume-1.8.0-bin.tar.gz -C ../servers/
cd /export/servers/apache-flume-1.8.0-bin/conf
cp flume-env.sh.template flume-env.sh
vim flume-env.sh
export JAVA_HOME /export/servers/jdk1.8.0_141
Step 2: 开发配置文件
根据数据采集的需求配置采集方案,描述在配置文件中(文件名可任意自定义)
配置我们的网络收集的配置文件
在flume的conf 目录下新建一个配置文件 (采集方案)
vim /export/servers/apache-flume-1.8.0-bin/conf/netcat-logger.conf
# 定义这个agent中各组件的名字
a1.sources r1
a1.sinks k1
a1.channels c1
# 描述和配置source组件:r1
a1.sources.r1.type netcat
a1.sources.r1.bind 192.168.174.
a1.sources.r1.port 44444
# 描述和配置sink组件:k1
a1.sinks.k1.type logger
# 描述和配置channel组件,此处使用是内存缓存的方式
a1.channels.c1.type memory
a1.channels.c1.capacity 1000
a1.channels.c1.transactionCapacity 100
# 描述和配置source channel sink之间的连接关系
a1.sources.r1.channels c1
a1.sinks.k1.channel c1
Step 3: 启动配置文件
指定采集方案配置文件,在相应的节点上启动flume agent
先用一个最简单的例子来测试一下程序环境是否正常
启动agent去采集数据
bin/flume-ng agent -c conf -f conf/netcat-logger.conf -n a1 -Dflume.root.logger INFO,c
-c conf 指定flume 自身的配置文件所在目录
-f conf/netcat-logger.con 指定我们所描述的采集方案
您可能关注的文档
- SaaS-IHRM项目-Activiti7讲义(基础部分).pdf
- SaaS-IHRM项目-Activiti7讲义(进阶部分).pdf
- 阿里官方Java开发代码规范标准手册v1.3 - 副本.pdf
- 分布式存储 CentOS6.5虚拟机环境搭建FastDFS-5.0.5集群 - 副本.pdf
- 基于Netty网络编程项目实战笔记 - 副本.pdf
- 容器化进阶Kubernetes核心技术.pdf
- 容器化进阶Kubernetes课程讲义.pdf
- VMware Workstation 中安装 Ubuntu16.04 虚拟机.docx
- 好客租房 PRD 文档 V1.0.0beat.docx
- 数据库_性能优化篇-2.docx
文档评论(0)