logo

小白学苑PBCP

PBCP, 让大数据竞赛更简单!

Flume安装配置及传输Hadoop日志到HDFS上

在样卷4的“大数据平台搭建”任务中,有这样一个关于Flume的子任务:

子任务二:Flume安装配置

本任务需要使用root用户完成相关配置,已安装Hadoop及需要配置前置环境,具体要求如下:

  • (1)从Master中的/opt/software目录下将文件apache-flume-1.9.0-bin.tar.gz解压到/opt/module目录下,将解压命令复制并粘贴至客户端桌面【Release\提交结果.docx】中对应的任务序号下;
  • (2)完善相关配置设置,配置Flume环境变量,并使环境变量生效,执行命令flume-ng version并将命令与结果截图粘贴至客户端桌面【Release\提交结果.docx】中对应的任务序号下;
  • (3)启动Flume传输Hadoop日志(namenode或datanode日志),查看HDFS中/tmp/flume目录下生成的内容,将查看命令及结果(至少5条结果)截图粘贴至客户端桌面【Release\提交结果.docx】中对应的任务序号下。

这个任务其实不仅仅是Flume的安装配置,实际上包括了两部分内容:1) Flume的安装配置;2) 使用Flume采集Hadoop日志。

本任务描述中容易引起歧义的地起在于,没有对Hadoop环境给出明确的限定。如果是在伪分布环境下,因为namenode和datanode都只各有一个log日志 ......

......

您尚未登录!(正式会员登录可下载)

会员登录