CC00014.hadoop——|Hadoop&Hadoop核心框架.V14|——|Hadoop.v14|历史日志服务配置|

### --- 在Yarn无法查看中间运行任务产生的日志数据，  ~~~     为了查看程序的历史运行，需要配置历史日志服务器。具体配置步骤如下：

### --- 配置mapred-site.xml  [root@linux121 hadoop]# pwd /opt/yanqi/servers/hadoop-2.9.2/etc/hadoop  [root@linux121 hadoop]$ vi mapred-site.xml           mapreduce.jobhistory.address         linux121:10020            mapreduce.jobhistory.webapp.address         linux121:19888 

### --- 分发mapred-site.xml到其它节点  [root@linux121 hadoop]# rsync-script mapred-site.xml

### --- 启动历史服务器  [root@linux121 hadoop-2.9.2]# pwd /opt/yanqi/servers/hadoop-2.9.2 [root@linux122 hadoop-2.9.2]# sbin/mr-jobhistory-daemon.sh start historyserver

### --- 检查历史服务器是否启动  [root@linux121 hadoop-2.9.2]# jps 20786 JobHistoryServer 19029 NameNode 19157 DataNode 19662 NodeManager

### --- 日志聚集  ~~~     日志聚集:应用(Job)运行完成后，将应用程序运行日志信息从各个方面进行task汇总上传到HDFS系统上。 ~~~     日志聚集功能的好处:方便查看程序操作细节，方便开发调试。 ~~~     注：需要重新启动日志聚集功能NodeManager 、ResourceManager和HistoryManager。

### --- 配置yarn-site.xml  [root@linux121 hadoop]# pwd /opt/yanqi/servers/hadoop-2.9.2/etc/hadoop  [root@linux121 hadoop]# vim yarn-site.xml               yarn.log.server.url         http://linux121:19888/jobhistory/logs                yarn.log-aggregation-enable         true            yarn.log-aggregation.retain-seconds         604800 

### --- 分发yarn-site.xml集群其他节点  [root@linux121 hadoop]# rsync-script yarn-site.xml

### --- 关闭NodeManager 、ResourceManager和HistoryManager  [root@linux121 hadoop-2.9.2]# sbin/yarn-daemon.sh stop resourcemanager [root@linux121 hadoop-2.9.2]# sbin/yarn-daemon.sh stop nodemanager [root@linux121 hadoop-2.9.2]# sbin/mr-jobhistory-daemon.sh stop historyserver

### --- 启动NodeManager 、ResourceManager和HistoryManager  [root@linux121 hadoop-2.9.2]# sbin/yarn-daemon.sh start resourcemanager [root@linux121 hadoop-2.9.2]# sbin/yarn-daemon.sh start nodemanager [root@linux121 hadoop-2.9.2]# sbin/mr-jobhistory-daemon.sh start historyserver

### --- 删除HDFS已存在的输出文件  [root@linux121 hadoop-2.9.2]# bin/hdfs dfs -rm -R /wcoutput Deleted /wcoutput

### --- 执行WordCount程序  [root@linux121 hadoop-2.9.2]# hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.9.2.jar wordcount /wcinput /wcoutput