Hadoop历史服务器
Hadoop历史服务器
把运行过的job保存到历史服务器上
此配置只能查看job的运行情况和时间,不能查看日志信息
搭建历史服务器
在hadoop1上进行搭建
- 修改配置文件mapred-site.xml
mapreduce.jobhistory.address
hadoop1:10020
mapreduce.jobhistory.webapp.address
hadoop1:19888
- 启动历史服务器
mapred --daemon start historyserver
- web查看
配置日志的聚集
日志聚集:应用运行完成以后,将程序的日志在web上面显示
修改yarn-site.xml
yarn.log-aggregation-enable
true
yarn.log.server.url
http://192.168.31.101:19888/jobhistory/logs
yarn.log-aggregation.retain-seconds
604800