Hadoop历史服务器


Hadoop历史服务器

把运行过的job保存到历史服务器上
此配置只能查看job的运行情况和时间,不能查看日志信息

搭建历史服务器

在hadoop1上进行搭建

  • 修改配置文件mapred-site.xml


	mapreduce.jobhistory.address
	hadoop1:10020



	mapreduce.jobhistory.webapp.address
	hadoop1:19888

  • 启动历史服务器
mapred --daemon start historyserver
  • web查看

配置日志的聚集

日志聚集:应用运行完成以后,将程序的日志在web上面显示

修改yarn-site.xml



	yarn.log-aggregation-enable
	true



	yarn.log.server.url
	http://192.168.31.101:19888/jobhistory/logs



	yarn.log-aggregation.retain-seconds
	604800

web端访问