zz手把手教你在腾讯云上搭建hadoop3.x伪集群的方法(参考该文建立伪集群)


https://cloud.tencent.com/developer/article/1726589

主要参考了这篇文章,在腾讯云单机上安装了Hadoop伪分布式系统。

系统及软件版本为:ubuntu18.04 + jdk-17.0.1 + hadoop 3.2.2

几个改动:

    1, 修改主机名一项, ubuntu 18.04似不支持文中操作,最好搜索如何修改

    2, core-site.xml的修改, hadoop.tmp.dir是数据的保存路径我设置在hadoop目录之外。

    3, mapred-site.xml(配置历史服务器)的修改历史服务器web端地址设置几行一直报错,不知道如何解决,直接删掉。

另外:

    第1条是安装未成功,之后重新操作并成功的。应该还是hostname的事情

   如果在腾讯云单机安装伪集群,注意修改ssh配置,允许通过Putty+密码远程访问实例(因为腾讯云默认要秘钥),否则有节点之间通信问题。

   还有,腾讯云实例登录还有hadoop配置都最好严格按照腾讯云、该文章去配。譬如Xshell不太好远程登录,一定得Putty。