【大数据应用技术】作业九｜安装关系型数据库MySQL 安装大数据处理框架Hadoop

本次作业的要求来自：https://edu.cnblogs.com/campus/gzcc/GZCC-16SE2/homework/3161

1.安装MySql

按ctrl+alt+t打开终端窗口，安装mysql需要输入命令：sudo apt-get install mysql-server

输入命令：service mysql start   #启动mysql

输入命令：sudo netstat -tap | grep mysql   #查看mysql是否启动成功，mysql结点处于LISTEN状态表明启动成功

如下图所示：

输入命令：mysql -u root -p   #进入mysql shell界面

输入命令：show databases;   #显示数据库

如下图所示：

2.windows 与 虚拟机互传文件

为了使windows与虚拟机互传文件，所以需要安装vmware tools工具，安装步骤可见后面部分：https://blog.csdn.net/weixin_42305895/article/details/89879220

如图所示，已经成功安装vmware tools工具。

3.安装Hadoop

我已经成功安装了hadoop，伪分布式hadoop的安装教程可见：https://blog.csdn.net/weixin_42305895/article/details/89925119

启动hadoop，如下图所示。

输入jps可查看hadoop是否启动成功，如果启动成功则会出现如下进程：“NameNode”,“DataNode”，“SecondaryNameNode”,如下图所示。

关闭hadoop，如下图所示。

4. 简述Hadoop平台的起源、发展历史与应用现状。

 （1）起源

项目起源 Hadoop由 Apache Software Foundation 公司于 2005 年秋天作为Lucene的子项目Nutch的一部分正式引入。它受到最先由 Google Lab 开发的 Map/Reduce 和 Google File System(GFS) 的启发。 2006 年 3 月份，Map/Reduce 和 Nutch Distributed File System (NDFS) 分别被纳入称为 Hadoop 的项目中。 Hadoop 是最受欢迎的在 Internet 上对搜索关键字进行内容分类的工具，但它也可以解决许多要求极大伸缩性的问题。例如，如果您要 grep 一个 10TB 的巨型文件，会出现什么情况？在传统的系统上，这将需要很长的时间。但是 Hadoop 在设计时就考虑到这些问题，采用并行执行机制，因此能大大提高效率。 发展历程 Hadoop原本来自于谷歌一款名为MapReduce的编程模型包。谷歌的MapReduce框架可以把一个应用程序分解为许多并行计算指令，跨大量的计算节点运行非常巨大的数据集。使用该框架的一个典型例子就是在网络数据上运行的搜索算法。Hadoop [3]国外、国内Hadoop的应用现状，描述的比较详细。