大数据培训笔记

课程标题： Hadoop简介

知识点总结（包含截图）

Hadoop是什么：
Hadoop 是 Apache 基金会下的一个开源项目，以分布式文件系统（HDFS）和分布式计算框架（MapReduce）为核心，为用户提供了底层细节透明的分布式基础设施。
HDFS 的高扩展、高效性、高容错性等优点，允许用户将Hadoop部署在廉价的硬件上，构建分布式系统。
MapReduce分布式计算框架允许用户在不了解分布式底层细节的情况下开发并行、分布的应用程序，利用大规模计算资源，解决传统高性能单机无法解决的大数据处理问题

其他组件：

• Hadoop HDFS:一个高可靠,高吞吐量的分布式文件系统
• Hadoop MapReduce:一个分布式的离线并行计算框架。
• Hadoop Yarn：作业调度与集群资源管理的框架
• Hadoop Common:支持其他模块的工具模块,就是辅助前三个能正常运行的一些工具包。

Hadoop 优势

• 可以运行在一般的商业机器构成的大型集群上
• 通过增加集群节点，可以线性扩展更大的集群规模，在负载下降时，可以减少集群节点，高效使用资源
• 文件、计算的故障检测和恢复
• 高效的编写分布式代码

MAPREDUCE核心概念

Block：Hadoop2 默认128MB、默认存储3份
Namenode：负责存储 metadata 信息，主要包括文件目录、block和文件对应关系、block和datanode
Datanode：负责存储数据，数据以block的方式存在

常用hadoop组件：

1 Sqoop：Sqoop是一款开源的工具，主要用于在Hadoop(Hive)与传统的数据库（mysql)间进行数据的传递，可以将关系型数据库中的数据导进Hadoop的HDFS中，也可以将HDFS的数据导进关系型数据库中
2 Flume：Flume是Cloudera提供的一个高可用，高可靠的，分布式的海量日志采集，聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于采集数据，同时，Flume提供对数据进行简单处理，并写到各种数据接收方的能力。
3 Kafka：Kafka是一种高吞吐量的分布式发布订阅消息系统，特点如下：通过O(1)的磁盘数据结构提供消息的持久化，这种结构对于即使数以TB的消息存储也能保持长时间的稳定性能。高吞吐量：即使是非常普通的硬件，Kafka也可以支持每秒数百万的消息支持通过Kafka服务器和消费机集群来分区消息支持Hadoop并行数据加载
4 Storm：Storm为分布式实时计算提供了一组通用原语，可被用于“流处理”之中，实时处理消息并更新数据库。这是管理队列及工作者集群的另一种方式。Storm也可被用于“连续计算”，对数据流做连续查询，在计算时就将结果以流的形式输出给用户
5 Spark：Spark是当前最流行的开源大数据内存计算框架。可以基于Hadoop上存储的大数据进行计算。
6 Oozie：Oozie是一个管理Hadoop作业（job)的工作流程调度管理系统。Oozie协调作业就是通过时间（频率）和有效数据触发当前的Oozie工作流程
7 Hbase：Hbase是一个分布式的，面向列的开源数据库。Hbase不同于一般的关系数据库，它是一个适合于非结构化数据存储的数据库
8 Hive：hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。其优点是学习成本低，可以通过类似SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。
9 R语言：R是用于统计分析，绘图的语言和操作环境。R是属于GNU系统的一个自由，免费，源代码开放的软件，它是一个用于统计计算和统计制图的优秀软件
10 Mahout：Apache Mahout是个可扩展的机器学习和数据挖掘库，当前Mahout支持主要的4个用例：推荐挖掘：搜集用户动作并以此给用户推荐可能喜欢的事物聚集：收集文件并进行相关文件分组分类：从现有的分类文档中学习，寻找文档中的相似特征，并为无标签的文档进行正确的归类频繁项集挖掘：将一组项分组，并识别哪些个别项会经常一起出现
11 ZooKeeper：ZooKeeper是Google的Chubby的一个开源的实现。它是一个针对大型分布式系统的可靠协调系统，提供的功能包括：配置维护，名字服务，分布式同步，组服务等。ZooKeeper的目标就是封装好复杂易出错的关键服务，将简单易用的接口和性能高效，功能稳定的系统提供给用户。