spark-学习
spark概念
spark是一个开源的通用分布式集群计算引擎，spark本身没有提供分布式文件系统，因此存储依赖大多依赖于Hadoop的分布式文件系统HDFS、Hbase等。
spark模块
-
spark core
spark core中提供了spark最基础最核心的功能，spark的其他功能，诸如：spark sql、spark streaming、GraphX 、MLlib都是在spark core的基础上进行扩展的。 -
spark sql
spark sql 是spark 用来操作结构化数据的组件。通过spark sql，用户可以使用sql或者 apache hive 版本的sql方言（HQL）来查询数据。 -
spark streaming
spark streaming 是spark平台对实时数据进行流式计算的组件，提供了丰富的处理数据流的api。 -
spark MLlib
MLlib 是spark提供的一个机器学习算法库。MLlib不仅提供了模型评估、数据导入等额外的功能，还提供了一些更底层的机器学习原语。 -
spark GraphX
GraphX 是spark面向图计算提供的框架与算法库。