第五章_Spark核心编程_什么是Rdd

1. Rdd 是什么?

1. RDD(Resilient Distributed DataSet) 弹性分布式数据集, 是Spark中最基本的数据处理模型
    它代表一个弹性的、不可变、可分区、里面的元素可并行计算 的集合

2. 代码中Rdd是 抽象类  abstract class RDD[T: ClassTag]

note :
    1. 怎样理解弹性?
        存储的弹性:内存与磁盘的自动切换
        容错的弹性:数据丢失可以自动恢复
        计算的弹性:计算出错重试机制
        分片的弹性:可根据需要重新分片

    2. 怎样理解分布式?
        数据存储在大数据集群不同节点上

    3. 怎样理解数据集？
        RDD封装了计算逻辑，并不保存数据

    4. 怎样理解数据抽象？
        RDD是一个抽象类，需要子类具体实现

    5. 怎样理解不可变？
        RDD封装了计算逻辑 , 是不可以改变的 ,想要改变 ,只能产生新的RDD在新的 RDD 里面封装计算逻辑

    6. 怎样理解可分区、并行计算？
        Rdd可以分区,分区会分发到不同的节点上执行