一品网
  • 首页

090-Spark-RDD-自定义分区器


Spark目前支持Hash分区和Range分区,和用户自定义分区。Hash分区为当前的默认分区。分区器直接决定了RDD中分区的个数、RDD中每条数据经过Shuffle后进入哪个分区,进而决定了Reduce的个数。

spark

相关


spark 数据流输出

Spark 安装部署与快速上手

Spark面试题(八)——Spark的Shuffle配置调优

spark参数调优

spark jvm参数优化(fullgc)

hadoop系列整理---PySpark

【Spark】Day02:Spark-Core:RDD、编程、数据读取保存、累加器、广播变量、top10

Flume+Kafka+SparkStreaming打造实时流处理框架

Spark SQL知识点与实战

【Spark学习笔记】广播变量和累加器

【Spark学习笔记】01-Spark简介

spark中agg函数的使用

标签

一品网 冀ICP备14022925号-6