spark优化
8 Performance Optimization Techniques Using Spark
https://www.syntelli.com/eight-performance-optimization-techniques-using-spark#
Spark性能优化指南（美团）
https://tech.meituan.com/2016/04/29/spark-tuning-basic.html
https://tech.meituan.com/2016/05/12/spark-tuning-pro.html
0 分析web ui
分析时间的消耗
1.多个map合并（？？）
1 | rdd1.map().map() -> rdd1.map() |
2.减少action算子
说白了就是多个action操作，transformation逻辑可以写一起，最后action
3 增加分区 增加并行度
分数是说rdd分区
并行度是说executor num*executor core num
# Related Post
1.spark oom(out of memory)问题
2.spark资源参数调优
3.Use reduceByKey instead of groupByKey
4.持久化
5.Spark 数据倾斜
6.shuffle
1.spark oom(out of memory)问题
2.spark资源参数调优
3.Use reduceByKey instead of groupByKey
4.持久化
5.Spark 数据倾斜
6.shuffle
