Sparkcore运行流程
sparkcore底层的数据结构是rdd
运行流程
1 注册并申请资源,分配资源
2 job->stage->task
3 4 5 driver executor 交互执行任务
executor 向driver申请任务, 还是driver给executor 分配任务?
例子
Sparkcore运行流程
# Related Post
1.spark容错机制
2.pyspark
3.Sparksql运行流程
4.sparksql对比hive sql
5.数据划分,rdd分区
6.Spark vs MapReduce
7.Spark on Hive & Hive on Spark
8.RDD依赖关系
1.spark容错机制
2.pyspark
3.Sparksql运行流程
4.sparksql对比hive sql
5.数据划分,rdd分区
6.Spark vs MapReduce
7.Spark on Hive & Hive on Spark
8.RDD依赖关系