物理分区

https://www.cnblogs.com/wdh01/p/16038278.html

首先和逻辑分区区别开,逻辑分区包括keyBy等算子

逻辑分区只不过将数据按照key分组,哪个key分到哪个task,系统自动控制,万一分配不均,会发生数据倾斜

物理分区就是按一定逻辑将数据分配到不同Task,可以缓解数据倾斜

source(1)-》不同物理分区方式(3)-》slot

分类

1 随机分区 random

2 轮询分区round-robin

3 重缩放分区 rescale

4 分局分区 global

5 自定义 custom

6 广播

不完全算物理分区方式

Author

Lavine Hu

Posted on

2022-05-09

Updated on

2022-05-12

Licensed under

# Related Post
  1.flink cdc
  2.并行度设置
  3.流批选择
  4.datastream
  5.Table API和SQL
  6.状态编程
  7.flink cep
  8.多流转换
Comments

:D 一言句子获取中...