数据同步

1.数据同步策略

1 全量

存储完整的数据。

2 增量

存储新增加的数据。

3 新增及变化

存储新增加的数据和变化的数据。

4 特殊

某些特殊的表,可不必遵循上述同步策略。

1.例如某些不会发生变化的表

地区表,省份表,民族表等,可以只存一份固定值。

2.拉链表

在第一天同步拉链表的时候,需要同步全量数据,并且设置endtime = 9999;首日过后,每日同步数据到拉链表中就是新增及变化的数据,可以采用分区策略,以999为一个分区表示有效的数据,加上以过期时间为分区;

2.首日,每日

首日同步,视情况,不一定全量

每日同步,视情况

Author

Lavine Hu

Posted on

2022-02-09

Updated on

2022-04-23

Licensed under

# Related Post
  1.数据集成
  2.数据采集
Comments

:D 一言句子获取中...