column mapping

现状: 有配置项 Table.ColumnMapFrom

效果见 https://actiontech.github.io/dtle-docs-cn/3/3.8_dtle_mapping.html “列mapping”一节

已知不足:

• 不能变换DDL
• 只能支持目标端列数量<=源端列的情况. 不能支持目标端列比源端多的情况.

功能设计目标

能支持以下功能(可同时组合使用)

• 重命名列
• 调整列的顺序
• 去除主键/非主键列
• 增加主键/非主键列, 增加列的取值要可以设定
  • 社区需求: 去掉原有主键, 额外新增自增主键

场景

• 在全量&增量中都能进行列映射
• 增量过程中发生的DDL也能处理

#965 ColumnMapTo 支持：

• 在预先创建表的情况下
  • 去除主键/非主键列
  • 增加主键/非主键列, 增加列的取值使用auto_increment或default value

欠缺功能

• 全量自动转换&创建表
• 增量过程中发生的DDL也能处理

ColumnMapTo 自动转换create table的问题

• 除了列名&顺序需要转换以外
• 所有对列名的引用都需要转换(PK、UK、partition等)
• 甚至还要考虑其他表的FK

refer to SHAI-8462.