Skip to content

GitLab

  • Projects
  • Groups
  • Snippets
  • Help
    • Loading...
  • Help
    • Help
    • Support
    • Community forum
    • Submit feedback
    • Contribute to GitLab
  • Sign in / Register
project-collie
project-collie
  • Project overview
    • Project overview
    • Details
    • Activity
    • Releases
  • Repository
    • Repository
    • Files
    • Commits
    • Branches
    • Tags
    • Contributors
    • Graph
    • Compare
  • Issues 5
    • Issues 5
    • List
    • Boards
    • Labels
    • Service Desk
    • Milestones
  • Merge requests 2
    • Merge requests 2
  • Operations
    • Operations
    • Incidents
  • Analytics
    • Analytics
    • Repository
    • Value Stream
  • Wiki
    • Wiki
  • Members
    • Members
  • Activity
  • Graph
  • Create a new issue
  • Commits
  • Issue Boards
Collapse sidebar
  • granite
  • project-collieproject-collie
  • Wiki
    • Udms
  • sync_mysql_new

sync_mysql_new · Changes

Page history
增加兼容选项的说明 authored Apr 27, 2020 by 吴一博's avatar 吴一博
Hide whitespace changes
Inline Side-by-side
Showing with 57 additions and 0 deletions
+57 -0
  • udms/sync_mysql_new.md udms/sync_mysql_new.md +57 -0
  • No files found.
udms/sync_mysql_new.md
View page @ abec8874
......@@ -34,6 +34,35 @@
**使用尖括号只是为了在文档中加以区分,并非实际应用中需要这样做。**
## 配置文件的兼容模式
早期的配置文件在设计上存在一个问题: 配置中dict的key可能是用户自定义的内容。
这样做虽然可以让配置相对简洁, 但配置文件的可读性并不好。
为了能具备更好的可读性,新版本中修改了配置的形式。新的配置形式中确保配置中
dict的key都是程序所设置的保留字。
如下示例,data_type新老两个版本不同的配置方式。
```yaml
#老版本的配置
# teams是用户自定义的data_type,
# 其值是teams这个data_type对应的数据库。
#
data_type:
- teams: ['tb_teams', 'tb_members']
```
```yaml
#新版本的配置
# name, tables都是程序的配置项,含义明确
data_type:
- name: "teams"
tables: ['tb_teams', 'tb_members']
```
考虑到已经有大量的配置文件在生产中使用,程序中保留了对老样式的兼容。
默认情况下,程序开启兼容模式(compatible:True)。可能的话请关闭兼容模式,
因为, 所有的新功能的开发,都将只支持非兼容模式。
## 1. 传入的数据
传入数据可以声明当前数据的数据类型(data_type)及希望执行的操作(operation)。
前续模块可以通过在数据中加入如下内容来实现这个目的。
......@@ -130,6 +159,34 @@
* catalog 定义数据库连接参数
* data_type 定义某一种要处理的数据对应数据库里的一张或多张表
### compatible
早期的配置文件在设计上存在一个问题: 配置中dict的key可能是用户自定义的内容。
这样做虽然可以让配置相对简洁, 但配置文件的可读性并不好。
为了能具备更好的可读性,新版本中修改了配置的形式。新的配置形式中确保配置中
dict的key都是程序所设置的保留字。
如下示例,data_type新老两个版本不同的配置方式。
```yaml
#老版本的配置
# teams是用户自定义的data_type,
# 其值是teams这个data_type对应的数据库。
#
data_type:
- teams: ['tb_teams', 'tb_members']
```
```yaml
#新版本的配置
# name, tables都是程序的配置项,含义明确
data_type:
- name: "teams"
tables: ['tb_teams', 'tb_members']
```
考虑到已经有大量的配置文件在生产中使用,程序中保留了对老样式的兼容。
默认情况下,程序开启兼容模式(compatible:True)。可能的话请关闭兼容模式,
因为, 所有的新功能的开发,都将只支持非兼容模式。
### catalog
catalog 定义一个数据库连接。一个catalog中只能定义一种数据库连接参数。
通常把使用的相同连接参数的data_type配置在一个catalog中。
......
Clone repository
  • README
  • data_pump
    • data_pump
    • filters
    • filters
      • bloom
    • readers
    • readers
      • file
      • kafka
      • mongodb
      • sql
    • writers
    • writers
      • file
  • dev_guide
  • dev_manual
  • Home
  • ops
    • ansible
View All Pages