Skip to content

GitLab

  • Projects
  • Groups
  • Snippets
  • Help
    • Loading...
  • Help
    • Help
    • Support
    • Community forum
    • Submit feedback
    • Contribute to GitLab
  • Sign in / Register
project-collie
project-collie
  • Project overview
    • Project overview
    • Details
    • Activity
    • Releases
  • Repository
    • Repository
    • Files
    • Commits
    • Branches
    • Tags
    • Contributors
    • Graph
    • Compare
  • Issues 5
    • Issues 5
    • List
    • Boards
    • Labels
    • Service Desk
    • Milestones
  • Merge requests 2
    • Merge requests 2
  • Operations
    • Operations
    • Incidents
  • Analytics
    • Analytics
    • Repository
    • Value Stream
  • Wiki
    • Wiki
  • Members
    • Members
  • Activity
  • Graph
  • Create a new issue
  • Commits
  • Issue Boards
Collapse sidebar
  • granite
  • project-collieproject-collie
  • Wiki
    • Udms
  • sync_mysql_new

sync_mysql_new · Changes

Page history
MySQL通用入库模块文档更新 authored Sep 15, 2020 by fanzx's avatar fanzx
Hide whitespace changes
Inline Side-by-side
Showing with 33 additions and 2 deletions
+33 -2
  • udms/sync_mysql_new.md udms/sync_mysql_new.md +33 -2
  • No files found.
udms/sync_mysql_new.md
View page @ 1067474c
...@@ -187,13 +187,44 @@ operation进行了设置,则忽略该选项 ...@@ -187,13 +187,44 @@ operation进行了设置,则忽略该选项
|[db_connection](sync_mysql_new/catalog)|必填|字典|| |[db_connection](sync_mysql_new/catalog)|必填|字典||
|[table_explode](sync_mysql_new/table_explode)|选填|数组|| |[table_explode](sync_mysql_new/table_explode)|选填|数组||
|[db_start_transaction](sync_mysql_new/catalog)|选填||| |[db_start_transaction](sync_mysql_new/catalog)|选填|||
|[add_return_keys](sync_mysql_new/catalog)|选填|||
|[table_match](sync_mysql_new/catalog)|选填||| |[table_match](sync_mysql_new/catalog)|选填|||
一个catalog中只能定义一种数据库连接参数。 通常把使用的相同连接参数的data_type配置在一个catalog中。 一个catalog中只能定义一种数据库连接参数。 通常把使用的相同连接参数的data_type配置在一个catalog中。
当然也可以根据需要放在多个catalog中。 当然也可以根据需要放在多个catalog中。
### add_return_keys
add_return_keys定义入库完成后的返回的dict结果中要带有add_return_keys中是定义的键以及键对应的值(支持str和list格式)
```
没有add_return_keys时:
{'sync_status': 'success', 'table_name': 'company_employment', 'primary_key': {'ID': 0}, 'affected_rows': 0}
"add_return_keys": ["company_name_digest"]
{'sync_status': 'success', 'table_name': 'company_employment', 'primary_key': {'ID': 0}, 'affected_rows': 0, 'company_name_digest': '7d49c410a18fa394ea14240de45fc564'}
```
### add_return_change_info
add_return_change_info(True/False)默认为False,当为True时,会对比入库前后那些数据产生了变化,数据库中原有的数据记录到change_before中,
新的数据入库后,对数据库产生改变的数据记录到change_after;数据对数据库的操作会记录到change_type字段中,有3种情况,新增(include),
删除(remove),更新(change);比如表中的原有记录{'CITY': '黄山0', 'DISTRICT': '祁门县0'},
新增数据{'CITY': '黄山', 'DISTRICT': '祁门县'},add_return_full_info与add_return_change_info这2个配置不能同时为True
入库完成后记录的结果如下:
```
{'msg': [{'sync_status': 'success', 'table_name': 'company_employment', 'primary_key': {'ID': 0}, 'affected_rows': 1, 'change_type': 'change', 'change_time': '2020-09-15 17:55:04', 'change_before': {'CITY': '黄山0', 'DISTRICT': '祁门县0', 'UPDATE_TIME': datetime.datetime(2020, 9, 15, 17, 54, 56)}, 'change_after': {'CITY': '黄山', 'DISTRICT': '祁门县E_TIME': datetime.datetime(2020, 7, 16, 0, 0)}, 'company_name_digest': '7d49c410a18fa394ea14240de45fc564'}]}
```
### add_return_full_info
add_return_full_info(True/False)默认为False,当为True时,会记录完整的入库前和入库后的所有数据,入库前的数据在change_before,
入库后的数据在change_after;数据对数据库的操作会记录到change_type字段中,有3种情况,新增(include),删除(remove),更新(change);
add_return_full_info与add_return_change_info这2个配置不能同时为True
入库完成后记录的结果如下:
```
{'msg': [{'sync_status': 'success', 'table_name': 'company_employment', 'primary_key': {'ID': 0}, 'affected_rows': 0, 'change_type': 'change', 'change_time': '2020-09-15 18:00:58', 'change_before': {'ID': 'id', 'TITLE': 'title', 'CITY': 'city', 'DISTRICT': 'district', 'COMPANY_NAME': 'company_name', 'FROM_URL': 'from_url', 'ORI_SALARY': 'ori_salary', 'URL_PATH': 'url_Path', 'STARTDATE': 'startDate', 'ENDDATE': 'endDate', 'SOURCE': 'source', 'EDUCATION': 'education', 'EMPLOYER_NUMBER': 'employer_number', 'DESCRIPTION': 'description', 'EXPERIENCE': 'experience', 'CREATE_TIME': 'create_time', 'UPDATE_TIME': 'update_time', 'CLASS': 'class', 'DELETED': 'deleted', 'JOB_FIRST_CLASS': 'job_first_class', 'JOB_SECOND_CLASS': 'job_second_class', 'JOB_THIRD_CLASS': 'job_third_class', 'LOCATION': 'location', 'ALTERNATEFIELD1': 'alternateField1', 'ALTERNATEFIELD2': 'alternateField2', 'ALTERNATEFIELD3': 'alternateField3', 'COMPANY_NAME_DIGEST': 'company_name_digest', 'COMPANY_ID': 'company_id'}, 'change_after': {'ID': 1134383668, 'TITLE': '普工电子++仓管品保', 'CITY': '黄山', 'DISTRICT': '祁门县', 'COMPANY_NAME': '苏州帆鹏电器有限公司', 'FROM_URL': '苏州高新区泰山路687号2', 'ORI_SALARY': '5001-8000', 'URL_PATH': 'http:/7d4efff7ed7cf7b76af6e5af43f', 'STARTDATE': datetime.date(2020, 7, 15), 'ENDDATE': datetime.date(2020, 8, 16), 'SOURCE': '百姓网', 'EDUCATION': '不限', 'EMPLOYER_NUMBER': '200人ESCRIPTION': '[本次扩招属于我工厂内部直招,厂区已通过企业营业执照严格认证,敬请放心求职应聘,入', 'EXPERIENCE': '不限', 'CREATE_TIME': datetime.datetime(2020, 7, 15, 0, 0), 'U, 0, 0), 'CLASS': '全职', 'DELETED': 0, 'JOB_FIRST_CLASS': '运输/物流/仓管', 'JOB_SECOND_CLASS': '仓库管理员', 'JOB_THIRD_CLASS': '', 'LOCATION': '苏州高新区>泰山路687号', 'ALLTERNATEFIELD3': '', 'COMPANY_NAME_DIGEST': '7d49c410a18fa394ea14240de45fc564'}}]}
```
## 应用场景说明 ## 应用场景说明
<!--TODO 举几个典型的应用场景的配置。内容包括: <!--TODO 举几个典型的应用场景的配置。内容包括:
......
Clone repository
  • README
  • data_pump
    • data_pump
    • filters
    • filters
      • bloom
    • readers
    • readers
      • file
      • kafka
      • mongodb
      • sql
    • writers
    • writers
      • file
  • dev_guide
  • dev_manual
  • Home
  • ops
    • ansible
View All Pages