Skip to content

GitLab

sync_mysql_new · Changes

Page history
MySQL通用入库模块文档更新 authored by fanzx's avatar fanzx
Hide whitespace changes
Inline Side-by-side
Showing with 95 additions and 7 deletions
udms/sync_mysql_new.md
View page @ d870cf4d
...@@ -206,10 +206,31 @@ add_return_keys定义入库完成后的返回的dict结果中要带有add_return ...@@ -206,10 +206,31 @@ add_return_keys定义入库完成后的返回的dict结果中要带有add_return
add_return_change_info（True/False）默认为False，当为True时，会对比入库前后那些数据产生了变化，数据库中原有的数据记录到change_before中， add_return_change_info（True/False）默认为False，当为True时，会对比入库前后那些数据产生了变化，数据库中原有的数据记录到change_before中，
新的数据入库后，对数据库产生改变的数据记录到change_after；数据对数据库的操作会记录到change_type字段中，有3种情况，新增（include）， 新的数据入库后，对数据库产生改变的数据记录到change_after；数据对数据库的操作会记录到change_type字段中，有3种情况，新增（include），
删除（remove），更新（change）；比如表中的原有记录{'CITY': '黄山0', 'DISTRICT': '祁门县0'}， 删除（remove），更新（change）；比如表中的原有记录{'CITY': '黄山0', 'DISTRICT': '祁门县0'}，
新增数据{'CITY': '黄山', 'DISTRICT': '祁门县'}，add_return_full_info与add_return_change_info这2个配置不能同时为True 新增数据{'CITY': '黄山', 'DISTRICT': '祁门县'}，add_return_full_info与add_return_change_info这2个配置不能同时为True;
入库完成后记录的结果如下： 入库完成后记录的结果如下：
``` ```
{'msg': [{'sync_status': 'success', 'table_name': 'company_employment', 'primary_key': {'ID': 0}, 'affected_rows': 1, 'change_type': 'change', 'change_time': '2020-09-15 17:55:04', 'change_before': {'CITY': '黄山0', 'DISTRICT': '祁门县0', 'UPDATE_TIME': datetime.datetime(2020, 9, 15, 17, 54, 56)}, 'change_after': {'CITY': '黄山', 'DISTRICT': '祁门县E_TIME': datetime.datetime(2020, 7, 16, 0, 0)}, 'company_name_digest': '7d49c410a18fa394ea14240de45fc564'}]} {
'msg': [
{
'sync_status': 'success',
'table_name': 'company_employment',
'primary_key': {'ID': 0},
'affected_rows': 1,
'change_type': 'change',
'change_time': '2020-09-15 17:55:04',
'change_before': {
'CITY': '黄山0',
'DISTRICT': '祁门县0',
'UPDATE_TIME': datetime.datetime(2020,9,15,17,54,56)
},
'change_after': {
'CITY': '黄山',
'DISTRICT': '祁门县E_TIME': datetime.datetime(2020,7,16,0,0)
},
'company_name_digest': '7d49c410a18fa394ea14240de45fc564'
}
]
}
``` ```
### add_return_full_info ### add_return_full_info
...@@ -218,14 +239,81 @@ add_return_full_info（True/False）默认为False，当为True时，会记录 ...@@ -218,14 +239,81 @@ add_return_full_info（True/False）默认为False，当为True时，会记录
add_return_full_info与add_return_change_info这2个配置不能同时为True add_return_full_info与add_return_change_info这2个配置不能同时为True
入库完成后记录的结果如下： 入库完成后记录的结果如下：
``` ```
{'msg': [{'sync_status': 'success', 'table_name': 'company_employment', 'primary_key': {'ID': 0}, 'affected_rows': 0, 'change_type': 'change', 'change_time': '2020-09-15 18:00:58', 'change_before': {'ID': 'id', 'TITLE': 'title', 'CITY': 'city', 'DISTRICT': 'district', 'COMPANY_NAME': 'company_name', 'FROM_URL': 'from_url', 'ORI_SALARY': 'ori_salary', 'URL_PATH': 'url_Path', 'STARTDATE': 'startDate', 'ENDDATE': 'endDate', 'SOURCE': 'source', 'EDUCATION': 'education', 'EMPLOYER_NUMBER': 'employer_number', 'DESCRIPTION': 'description', 'EXPERIENCE': 'experience', 'CREATE_TIME': 'create_time', 'UPDATE_TIME': 'update_time', 'CLASS': 'class', 'DELETED': 'deleted', 'JOB_FIRST_CLASS': 'job_first_class', 'JOB_SECOND_CLASS': 'job_second_class', 'JOB_THIRD_CLASS': 'job_third_class', 'LOCATION': 'location', 'ALTERNATEFIELD1': 'alternateField1', 'ALTERNATEFIELD2': 'alternateField2', 'ALTERNATEFIELD3': 'alternateField3', 'COMPANY_NAME_DIGEST': 'company_name_digest', 'COMPANY_ID': 'company_id'}, 'change_after': {'ID': 1134383668, 'TITLE': '普工电子＋＋仓管品保', 'CITY': '黄山', 'DISTRICT': '祁门县', 'COMPANY_NAME': '苏州帆鹏电器有限公司', 'FROM_URL': '苏州高新区泰山路687号2', 'ORI_SALARY': '5001-8000', 'URL_PATH': 'http:/7d4efff7ed7cf7b76af6e5af43f', 'STARTDATE': datetime.date(2020, 7, 15), 'ENDDATE': datetime.date(2020, 8, 16), 'SOURCE': '百姓网', 'EDUCATION': '不限', 'EMPLOYER_NUMBER': '200人ESCRIPTION': '[本次扩招属于我工厂内部直招，厂区已通过企业营业执照严格认证，敬请放心求职应聘，入', 'EXPERIENCE': '不限', 'CREATE_TIME': datetime.datetime(2020, 7, 15, 0, 0), 'U, 0, 0), 'CLASS': '全职', 'DELETED': 0, 'JOB_FIRST_CLASS': '运输/物流/仓管', 'JOB_SECOND_CLASS': '仓库管理员', 'JOB_THIRD_CLASS': '', 'LOCATION': '苏州高新区>泰山路687号', 'ALLTERNATEFIELD3': '', 'COMPANY_NAME_DIGEST': '7d49c410a18fa394ea14240de45fc564'}}]} {
'msg': [
{
'sync_status': 'success',
'table_name': 'company_employment',
'primary_key': {
'ID': 0
},
'affected_rows': 1,
'change_type': 'change',
'change_time': '2020-09-1519: 03: 42',
'change_before': {
'ID': 'id',
'TITLE': 'title',
'CITY': 'city',
'DISTRICT': 'district',
'COMPANY_NAME': 'company_name',
'FROM_URL': 'from_url',
'ORI_SALARY': 'ori_salary',
'URL_PATH': 'url_Path',
'STARTDATE': 'startDate',
'ENDDATE': 'endDate',
'SOURCE': 'source',
'EDUCATION': 'education',
'EMPLOYER_NUMBER': 'employer_number',
'DESCRIPTION': 'description',
'EXPERIENCE': 'experience',
'CREATE_TIME': 'create_time',
'UPDATE_TIME': 'update_time',
'CLASS': 'class',
'DELETED': 'deleted',
'JOB_FIRST_CLASS': 'job_first_class',
'JOB_SECOND_CLASS': 'job_second_class',
'JOB_THIRD_CLASS': 'job_third_class',
'LOCATION': 'location',
'ALTERNATEFIELD1': 'alternateField1',
'ALTERNATEFIELD2': 'alternateField2',
'ALTERNATEFIELD3': 'alternateField3',
'COMPANY_NAME_DIGEST': 'company_name_digest',
'COMPANY_ID': 'company_id'
},
'change_after': {
'ID': 1134383668,
'TITLE': '普工电子＋情侣宿舍＋仓管品保',
'CITY': '黄山',
'DISTRICT': '祁门县',
'COMPANY_NAME': '苏州帆鹏电器有限公司',
'FROM_URL': '苏州高新区泰山路687号2',
'ORI_SALARY': '5001-8000',
'URL_PATH': 'http: //kg.baidu.com/od/4002/0/faf247d4efff7ed7cf7b76af6e5af43f',
'STARTDATE': datetime.date(2020,7,15),
'ENDDATE': datetime.date(2020,8,16),
'SOURCE': '百姓网',
'EDUCATION': '不限',
'EMPLOYER_NUMBER': '200人',
'DESCRIPTION': '本次扩招属于我工厂内部直招，厂区已通过企业营业执照严格认证，敬请放心求职应聘，入',
'EXPERIENCE': '不限',
'CREATE_TIME': datetime.datetime(2020,7,15,0,0),
'UPDATE_TIME': datetime.datetime(2020,7,16,0,0),
'CLASS': '全职',
'DELETED': 0,
'JOB_FIRST_CLASS': '运输/物流/仓管',
'JOB_SECOND_CLASS': '仓库管理员',
'JOB_THIRD_CLASS': '',
'LOCATION': '苏州高新区>泰山路687号',
'ALTERNATEFIELD2': '',
'ALTERNATEFIELD3': '',
'COMPANY_NAME_DIGEST': '7d49c410a18fa394ea14240de45fc564'
}
}
]
}
``` ```
## 应用场景说明 ## 应用场景说明
<!--TODO 举几个典型的应用场景的配置。内容包括： <!--TODO 举几个典型的应用场景的配置。内容包括：
1. 场景的描述 1. 场景的描述
......