data_stream/ic/ic_online_lake.md

@@ -11,18 +11,21 @@ queue kafka的topic_ic_spider_all
 database ic_ar
 database ic_base
 database ic_biz
+database utn_special
 file update_data_json
 queue maxwell
 file update_data_json_province
 
 bson_aliyun --> bson_office: 共享盘/data_227/
 bson_office --> kafka的topic_ic_spider_all: 所有的数据类型,bson_reader,kafka_writer
-kafka的topic_ic_spider_all --> ic_ar: ar相关data_type，kafka_reader,sync_mysql_filter,redis_writer
-kafka的topic_ic_spider_all --> ic_base: base相关data_type，kafka_reader,sync_mysql_filter,redis_writer
-kafka的topic_ic_spider_all --> ic_biz: biz相关data_type，kafka_reader,sync_mysql_filter,redis_writer
+kafka的topic_ic_spider_all --> ic_ar: ar相关data_type，kafka_reader,sync_mysql_writer
+kafka的topic_ic_spider_all --> ic_base: base相关data_type，kafka_reader,sync_mysql_writer
+kafka的topic_ic_spider_all --> ic_biz: biz相关data_type，kafka_reader,sync_mysql_writer
+kafka的topic_ic_spider_all --> utn_special: 特殊主体相关data_type，kafka_reader,sync_mysql_writer
 ic_ar --> maxwell: 监控mysql的binlog
 ic_base --> maxwell: 监控mysql的binlog
 ic_biz --> maxwell: 监控mysql的binlog
+utn_special --> maxwell: 监控mysql的binlog
 maxwell --> update_data_json
 update_data_json --> update_data_json_province: 按省份分目录,/data_227/data_sync/lake_ic/province/province_short/
 
@@ -47,10 +50,29 @@ supervisor配置：(72个进程)
 /home/collie/product/app_online_lake/supervisor/ic_spider_update_lake_kafka.conf
 /etc/supervisord.d/ic_spider_update_lake_kafka.conf
 3.mysql地址
+
 host:bdp-rds-t02.mysql.rds.aliyuncs.com
 db:ic_ar、ic_biz、ic_base
 ```
 
+## mysql库信息
+
+* ic_ar
+
+    host: bdp-rds-t01.mysql.rds.aliyuncs.com:3306
+
+* ic_base
+
+    host: bdp-rds-t02.mysql.rds.aliyuncs.com:3306
+
+* ic_biz
+
+    host: bdp-rds-t02.mysql.rds.aliyuncs.com:3306
+
+* utn_special
+
+    host: 10.8.6.87:3801
+
 ## kafka信息
 
 * topic: ic_spider_all
@@ -61,40 +83,40 @@ db:ic_ar、ic_biz、ic_base
 
 ## data_type说明
 
-| data_type | 维度注释 |
-| ------ | ------ |
-| ic_base | 照面信息 |
-| ic_employee | 主要人员 |
-| ic_partner | 工商公示股东 |
-| ic_branch | 分支机构 |
-| ic_change | 变更记录 |
-| ic_history_name | 历史名称 |
-| ic_industry | 行业分类 |
-| ic_abnormal | 经营异常 |
-| ic_allow | 行政许可 |
-| ic_illegal | 严重违法 |
-| ic_punish | 行政处罚 |
-| ic_justice | 司法协助 |
-| ic_check | 抽查检查 |
-| ic_clear | 清算信息 |
-| ic_pledge | 股权出质 |
-| ic_chattel | 动产抵押 |
-| ic_intellectual | 知识产权出质 |
-| ar_base | 年报基本信息 |
-| ar_partner | 年报股东 |
-| ar_change | 年报修改记录 |
-| ar_asset | 年报资产 |
-| ar_guarantee | 年报对外担保 |
-| ar_invest | 年报对外投资 |
-| ar_equity_change | 年报股权变更 |
-| ar_social_security | 年报社保 |
-| ar_website | 年报网站 |
-| enterprise | 事业单位 |
-| social_organ | 社会组织 |
-| law_office | 律师事务所 |
-| fund | 基金会 |
-| gov_unit | 机关单位 |
-| trade_union | 工会 |
+| data_type | 维度注释 | 去向库 |
+| ------ | ------ | ------ |
+| ic_base | 照面信息 | ic_base |
+| ic_employee | 主要人员 | ic_base |
+| ic_partner | 工商公示股东 | ic_base |
+| ic_branch | 分支机构 | ic_base |
+| ic_change | 变更记录 | ic_base |
+| ic_history_name | 历史名称 | ic_base |
+| ic_industry | 行业分类 | ic_base |
+| ic_abnormal | 经营异常 | ic_biz |
+| ic_allow | 行政许可 | ic_biz |
+| ic_illegal | 严重违法 | ic_biz |
+| ic_punish | 行政处罚 | ic_biz |
+| ic_justice | 司法协助 | ic_biz |
+| ic_check | 抽查检查 | ic_biz |
+| ic_clear | 清算信息 | ic_biz |
+| ic_pledge | 股权出质 | ic_biz |
+| ic_chattel | 动产抵押 | ic_biz |
+| ic_intellectual | 知识产权出质 | ic_biz |
+| ar_base | 年报基本信息 | ic_ar |
+| ar_partner | 年报股东 | ic_ar |
+| ar_change | 年报修改记录 | ic_ar |
+| ar_asset | 年报资产 | ic_ar |
+| ar_guarantee | 年报对外担保 | ic_ar |
+| ar_invest | 年报对外投资 | ic_ar |
+| ar_equity_change | 年报股权变更 | ic_ar |
+| ar_social_security | 年报社保 | ic_ar |
+| ar_website | 年报网站 | ic_ar |
+| enterprise | 事业单位 | utn_special |
+| social_organ | 社会组织 | utn_special |
+| law_office | 律师事务所 | utn_special |
+| fund | 基金会 | utn_special |
+| gov_unit | 机关单位 | utn_special |
+| trade_union | 工会 | utn_special |
 
 ##  增量数据地址