Skip to content

GitLab

  • Projects
  • Groups
  • Snippets
  • Help
    • Loading...
  • Help
    • Help
    • Support
    • Community forum
    • Submit feedback
    • Contribute to GitLab
  • Sign in / Register
K
kb
  • Project overview
    • Project overview
    • Details
    • Activity
    • Releases
  • Repository
    • Repository
    • Files
    • Commits
    • Branches
    • Tags
    • Contributors
    • Graph
    • Compare
  • Issues 2
    • Issues 2
    • List
    • Boards
    • Labels
    • Service Desk
    • Milestones
  • Merge requests 0
    • Merge requests 0
  • Operations
    • Operations
    • Incidents
  • Analytics
    • Analytics
    • Repository
    • Value Stream
  • Wiki
    • Wiki
  • Members
    • Members
  • Activity
  • Graph
  • Create a new issue
  • Commits
  • Issue Boards
Collapse sidebar
  • granite
  • kb
  • Wiki
    • Data_stream
    • Ic
  • zongju_data_update

Last edited by songzp Jun 10, 2022
Page history
This is an old version of this page. You can view the most recent version or browse the history.

zongju_data_update

工商数据更新任务目标

  • 各个维度定期更新
  • 各个维度的更新数量可直观观测
  • 各个维度任务提交方法统一

各个维度定期更新(例行任务)

  • t1:企业7天侦测更新一轮次:8维度(照面信息、股东、主要人员、变更记录、行政处罚,年报信息, 分支机构信息,企业自主公示股东信息)
  • t2:个体户1月更新一轮次:(3)维度(照面信息、变更记录、年报, 行政处罚?)
  • t3:依照工商表中各个维度的例行更新7天一轮次
  • t4:各个维度的找新,有公告则依照公告
  • t5:各个维度的找新,无公告则全量企业,一月更新一轮
  • t6:其他一次性任务

任务类型

  • t1/t2
  • t3
  • t4
  • t5
  • t6

各个维度的更新数量可直观观测

  • 主要结合es,kibana,mysql统计

提交维度任务的统一

工商维度

data_type 名称 找新任务 例行更新任务 任务来源(找新/例行) 任务周期/天(找新/例行更新) 注释 数据量
base 照面基本信息 - t1/t2 es 7 通过es筛选在营企业,任务为8维度,不区分个体户
change 变更信息 - t1/t2 es 7 -同上-
annual_report 年报信息 - t1/t2 es 7 -同上-
branch 分支机构信息 - t1 es 7 -同上-
employee 主要人员信息 - t1 es 7 -同上-
partner 股东信息 - t1 es 7 -同上-
qy_partner 企业自主公示股东信息 - t1 es 7 -同上-
simple_cancel 简易注销信息 - t1 es 7 -同上-
punish 行政处罚信息 t4 t3/t2 ic_notice/company_punish 1/7 找新提交公告表的新增任务,根据维度表提交例行任务
abnormal 经营异常信息 t4 t3 ic_notice/company_abnormal 1/7 -同上-
illegal 严重违法信息 t4 t3 ic_notice/company_illegal 1/7 -同上-
justice 司法信息 t4 t3 ic_notice/company_justice 1/7 -同上-
random_check 双随机抽查检查 t4 t3 ic_notice/company_random_check 1/7 -同上-
cancel_notice 注销备案、公告 t4 t3 ic_notice/company_cancel_notice 1/7 -同上-
intellectual 知识产权出质信息 t5 t3 es/company_intellectual 30/7 找新通过es提交6维度任务,根据维度表提交例行任务
clear 清算信息 t5 t3 es/company_clear 30/7 -同上-
check 抽查检查信息 t5 t3 es/company_check 30/7 -同上-
pledge 股权出质信息 t5 t3 es/company_pledge 30/7 -同上-
allow 行政许可信息 t5 t3 es/company_allow 30/7 -同上-
chattel 动产抵押信息 t5 t3 es/company_chattel 30/7 -同上-

ent_type&data_type

* base shareholder keyperson branch neRecItem clear alter mort stock intellectual check proquacheck supervisionCheckres foodChkInfo drranins assist susnate promisefake annualreport instant other punish abnormal ill trademark copyright simplecancer elicenseNullfy ePubGroupMenberInfo eNliq eselfinfo stopBusi cancleStopInfo
data_type partner employee branch 多证合一公示 clear change chattel pledge intellectual check 产品质量监督抽查 认证监管司抽查检查 食品抽查检查信息 random_check justice 涉嫌冒用他人身份登记公示 承诺不实情况 annual_report 知识产权出质 punish abnormal illegal 商标注册信息 知识产权出质 simple_cancel 营业执照作废 集团成员信息 cancel_notice 执行标准自我声明信息 市场主体歇业公告 终止歇业公告
1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1
101 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1
2 1 0 0 0 1 0 1 1 0 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1
3 1 1 0 0 1 0 1 1 0 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1
4 1 0 0 0 1 0 1 1 0 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1
5 1 1 0 1 1 1 1 1 0 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1
6 1 0 0 0 1 0 1 1 0 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1
7 1 1 0 1 1 0 1 1 0 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1
8 1 0 0 0 1 0 1 1 0 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1
9 1 0 0 0 1 0 1 1 0 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1
10 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1
1001 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1
11 1 0 0 0 1 0 1 1 0 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1
12 1 1 0 1 1 1 1 1 0 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1
13 1 0 0 0 1 0 1 1 0 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1
14 1 0 0 0 1 0 1 1 0 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1
15 1 1 0 0 1 0 1 1 0 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1
16 1 0 1 0 1 0 1 1 0 0 1 1 1 1 1 1 1 1 1 1 1 1 1 0 1 1 1 1 0 1 1 1 1
17 1 0 1 0 1 0 1 1 0 0 1 1 1 1 1 0 1 1 1 1 1 1 1 0 1 1 1 1 0 1 1 1 1
18 1 0 0 0 1 0 1 1 0 0 1 1 1 1 1 0 1 1 0 0 1 1 1 0 1 1 1 1 0 0 1 1 1
Clone repository
  • README
  • basic_guidelines
  • basic_guidelines
    • basic_guidelines
    • dev_guide
    • project_build
    • 开发流程
  • best_practice
  • best_practice
    • AlterTable
    • RDS
    • azkaban
    • create_table
    • design
    • elasticsearch
    • elasticsearch
      • ES运维
    • logstash
View All Pages