Skip to content

GitLab

institution · Changes

Page history
update: institution(事业单位爬虫迁至gravel项目) authored by 蒋家升's avatar 蒋家升
Hide whitespace changes
Inline Side-by-side
Showing with 354 additions and 0 deletions
data_stream/institution.md 0 → 100644
View page @ 222e2353
# **基本信息**
```buildoutcfg
事业单位爬虫
institution
search_key 为搜索入口，一般为统一社会信用代码
```
## 数据名称（中文）
<!-- 该项数据的中文标准名称，后续沟通交流使用的规范名称，如：工商公示股东信息、失信被执行人、一般纳税人等-->
###
```buildoutcfg
事业单位
```
## 数据英文名称
<!--英文名称，后续流程中所有涉及到英文名称均以此为准，如：partner、shixin、general_taxpayer等-->
```buildoutcfg
institution
```
## 采集网站（采集入口）
<!--采集的入口地址，不能只是一个网站域名，具体到该网站的数据入口-->
```buildoutcfg
官网PC端入口:
http://search.gjsy.gov.cn/wsss/view
采集文件存放路径：
/data/gravel_spiders/institution
```
## 采集频率及采集策略
<!--说明该项数据更新频率，存量数据的更新频率及策略、新增数据的采集频率及策略-->
### 存量更新策略
<!--无需更新？每天全量更新？逐条轮询更新？多久更新完一轮？或其他-->
```buildoutcfg
目前全量更新一轮
```
### 增量采集策略
<!--新增数据怎么来？无需单独采集新增数据？-->
```buildoutcfg
1.新成立的主体
2.补充的主体
```
---
# **爬虫**
```buildoutcfg
事业单位 institution
```
## 责任人
```buildoutcfg
蒋家升
```
## 爬虫名称
```buildoutcfg
institution
```
<!--spider_name-->
## 代码地址
```buildoutcfg
项目地址: http://tech.pingansec.com/granite/project-gravel/-/tree/develop_institution/
```
## 队列名称及队列地址
<!--redis host port db key 优先级说明-->
-
* redis host: redis://:utn@0818@bdp-mq-001.redis.rds.aliyuncs.com:6379/7
* redis port: 6379
* redis db: 7
* redis key:
* institution
### 优先级队列说明
* institution 支持队列优先级
## 任务来源
<!--说明爬虫任务的输入。如：来自某个数据库表等。如果来自某个数据库表则应该简要说明该表内的数据是如何维护的。-->
```buildoutcfg
taskhub 全量主体信息
```
## 任务输入参数（样例） 其中`search_key`,`credit_no`,`company_name`必需
```json
{
"province": "SAX", --省份
"company_status": "废止", --登记状态
"company_name": "乐东黎族自治县第二小学", --事业单位名称
"credit_no": "12468843428892871M", --统一社会信用代码
"submit_time": "2021-06-16 19:29:44", --提交时间
"search_key": "12468843428892871M" --搜索关键词, 通常与统一信用代码保持一致
}
```
### 任务样例
<!--注意是爬虫拿到的完整任务，而不仅仅是task_params-->
```buildoutcfg
{
"province": "SAX",
"company_status": "废止",
"company_name": "乐东黎族自治县第二小学",
"credit_no": "12468843428892871M",
"submit_time": "2021-06-16 19:29:44",
"search_key": "12468843428892871M"
}
```
### 任务参数说明
<!--特有参数说明，通用参数比如spider_name,task_params,task_src,task_result等不需说明-->
```json
{
"province": "SAX", --省份
"company_status": "废止", --登记状态
"company_name": "乐东黎族自治县第二小学", --事业单位名称
"credit_no": "12468843428892871M", --统一社会信用代码
"submit_time": "2021-06-16 19:29:44", --提交时间
"search_key": "12468843428892871M" --搜索关键词
}
```
## data_type说明
<!--可能产生的data_type说明-->
```buildoutcfg
detail: 详情信息
```
## 爬虫结果的超级数据
<!--包含所有字段的json数据，每个value都要有样例值-->
```json
{
"companyinfo_item":
{
"company_name": "乐东黎族自治县第二小学",
"credit_no": "12468843428892871M",
"business_scope": "实施小学义务教育，促进基础教育发展；小学学历教育和相关社会服务。",
"company_address": "乐东黎族自治县抱由镇吉祥路",
"legal_person": "罗人鹏",
"capital_source": "财政补助(全额拨款)",
"capital": "35.2万元",
"organizer": "乐东黎族自治县教育局",
"company_status": "已废止",
"authority": "乐东黎族自治县事业单位登记管理局",
"operation_startdate": "",
"operation_enddate": "",
"company_type": "事业单位",
"province": "海南省",
"province_code": 1024,
"province_short": "HAIN",
"data_status": 1,
"data_source": 1,
"create_time": "2022-04-12 21:28:57.442503",
"lastupdatetime": "2022-04-12 21:28:57.442503"
},
"result_code": "00000111",
"mark": "",
"http_code": 200,
"error_msg": "",
"task_result": 1000,
"data_type": "detail",
"spider_start_time": "2022-04-12 21:28:26.602",
"spider_end_time": "2022-04-12 21:29:00.671507",
"task_params":
{
"province": "SAX",
"company_status": "废止",
"company_name": "乐东黎族自治县第二小学",
"credit_no": "12468843428892871M",
"submit_time": "2021-06-16 19:29:44",
"search_key": "12468843428892871M"
},
"metadata":
{},
"spider_name": "institution",
"spider_ip": "192.168.108.74"
}
```
## 实际爬虫结果的数据结构
<!--可能与超级数据一致，可能不同的data_type的爬虫结果结构不同，超级数据是把所有data_type的结果组合在一起-->
```json
{
"companyinfo_item":
{
"company_name": "乐东黎族自治县第二小学", -- 事业单位名称
"credit_no": "12468843428892871M", -- 统一社会信用代码
"business_scope": "实施小学义务教育，促进基础教育发展；小学学历教育和相关社会服务。", -- 宗旨和业务范围
"company_address": "乐东黎族自治县抱由镇吉祥路", --住所
"legal_person": "罗人鹏", -- 法定代表人姓名
"capital_source": "财政补助(全额拨款)", -- 经费来源
"capital": "35.2万元", -- 开办资金
"organizer": "乐东黎族自治县教育局", -- 登记管理机关
"company_status": "已废止", -- 单位状态
"authority": "乐东黎族自治县事业单位登记管理局", -- 登记管理机关
"operation_startdate": "", -- 经营开始日期
"operation_enddate": "", -- 经营结束日期
"company_type": "事业单位", -- 登记类型固定值为 事业单位
"province": "海南省", -- 省份
"province_code": 1024, -- 省份（数字编号）
"province_short": "HAIN", -- 省份（英文缩写）
"data_status": 1,
"data_source": 1,
"create_time": "2022-04-12 21:28:57.442503",
"lastupdatetime": "2022-04-12 21:28:57.442503" -- 数据最后更新时间
},
"result_code": "00000111",
"mark": "",
"http_code": 200,
"error_msg": "",
"task_result": 1000,
"data_type": "detail",
"spider_start_time": "2022-04-12 21:28:26.602",
"spider_end_time": "2022-04-12 21:29:00.671507",
"task_params":
{
"province": "SAX",
"company_status": "废止",
"company_name": "乐东黎族自治县第二小学",
"credit_no": "12468843428892871M",
"submit_time": "2021-06-16 19:29:44",
"search_key": "12468843428892871M"
},
"metadata":
{},
"spider_name": "institution",
"spider_ip": "192.168.108.74"
}
```
## 爬虫运行环境
<!--udm模块？scrapy？或其他-->
```buildoutcfg
scrapy
```
## 爬虫部署信息
<!--部署在哪些机器？每个机器多少进程？项目名称是什么？-->
```buildoutcfg
target: 10.8.6.51
spider_name: institution
5个进程
```
## Taskhub地址
```buildoutcfg
提交任务地址:
代码编写地址:
```
## Taskhub调度规则说明
```buildoutcfg
task_result=1000 # 正常获取到详情任务
task_result=1101 # 无结果信息
task_result=9101 # 超时错误，需要进行重试，目前重试5次
task_result=8000 # 参数错误
```
## 爬虫监控指标设计
<!--监控爬虫正常运行的指标是什么？报警规则是什么？-->
```buildoutcfg
(先观察，待补充)
索引:
监控频率:
监控起止时间:
报警条件:
报警群:
报警内容:
```
---
# **数据归集**
## 责任人
```html
```
## 数据归集方式
- [ ] 爬虫直接写kafka
- [ ] 爬虫写文件logstash采集
## 爬虫结果目录
```html
```
## 归集后存放目录
```html
```
## logstash配置文件名称
```html
```
## logstash文件采集type
```html
```
## 数据归集的topic
```
topic_id => ""
```
## ES日志索引及筛选条件
```html
```
## 监控指标看板
## 数据保留策略
---
# **数据清洗**
## 责任人
## 代码地址
## 部署地址
<!--机器及线上代码地址-->
## 部署方法及说明
<!--运行方法及运行命令、supervisor配置、supervisor的program等-->
- [ ] crontab + data_pump
- [ ] supervisor + data_pump
- [ ] supervisor + consumer
## 数据接收来源
<!--来源于kafka还是归集的文件、topic的group？-->
## 数据存储表地址
* 数据库地址：
* 表名：
\ No newline at end of file