ckcest-spider
所属分类：数据采集/爬虫
开发工具：Python
文件大小：130KB
下载次数：0
上传日期：2021-12-02 06:10:30
上 传 者：
sh-1993
说明： 工程科技知识中心数据采集
(Engineering Science and Technology Knowledge Center Data Collection)
文件列表:
ckcest_spider (0, 2021-12-02)
ckcest_spider\__init__.py (0, 2021-12-02)
ckcest_spider\ckcest_spider_patent.py (14733, 2021-12-02)
ckcest_spider\ckcest_spider_project.py (22715, 2021-12-02)
ckcest_spider\ckcest_spider_result.py (17741, 2021-12-02)
ckcest_spider\ckcest_spider_specialist_classify.py (45201, 2021-12-02)
ckcest_spider\ckcest_spider_specialist_classify_ys.py (57608, 2021-12-02)
ckcest_spider\ckcest_spider_specialist_classify_zj.py (57245, 2021-12-02)
ckcest_spider\ckcest_spider_specialist_keywords.py (34382, 2021-12-02)
ckcest_spider\ckcest_spider_thesis.py (24357, 2021-12-02)
ckcest_spider\ckcest_thesis_category.py (6682, 2021-12-02)
ckcest_spider\formatjson_utils.json (20624, 2021-12-02)
ckcest_spider\irgrid_spider_organization.py (4757, 2021-12-02)
ckcest_spider\wanfang_spider.py (5454, 2021-12-02)
settings.py (12588, 2021-12-02)
spider_keywords.txt (100, 2021-12-02)
test (0, 2021-12-02)
test\baidu_baike_org.py (2338, 2021-12-02)
test\down_minio_news_img.py (971, 2021-12-02)
test\fasf.json (271390, 2021-12-02)
test\htmltest.py (924, 2021-12-02)
test\temp.py (1265, 2021-12-02)
test\test.json (8234, 2021-12-02)
utils (0, 2021-12-02)
utils\ckcest_cookies.py (2066, 2021-12-02)
utils\logger.py (3710, 2021-12-02)
utils\proxy_ip.py (2473, 2021-12-02)
# 科技辅助评估系统数据采集
科技辅助评估系统数据采集
## 1. 功能介绍
### 域名 http://www.ckcest.cn/
采集 专家、项目、专利、文献、新闻
## 2. 安装与部署
## 3. 使用说明
1. 高级搜索接口需要携带Cookie请求,使用selenium 获取cookie;
2. 人物详情数据在JS中,需要URL Decode;
3. 人物详情页封IP
## 4. 附录
## 5. 相关技术
1. redisbloomfilter 布隆过滤器
2. loguru 日志模块
3. OpenCC 繁转简
4. selenium 获取cookie
5. URL encode decode
6. requests_html
## 5. 项目相关人员
- ZuoWei
近期下载者：
相关文件：
收藏者：