51job-datamining
所属分类：数据挖掘/数据仓库
开发工具：Python
文件大小：450KB
下载次数：0
上传日期：2018-06-09 04:28:26
上 传 者：
sh-1993
说明： 51job-datamining,scrapy 前程无忧数据挖掘岗位信息爬取(广深)
(51job datamining, scraping 51job data mining, job information crawling (Guangzhou and Shenzhen))
文件列表:
51job_desc_item.json (313828, 2018-06-09)
51job_item.json (18291, 2018-06-09)
images (0, 2018-06-09)
images\岗位详细信息.png (184719, 2018-06-09)
images\爬虫命令.png (16274, 2018-06-09)
images\耗时.png (76203, 2018-06-09)
job (0, 2018-06-09)
job\__init__.py (0, 2018-06-09)
job\items.py (585, 2018-06-09)
job\middlewares.py (3591, 2018-06-09)
job\pipelines.py (968, 2018-06-09)
job\settings.py (3175, 2018-06-09)
job\spiders (0, 2018-06-09)
job\spiders\__init__.py (161, 2018-06-09)
job\spiders\job51.py (2342, 2018-06-09)
log.txt (774654, 2018-06-09)
scrapy.cfg (249, 2018-06-09)
# 51job-广深数据挖掘岗位爬取
scrapy
项目目录下开启爬虫
提取岗位详细信息,为以后数据分析做准备
scrapy的异步性能还是很不错的,同比相同数据量下用request、lxml写的多线程爬虫性能要高出百分之50以上!
近期下载者：
相关文件：
收藏者：