python_spider_jobs_master
所属分类：Windows编程
开发工具：Python
文件大小：17KB
下载次数：10
上传日期：2018-02-27 23:00:47
上 传 者：
raffaella
说明： 51job爬虫
python写的爬虫，爬取51job前程无忧、智联招聘的大城市（北京、上海、深圳、广州、杭州）各种编程语言职位的总条数。
(51job spider
Python to write a crawler, climb the big city 51job qianchengwuyou, Zhaopin (Beijing, Shanghai, Shenzhen, Guangzhou, Hangzhou) a variety of programming language posts total number.)
文件列表:
auto.sh (63, 2017-07-20)
auto_vote.py (3670, 2017-07-20)
conf\app.conf (75, 2017-07-20)
conf\logger.conf (989, 2017-07-20)
jobs.txt (14661, 2017-07-20)
jobs_analysis.db (16384, 2017-07-20)
LICENSE (11357, 2017-07-20)
logs\myapp.log (0, 2017-07-20)
logs\myapp_h02.log (0, 2017-07-20)
logs\myapp_h03.log (0, 2017-07-20)
logs\stars_url_error.log (1, 2017-07-20)
main.py (11250, 2017-07-20)
# python_spider_jobs
已经在python3.4、python3.5、python3.6测试通过 , 技术栈:urllib+BeautifulSoup4+SQLite,用到的py库:beautifulsoup4、configparser,以后增加图表显示的功能
python写的爬虫,爬取51job前程无忧、智联招聘的大城市(北京、上海、深圳、广州、杭州)各种编程语言职位的总条数。
目前的岗位有:人工智能, 大数据, java, 前端, Android, iOS, python, php, go语言。
爬取后分别保存到sqlite数据库与txt文本文件中。sqlite数据库一天只保存一次。但jobs.txt一天可以写入多次爬取的记录。
近期下载者：
相关文件：
收藏者：