dongfangyanbao

所属分类:数据采集/爬虫
开发工具:Python
文件大小:2003KB
下载次数:0
上传日期:2018-08-01 02:29:41
上 传 者sh-1993
说明:  使用 scrapy-selenium 爬取爬取东方财富网的所有个股研报信息
(Use sketch selenium to crawl all the stock research reports of Oriental Fortune)

文件列表:
dfyanbao (0, 2018-08-01)
dfyanbao\dfyanbao (0, 2018-08-01)
dfyanbao\dfyanbao\__pycache__ (0, 2018-08-01)
dfyanbao\dfyanbao\__pycache__\__init__.cpython-35.pyc (146, 2018-08-01)
dfyanbao\dfyanbao\__pycache__\items.cpython-35.pyc (567, 2018-08-01)
dfyanbao\dfyanbao\__pycache__\middlewares.cpython-35.pyc (2970, 2018-08-01)
dfyanbao\dfyanbao\__pycache__\pipelines.cpython-35.pyc (949, 2018-08-01)
dfyanbao\dfyanbao\__pycache__\settings.cpython-35.pyc (611, 2018-08-01)
dfyanbao\dfyanbao\items.py (507, 2018-08-01)
dfyanbao\dfyanbao\middlewares.py (2854, 2018-08-01)
dfyanbao\dfyanbao\pipelines.py (638, 2018-08-01)
dfyanbao\dfyanbao\settings.py (3236, 2018-08-01)
dfyanbao\dfyanbao\spiders (0, 2018-08-01)
dfyanbao\dfyanbao\spiders\__init__.py (161, 2018-08-01)
dfyanbao\dfyanbao\spiders\__pycache__ (0, 2018-08-01)
dfyanbao\dfyanbao\spiders\__pycache__\__init__.cpython-35.pyc (154, 2018-08-01)
dfyanbao\dfyanbao\spiders\__pycache__\dongfang.cpython-35.pyc (1803, 2018-08-01)
dfyanbao\dfyanbao\spiders\dongfang.py (1505, 2018-08-01)
dfyanbao\scrapy.cfg (259, 2018-08-01)
dfyanbao\东方财富网个股研报0611.csv (1485899, 2018-08-01)
东方财富网个股研报.xlsx (1335309, 2018-08-01)
部分研报信息.PNG (161076, 2018-08-01)

东方财富网个股研报信息爬虫说明文档 == 介绍 - 东方财富网爬虫是一个基于Scrapy-Selenium框架爬取东方财富网的个股研报标题、个股信息以及收益的爬虫。
代码说明 -- ### 运行环境 * Windows 10 专业版
* Python 3.5/Scrapy 1.5.0/MongoDB 3.4.7
### 依赖包 * Requests
* Pymongo
* Selenium 3.11.0 * Faker(随机切换User-Agent)
爬取结果 - 在东方财富网上总共爬取了16791条个股研报信息。结果由爬虫先存储在MongoDB中,再导出为Excle文件。部分数据如下截图:
![研报详情截图](https://github.com/lanluyu/dongfangyanbao/blob/master/%E9%83%A8%E5%88%86%E7%A0%94%E6%8A%A5%E4%BF%A1%E6%81%AF.PNG)

近期下载者

相关文件


收藏者