CnkiSpider-master
所属分类：数据挖掘/数据仓库
开发工具：Python
文件大小：96KB
下载次数：6
上传日期：2017-12-26 15:15:53
上 传 者：
dongxia
说明： CNKI爬虫代码，可以用来爬取知网论文题录信息
(CNKI crawler code can be used to take up the National Bibliographic Information)
文件列表:
doc\categories.json (62212, 2014-11-04)
src\bs4\builder\_html5lib.py (10647, 2014-11-04)
src\bs4\builder\_htmlparser.py (8839, 2014-11-04)
src\bs4\builder\_lxml.py (8661, 2014-11-04)
src\bs4\builder\__init__.py (11151, 2014-11-04)
src\bs4\dammit.py (29302, 2014-11-04)
src\bs4\diagnose.py (6315, 2014-11-04)
src\bs4\element.py (61538, 2014-11-04)
src\bs4\testing.py (24510, 2014-11-04)
src\bs4\tests\test_builder_registry.py (5374, 2014-11-04)
src\bs4\tests\test_docs.py (1067, 2014-11-04)
src\bs4\tests\test_html5lib.py (2929, 2014-11-04)
src\bs4\tests\test_htmlparser.py (612, 2014-11-04)
src\bs4\tests\test_lxml.py (2965, 2014-11-04)
src\bs4\tests\test_soup.py (17391, 2014-11-04)
src\bs4\tests\test_tree.py (70169, 2014-11-04)
src\bs4\tests\__init__.py (27, 2014-11-04)
src\bs4\__init__.py (15401, 2014-11-04)
src\CnkiSpider.py (5288, 2014-11-04)
src\Config.py (7564, 2014-11-04)
src\ContentSpider.py (6662, 2014-11-04)
src\Cookie.py (5280, 2014-11-04)
src\ListSpider.py (7894, 2014-11-04)
src\bs4\builder (0, 2014-11-04)
src\bs4\tests (0, 2014-11-04)
data\ListPages (0, 2014-11-04)
src\bs4 (0, 2014-11-04)
data (0, 2014-11-04)
doc (0, 2014-11-04)
src (0, 2014-11-04)
test (0, 2014-11-04)
##bug报告
1. issue
2. pull request
3. 联系 颜登程
##使用说明
1. 在src/CnkiSpider.py设置检索条件
2. 执行src/CnkiSpider.py抓取数据
3. 抓取数据存储在/data目录下,文件名格式为"data-keyword-年月日时分秒.txt.txt",如"data-新媒体-20131128224556.txt"
4. 每个数据文件的第一行为字段名称
5. 每次运行都根据当前时间生成新的数据文件
6. 如果抓取过程中断,可以在src/CnkiSpider.py中设置startPage为中断时的页码,并重新运行src/CnkiSpider.py从中断的页面继续抓取,最后将各个数据文件合并
7. 生成的文本文件直接修改后缀名为.csv然后用LibreOffice打开并在LibreOffice中设置字段分隔符为src/CnkiSpider.py中变量fieldsSep设置的字符串
8. Windows下打开Excel 2013,然后【打开】->【浏览】->选择文件(文件名后下拉框选择“文本文件”),出现文本导入向导,设置“文件原始格式”为Unicode(UTF-8),下一步,设置“分隔符号”
9. 由若要使用文本编辑器打开数据文件,建议使用Notepad++打开。Windows自带的记事本打开大文件会卡死。Notepad++可以自动识别编码格式,防止乱码。
10. 如果数据文件中从某部分开始大量出现关键词字段和分类号字段为空的情况,则将src/CnkiSpider.py中restEvery变量调小,restPeriod变量调大后重试。
## windows下和linux下使用需要修改的地方
CnkiSpider.py print "----CONTENT:获取第" + str(article["order"]) + "篇文章"
ContentSpider.py s = s.replace("【分类号】".decode("utf8"), "")
近期下载者：
相关文件：
收藏者：