phpspider
所属分类：数据采集/爬虫
开发工具：PHP
文件大小：159KB
下载次数：0
上传日期：2019-10-28 08:25:52
上 传 者：
sh-1993
说明： 新华网=> [www.xinhuanet.com](http: www.xinhuanet.com) 人民网 => [www.people.com.cn](http: www.people.com.cn) 部分栏目爬虫
文件列表:
.idea (0, 2019-10-28)
.idea\misc.xml (174, 2019-10-28)
.idea\modules.xml (270, 2019-10-28)
.idea\php.xml (284, 2019-10-28)
.idea\phpspider.iml (436, 2019-10-28)
.idea\vcs.xml (180, 2019-10-28)
.idea\workspace.xml (11629, 2019-10-28)
composer.json (64, 2019-10-28)
composer.lock (2130, 2019-10-28)
renmin.php (3697, 2019-10-28)
vendor (0, 2019-10-28)
vendor\autoload.php (178, 2019-10-28)
vendor\composer (0, 2019-10-28)
vendor\composer\ClassLoader.php (13459, 2019-10-28)
vendor\composer\LICENSE (1070, 2019-10-28)
vendor\composer\autoload_classmap.php (147, 2019-10-28)
vendor\composer\autoload_namespaces.php (149, 2019-10-28)
vendor\composer\autoload_psr4.php (207, 2019-10-28)
vendor\composer\autoload_real.php (1762, 2019-10-28)
vendor\composer\autoload_static.php (831, 2019-10-28)
vendor\composer\installed.json (1489, 2019-10-28)
vendor\owner888 (0, 2019-10-28)
vendor\owner888\phpspider (0, 2019-10-28)
vendor\owner888\phpspider\autoloader.php (1931, 2019-10-28)
vendor\owner888\phpspider\composer.json (977, 2019-10-28)
vendor\owner888\phpspider\core (0, 2019-10-28)
vendor\owner888\phpspider\core\cache.php (2510, 2019-10-28)
vendor\owner888\phpspider\core\constants.php (1577, 2019-10-28)
vendor\owner888\phpspider\core\db.php (17239, 2019-10-28)
vendor\owner888\phpspider\core\init.php (2863, 2019-10-28)
vendor\owner888\phpspider\core\log.php (3252, 2019-10-28)
vendor\owner888\phpspider\core\phpspider.bak20170807.php (89465, 2019-10-28)
vendor\owner888\phpspider\core\phpspider.php (119076, 2019-10-28)
vendor\owner888\phpspider\core\queue.php (39865, 2019-10-28)
vendor\owner888\phpspider\core\requests.php (32402, 2019-10-28)
vendor\owner888\phpspider\core\selector.php (17963, 2019-10-28)
vendor\owner888\phpspider\core\util.php (27430, 2019-10-28)
... ...
## 基于composer 下 phpspider 爬取新华网 人民网部分栏目
1.此代码 适用于 每天多次爬虫 爬取当天新闻 故不做分页
2.详细文档 见 https://doc.phpspider.org/
3.如果 满足不了业务 建议自己修改依赖 主要修改 来自选择器 log日志相关 可以根据业务调整
4.selector.php 140 行选择器修改成按业务需求获取带标签选择
5.requests.php 933 997 html encoding 方法 修改为更优的 mb_convert_encoding 函数做处理 兼容大部分执行环境
近期下载者：
相关文件：
收藏者：