java爬虫
所属分类：Java编程
开发工具：Java
文件大小：18KB
下载次数：2
上传日期：2019-03-23 20:03:37
上 传 者：
chaojilaji
说明： 基于java Htmlunit框架，实现了一个基于BFS算法的整站爬取的爬虫，该爬虫扩展性个人觉得还行，完全可以嵌入到一些庞大的系统中作为爬虫模块，同时，支持自己设定爬取条件，实现某几个判断方法即可
(Based on the framework of Java Htmlunit, a crawler based on BFS algorithm for whole station crawling is implemented. The scalability of the crawler is good, and it can be embedded in some huge systems as a crawler module. At the same time, it can support itself to set crawling conditions and realize some judgment methods.)
文件列表:
java爬虫 (0, 2019-03-23)
java爬虫\pom.xml (2147, 2019-03-20)
java爬虫\src (0, 2019-03-23)
java爬虫\src\main (0, 2019-03-23)
java爬虫\src\main\java (0, 2019-03-23)
java爬虫\src\main\java\com (0, 2019-03-23)
java爬虫\src\main\java\com\chaojilaji (0, 2019-03-23)
java爬虫\src\main\java\com\chaojilaji\spider (0, 2019-03-23)
java爬虫\src\main\java\com\chaojilaji\spider\entity (0, 2019-03-23)
java爬虫\src\main\java\com\chaojilaji\spider\entity\WebEntity.java (5135, 2019-03-23)
java爬虫\src\main\java\com\chaojilaji\spider\entity\WebProcessInfo.java (3482, 2019-03-23)
java爬虫\src\main\java\com\chaojilaji\spider\service (0, 2019-03-23)
java爬虫\src\main\java\com\chaojilaji\spider\service\CrawlParseService.java (620, 2019-03-23)
java爬虫\src\main\java\com\chaojilaji\spider\service\CrawlService.java (215, 2019-03-23)
java爬虫\src\main\java\com\chaojilaji\spider\service\Impl (0, 2019-03-23)
java爬虫\src\main\java\com\chaojilaji\spider\service\Impl\CrawlParseServiceImpl.java (3824, 2019-03-23)
java爬虫\src\main\java\com\chaojilaji\spider\service\Impl\CrawlServiceImpl.java (8223, 2019-03-23)
java爬虫\src\main\java\com\chaojilaji\spider\SpiderApplication.java (326, 2019-03-23)
java爬虫\src\main\java\com\chaojilaji\spider\task (0, 2019-03-23)
java爬虫\src\main\java\com\chaojilaji\spider\task\AnalysisTask.java (6990, 2019-03-23)
java爬虫\src\main\java\com\chaojilaji\spider\task\Controllertask.java (905, 2019-03-23)
java爬虫\src\main\java\com\chaojilaji\spider\task\MonitorTask.java (2815, 2019-03-23)
java爬虫\src\main\java\com\chaojilaji\spider\util (0, 2019-03-23)
java爬虫\src\main\java\com\chaojilaji\spider\util\FileUtil.java (1018, 2019-03-23)
java爬虫\src\main\java\com\chaojilaji\spider\util\UrlNode.java (584, 2019-03-23)
java爬虫\src\main\resources (0, 2019-03-23)
java爬虫\src\main\resources\application.properties (1, 2019-03-15)
java爬虫\src\main\resources\static (0, 2019-03-15)
java爬虫\src\main\resources\templates (0, 2019-03-15)
java爬虫\src\test (0, 2019-03-23)
java爬虫\src\test\java (0, 2019-03-23)
java爬虫\src\test\java\com (0, 2019-03-23)
java爬虫\src\test\java\com\chaojilaji (0, 2019-03-23)
java爬虫\src\test\java\com\chaojilaji\spider (0, 2019-03-23)
java爬虫\src\test\java\com\chaojilaji\spider\TaobaoApplicationTests.java (347, 2019-03-23)
近期下载者：
相关文件：
收藏者：