crawler-keyword
所属分类：数据采集/爬虫
开发工具：GO
文件大小：19KB
下载次数：0
上传日期：2020-08-08 10:54:28
上 传 者：
sh-1993
说明： 关键字爬虫, 按关键字抓取网站新闻链接
(Keyword crawler, crawling website news links by keyword)
文件列表:
common (0, 2020-08-08)
common\common.go (582, 2020-08-08)
common\log.go (655, 2020-08-08)
conf.json (425, 2020-08-08)
conf (0, 2020-08-08)
conf\config.go (1989, 2020-08-08)
data (0, 2020-08-08)
go.mod (727, 2020-08-08)
go.sum (18791, 2020-08-08)
libs (0, 2020-08-08)
libs\helper.go (397, 2020-08-08)
main.go (1923, 2020-08-08)
services (0, 2020-08-08)
services\fetcher.go (3637, 2020-08-08)
services\fetcher_file.go (736, 2020-08-08)
services\fetcher_gov.go (2500, 2020-08-08)
views (0, 2020-08-08)
views\index.go (1640, 2020-08-08)
# 通用采集程序(按关键字)
## 功能
- 可配置采集网址和关键字
- 支持 `Z.F` 类限制采集的网站
## 使用
1. 运行 `main.exe`
2. 浏览器访问: http://127.0.0.1:21777/
3. 注意: 需要 `s381.jar` 和 `ffox` 支持包, 放在相同路径下, 在参考链接中查询和下载
## 说明
- 仅作为采集演示程序, 无其他用途
- 仅在 Win 环境测试通过, Linux 环境需要改 `selenium` 相关驱动类库
## 参考
- WebDriver(firefox): https://github.com/mozilla/geckodriver/releases
- Selenium-server(s381.jar): https://github.com/tebeka/selenium/blob/master/vendor/init.go
*ff*
近期下载者：
相关文件：
收藏者：