• 小倩123
    了解作者
  • Python
    开发工具
  • 534KB
    文件大小
  • zip
    文件格式
  • 0
    收藏次数
  • 1 积分
    下载积分
  • 5
    下载次数
  • 2019-07-10 10:24
    上传日期
小红书微信端多线程爬虫,使用Python编写,fiddler手机抓包
redbook.zip
  • redbook
  • redup
  • 口红关键词.xlsx
    9KB
  • Logs
  • 201906022031.log
    389.6KB
  • reddown
  • 豆沙色口红平价.xls
    37.5KB
  • 口红平价.xls
    41.5KB
  • 温柔豆沙色口红.xls
    37.5KB
  • 适合素颜涂的口红.xls
    37.5KB
  • 适合夏天的口红颜色.xls
    37.5KB
  • 奶茶色口红哑光.xls
    37.5KB
  • 口红.xls
    37.5KB
  • 适合黄皮唇色深的口红.xls
    41.5KB
  • 口红试色.xls
    41.5KB
  • 粉豆沙色口红.xls
    37.5KB
  • 奶茶色口红推荐.xls
    37.5KB
  • 豆沙色口红滋润.xls
    37.5KB
  • 适合夏天的平价口红.xls
    41.5KB
  • 适合夏季的口红颜色.xls
    37.5KB
  • 平价口红.xls
    41.5KB
  • 深豆沙色口红.xls
    37.5KB
  • 显白口红.xls
    37.5KB
  • 适合黄皮的豆沙色口红.xls
    37.5KB
  • 适合夏天用的口红.xls
    37.5KB
  • 适合夏天涂的口红.xls
    37.5KB
  • 日常口红.xls
    41.5KB
  • 黄皮口红.xls
    37.5KB
  • 哑光豆沙色口红.xls
    37.5KB
  • 平价好用口红.xls
    41.5KB
  • 平价豆沙色口红.xls
    41.5KB
  • __pycache__
  • Testlog.cpython-37.pyc
    1.3KB
  • Testlog.cpython-36.pyc
    1.3KB
  • UA.cpython-36.pyc
    4.1KB
  • UA.cpython-37.pyc
    4.2KB
  • Testlog.py
    1.5KB
  • redbook.py
    11.5KB
  • UA.py
    3.9KB
  • 使用方法.txt
    758B
内容介绍
一:使用模块 requests, json, time, datetime, xlwt, xlrd, lxml, os, sys,concurrent.futures 其中需要下载的:xlwt, xlrd ,requests 下载示例:pip install xlwt 二:使用方法 将含有关键词的excel放入redup文件夹中,如示例文件关键词在excel第一个表中的第一列 执行程序redbook.py 示例:python redbook.py(在该目录下执行程序) 生成的文件按照关键词命名存放在reddown文件夹中,, 注:每次使用完,需要清空redup文件夹,,否则下次会重复搜索 三: 多线程使用 在redbook.py 文件中,第296行,设置最大线程数 建议考虑网速,内存大小,计算机计算速度(cpu,Gpu),合理设置线程数
评论
    相关推荐
    • python爬虫抓站的一些技巧总结.zip
      python爬虫抓站的实用技巧,学习python爬虫抓站的实用知识
    • Crawler:关于Java和Python爬虫那些事儿
      《自己动手写网络爬虫》,并基于Python3和Java实现 为什么采用宽度优先搜索策略? 深度优先遍历可能会在深度上过“深”而陷入“黑洞”; 重要的网页往往距离种子网页比较近,越深的网页的重要性越低; 万维网深度...
    • 技术更新,战术升级!Python爬虫案例实战从零开始一站通.rar
      Python爬虫案例实战从零开始一站通;20章,共计129节,完整版,附源码;第一章:零基础入门Python网络爬虫 第二章、Urllib模块基础与糗事百科爬虫项目实战 第三章、淘宝商品图片爬虫开发实战 第四章、 用户代理池与...
    • 技术更新,战术升级!Python爬虫案例实战从零开始一站通
      分享课程——技术更新,战术升级!Python爬虫案例实战从零开始一站通,完整版129讲,提供课程源码下载!
    • Python 爬虫学习
      本节课程的内容是介绍什么是爬虫爬虫有什么用?以及爬虫是如何实现的?从这三点来全面剖析爬虫这一工具。
    • python爬虫.rar
      里面集成了大量的python 爬虫相关的代码,想自学爬虫的同学可以下载学习。
    • Python-知网搜狗微信搜狗新闻的爬虫.zip
      需要说明的是,本文中介绍的都是小规模数据的爬虫(数据量),大规模爬取需要会更复杂,本文不涉及这一块。另外,代码细节就不过多说了,只将一个大概思路以及趟过的坑。
    • Python-知乎分布式爬虫ScrapyRedis
      知乎爬虫(scrapy默认配置下单机1小时可爬取60多万条数据)
    • 爬虫Demo基于Python实现
      网络爬虫也叫网络蜘蛛,如果把互联网比喻成一个蜘蛛网,那么蜘蛛就是在网上爬来爬去的蜘蛛,爬虫程序通过请求url地址,根据响应的内容进行解析采集数据, 比如:如果响应内容是html,分析dom结构,进行dom解析、或者...
    • 手把手带你学python爬虫
      课程简介:课程包含urllib、requests、正则、xpath、bs4、selenium、js破解、滑动验证码、模拟登陆、字体破解、多任务爬虫、Scrapy框架、分布式爬虫、增量爬虫、代理池、手机抓包爬虫部署等知识。还等什么?快来让...