文件列表:

requirements.txt (42, 2019-07-01)
weibo (0, 2019-07-30)
weibo\Dear-迪丽热巴 (0, 2019-07-30)
weibo\Dear-迪丽热巴\1669879400.csv (1918733, 2019-07-27)
weibo\happykid-emma (0, 2019-07-30)
weibo\happykid-emma\3305220392.csv (481, 2019-07-27)
weibo\百雀羚 (0, 2019-07-30)
weibo\百雀羚\2037441407.csv (105175, 2019-07-27)
weibo\精品购物指南 (0, 2019-07-30)
weibo\精品购物指南\1646512101.csv (22101991, 2019-07-31)
weibo.py (18039, 2019-07-27)

# 功能 爬取新浪微博信息,并写入csv文件,文件名为目标用户id加".csv"的形式,同时还会下载该微博原始图片(可选)。

以爬取迪丽热巴的微博为例,她的微博昵称为"Dear-迪丽热巴",id为166***79400(后面会讲如何获取用户id)。我们选择爬取她的原创微博。程序会自动生成一个weibo文件夹,我们以后爬取的所有微博都被存储在这里。然后程序在该文件夹下生成一个名为"Dear-迪丽热巴"的文件夹,迪丽热巴的所有微博爬取结果都在这里。"Dear-迪丽热巴"文件夹里包含一个csv文件和一个img文件夹,img文件夹用来存储下载到的图片。

csv文件结果如下所示: *166***79400.csv*
本csv文件是爬取“全部微博”(原创微博+转发微博)的结果文件。因为迪丽热巴很多微博本身都没有图片、发布工具、位置、话题和@用户等信息,所以当这些内容没有时对应位置为空。"是否原创"列用来标记是否为原创微博, 当为转发微博时,文件中还包含转发微博的信息,如**原始用户id**、**原始用户昵称**、**原始微博id**、**原始微博正文**、**原始微博原始图片url**、**原始微博位置**、**原始微博日期**、**原始微博工具**、**原始微博点赞数**、**原始微博评论数**、**原始微博转发数**、**原始微博话题**、**原始微博@用户**等信息。原创微博因为没有这些转发信息,所以对应位置为空。若爬取的是"全部**原创**微博",则csv文件中不会包含"是否原创"及其之后的转发属性列;
下载的图片如下所示: *img文件夹*
本次下载了769张图片,大小一共1.16GB,包括她原创微博中的图片和转发微博转发理由中的图片。图片名为yyyymmdd+微博id的形式,若某条微博存在多张图片,则图片名中还会包括它在微博图片中的序号。若某图片下载失败,该图片url会被写到图片同目录下的not_downloaded_pictures.txt文件里;若图片全部下载成功则不会生成not_downloaded_pictures.txt。 # 输入 用户id,例如新浪微博昵称为"Dear-迪丽热巴"的id为"166***79400" # 输出 **用户信息**
- 用户id:微博用户id,为一串数字形式 - 用户昵称:微博用户昵称,如"Dear-迪丽热巴" - 性别:微博用户性别 - 微博数:用户的全部微博数(转发微博+原创微博) - 粉丝数:用户的粉丝数 - 关注数:用户关注的微博数量 - 简介:用户简介 - 主页地址:微博移动版主页url - 头像url:用户头像url - 高清头像url:用户高清头像url - 微博等级:用户微博等级 - 会员等级:微博会员用户等级,普通用户该等级为0 - 是否认证:用户是否认证,为布尔类型 - 认证类型:用户认证类型,如个人认证、企业认证、政府认证等 - 认证信息:为认证用户特有,用户信息栏显示的认证信息 *** **微博信息**
- 微博id:微博的id,为一串数字形式 - 微博内容:微博正文 - 原始图片url:原创微博图片和转发微博转发理由中图片的url,若某条微博存在多张图片,每个url以英文逗号分隔,若没有图片则值为'' - 微博发布位置:位置微博中的发布位置 - 微博发布时间:微博发布时的时间,精确到天 - 点赞数:微博被赞的数量 - 转发数:微博被转发的数量 - 评论数:微博被评论的数量 - 微博发布工具:微博的发布工具,如iPhone客户端、HUAWEI Mate 20 Pro等,若没有则值为'' - 话题:微博话题,即两个#中的内容,若存在多个话题,每个url以英文逗号分隔,若没有则值为'' - @用户:微博@的用户,若存在多个@用户,每个url以英文逗号分隔,若没有则值为'' - 原始微博:为转发微博所特有,是转发微博中那条被转发的微博,存储为字典形式,包含了上述微博信息中的所有内容,如微博id、微博内容等等 - 结果文件:保存在当前目录weibo文件夹下以用户昵称为名的文件夹里,名字为"user_id.csv"形式 - 微博图片:原创微博中的图片,保存在以用户昵称为名的文件夹下的img文件夹里 # 运行环境 - 开发语言:python2/python3 - 系统: Windows/Linux/macOS # 使用说明 ## 1.下载脚本 ```bash $ git clone https://github.com/dataabc/weibo-crawler.git ``` 运行上述命令,将本项目下载到当前目录,如果下载成功当前目录会出现一个名为"weibo-crawler"的文件夹; ## 2.设置user_id 打开weibo-crawler文件夹下的"**weibo.py**"文件,将**user_id**替换成想要爬取的微博的user_id,后面会详细讲解如何获取user_id; ## 3.安装依赖 ``` pip install -r requirements.txt ``` ## 4.运行脚本 大家可以根据自己的运行环境选择运行方式,Linux可以通过 ```bash $ python weibo.py ``` 运行; ## 5.按需求修改脚本(可选) 本脚本是一个Weibo类,用户可以按照自己的需求调用Weibo类。 例如用户可以直接在"weibo.py"文件中调用Weibo类,具体调用代码示例如下: ```python user_id = 166***79400 filter = 1 pic_download = 1 wb = Weibo(user_id, filter, pic_download) #调用Weibo类,创建微博实例wb wb.start() #爬取微博信息 ``` user_id可以改成任意合法的用户id;filter默认值为0,表示爬取所有微博信息(转发微博+原创微博),为1表示只爬取用户的所有原创微博;pic_download默认值为0,代表不下载微博原始图片,1代表下载;wb是Weibo类的一个实例,也可以是其它名字,只要符合python的命名规范即可;通过执行wb.start() 完成了微博的爬取工作。在上述代码执行后,我们可以得到很多信息:
**wb.user**:存储目标微博用户信息;
wb.user包含爬取到的微博用户信息,如**用户id**、**用户昵称**、**性别**、**微博数**、**粉丝数**、**关注数**、**简介**、**主页地址**、**头像url**、**高清头像url**、**微博等级**、**会员等级**、**是否认证**、**认证类型**、**认证信息**等,大家可以点击"详情"查看具体用法。

详情

**id**:微博用户id,取值方式为wb.user['id'],由一串数字组成;
**screen_name**:微博用户昵称,取值方式为wb.user['screen_name'];
**gender**:微博用户性别,取值方式为wb.user['gender'],取值为f或m,分别代表女和男;
**statuses_count**:微博数,取值方式为wb.user['statuses_count'];
**followers_count**:微博粉丝数,取值方式为wb.user['followers_count'];
**follow_count**:微博关注数,取值方式为wb.user['follow_count'];
**description**:微博简介,取值方式为wb.user['description'];
**profile_url**:微博主页,取值方式为wb.user['profile_url'];
**profile_image_url**:微博头像url,取值方式为wb.user['profile_image_url'];
**avatar_hd**:微博高清头像url,取值方式为wb.user['avatar_hd'];
**urank**:微博等级,取值方式为wb.user['urank'];
**mbrank**:微博会员等级,取值方式为wb.user['mbrank'],普通用户会员等级为0;
**verified**:微博是否认证,取值方式为wb.user['verified'],取值为true和false;
**verified_type**:微博认证类型,取值方式为wb.user['verified_type'],没有认证值为-1,个人认证值为0,企业认证值为2,政府认证值为3,这些类型仅是个人猜测,应该不全,大家可以根据实际情况判断;
**verified_reason**:微博认证信息,取值方式为wb.user['verified_reason'],只有认证用户拥有此属性。

**wb.weibo**:存储爬取到的所有微博信息;
wb.weibo包含爬取到的所有微博信息,如**微博id**、**正文**、**原始图片url**、**位置**、**日期**、**发布工具**、**点赞数**、**转发数**、**评论数**、**话题**、**@用户**等。如果爬的是全部微博(原创+转发),除上述信息之外,还包含**原始用户id**、**原始用户昵称**、**原始微博id**、**原始微博正文**、**原始微博原始图片url**、**原始微博位置**、**原始微博日期**、**原始微博工具**、**原始微博点赞数**、**原始微博评论数**、**原始微博转发数**、**原始微博话题**、**原始微博@用户**等信息。wb.weibo是一个列表,包含了爬取的所有微博信息。wb.weibo[0]为爬取的第一条微博,wb.weibo[1]为爬取的第二条微博,以此类推。当filter=1时,wb.weibo[0]为爬取的第一条**原创**微博,以此类推。wb.weibo[0]['id']为第一条微博的id,wb.weibo[0]['text']为第一条微博的正文,wb.weibo[0]['created_at']为第一条微博的发布时间,还有其它很多信息不在赘述,大家可以点击下面的"详情"查看具体用法。

详情

**user_id**:存储微博用户id。如wb.weibo[0]['user_id']为最新一条微博的用户id;
**screen_name**:存储微博昵称。如wb.weibo[0]['screen_name']为最新一条微博的昵称;
**id**:存储微博id。如wb.weibo[0]['id']为最新一条微博的id;
**text**:存储微博正文。如wb.weibo[0]['text']为最新一条微博的正文;
**pics**:存储原创微博的原始图片url。如wb.weibo[0]['pics']为最新一条微博的原始图片url,若该条微博有多张图片,则存储多个url,以英文逗号分割;若该微博没有图片,则值为"";
**location**:存储微博的发布位置。如wb.weibo[0]['location']为最新一条微博的发布位置,若该条微博没有位置信息,则值为'';
**created_at**:存储微博的发布时间。如wb.weibo[0]['created_at']为最新一条微博的发布时间;
**source**:存储微博的发布工具。如wb.weibo[0]['source']为最新一条微博的发布工具;
**attitudes_count**:存储微博获得的点赞数。如wb.weibo[0]['attitudes_count']为最新一条微博获得的点赞数;
**comments_count**:存储微博获得的评论数。如wb.weibo[0]['comments_count']为最新一条微博获得的评论数;
**reposts_count**:存储微博获得的转发数。如wb.weibo[0]['reposts_count']为最新一条微博获得的转发数;
**topics**:存储微博话题,即两个#中的内容。如wb.weibo[0]['topics']为最新一条微博的话题,若该条微博没有话题信息,则值为'';
**at_users**:存储微博@的用户。如wb.weibo[0]['at_users']为最新一条微博@的用户,若该条微博没有@的用户,则值为'';
**retweet**:存储转发微博中原始微博的全部信息。假如wb.weibo[0]为转发微博,则wb.weibo[0]['retweet']为该转发微博的原始微博,它存储的属性与wb.weibo[0]一样,只是没有retweet属性;若该条微博为原创微博,则wb[0]没有"retweet"属性,大家可以点击"详情"查看具体用法。

详情

假设爬取到的第i条微博为转发微博,则它存在以下信息:
**user_id**:存储原始微博用户id。wb.weibo[i-1]['retweet']['user_id']为该原始微博的用户id;
**screen_name**:存储原始微博昵称。wb.weibo[i-1]['retweet']['screen_name']为该原始微博的昵称;
**id**:存储原始微博id。wb.weibo[i-1]['retweet']['id']为该原始微博的id;
**text**:存储原始微博正文。wb.weibo[i-1]['retweet']['text']为该原始微博的正文;
**pics**:存储原始微博的原始图片url。wb.weibo[i-1]['retweet']['pics']为该原始微博的原始图片url,若该原始微博有多张图片,则存储多个url,以英文逗号分割;若该原始微博没有图片,则值为"";
**location**:存储原始微博的发布位置。wb.weibo[i-1]['retweet']['location']为该原始微博的发布位置,若该原始微博没有位置信息,则值为'';
**created_at**:存储原始微博的发布时间。wb.weibo[i-1]['retweet']['created_at']为该原始微博的发布时间;
**source**:存储原始微博的发布工具。wb.weibo[i-1]['retweet']['source']为该原始微博的发布工具;
**attitudes_count**:存储原始微博获得的点赞数。wb.weibo[i-1]['retweet']['attitudes_count']为该原始微博获得的点赞数;
**comments_count**:存储原始微博获得的评论数。wb.weibo[i-1]['retweet']['comments_count']为该原始微博获得的评论数;
**reposts_count**:存储原始微博获得的转发数。wb.weibo[i-1]['retweet']['reposts_count']为该原始微博获得的转发数;
**topics**:存储原始微博话题,即两个#中的内容。wb.weibo[i-1]['retweet']['topics']为该原始微博的话题,若该原始微博没有话题信息,则值为'';
**at_users**:存储原始微博@的用户。wb.weibo[i-1]['retweet']['at_users']为该原始微博@的用户,若该原始微博没有@的用户,则值为''。

# 如何获取user_id 1.打开网址,搜索我们要找的人,如"迪丽热巴",进入她的主页;
 2.按照上图箭头所指,点击"资料"链接,跳转到用户资料页面;
 如上图所示,迪丽热巴微博资料页的地址为"",其中的"166***79400"即为此微博的user_id。
事实上,此微博的user_id也包含在用户主页()中,之所以我们还要点击主页中的"资料"来获取user_id,是因为很多用户的主页不是""的形式,而是""或""的形式。其中"微号"和user_id都是一串数字,如果仅仅通过主页地址提取user_id,很容易将"微号"误认为user_id。

近期下载者：

相关文件：

评论：[我要评论] [举报此文件]

收藏者：