【萌新写爬虫】爬知乎关注信息
这个例子是【爬虫工程师课程】中的一个实战，这里简单介绍下。
记得以前说过，爬虫有三步：获取源码、解析源码、储存数据。首先看看知乎的数据在哪里。
一、分析网页请求
以轮子哥为例，vczh，当我们禁用JS加载后，网页只有3条数据（属于lazy load），那么需要寻找数据
老规矩，打开开发者工具，找到翻页相关，数据都在这里
https://www.zhihu.com/api/v4/members/excited-vczh/followees?include=data%5B*%5D.answer_count%2Carticles_count%2Cgender%2Cfollower_count%2Cis_followed%2Cis_following%2Cbadge%5B%3F(type%3Dbest_answerer)%5D.topics&offset=40&limit=20
去除无用参数，是这样
offset 后面的数值就是翻页了。但是直接使用requests，会返回错误，我们把请求头拿出来看看
知乎的多了 authorization 和 X-UDID ，进过测试 authorization 是必要参数，所以构造就很简单了。
未登录和已登录情况下的 authorization 数值不同，进过多次错误，我发现必须使用已经登录下的 authorization 。
写这个爬虫我错误了无数次~
二、翻页构造
弄清楚请求就很简单了，翻页使用format函数
三、数据储存
我们打开这些数据，发现是json，那么就很简单，可以直接保存，不需要对网页数据进行解析。
然后可以对数据可视化
咳咳，为什么我关注了这么多男性
更有趣的是，打开轮子哥的粉丝列表，两者对比
关注了：
https://www.zhihu.com/api/v4/members/excited-vczh/followees?offset=20&limit=20
关注者：
https://www.zhihu.com/api/v4/members/excited-vczh/followers?offset=20&limit=20
有趣吧，通过这种方法，可以达到对知乎用户的爬取，前人说过很多，这里就不说了。
希望本文可以帮助你，像这种加载方式还有微博、头条。很久以前，萌新曾经提过一个问题，就是头条爬取，现在看来就很简单了。