1.项目背景

一天，一朋友扔给我一个链接https://item.jd.com/100000499657.html，让我看看这个歌商品的所有评论怎么抓取，我打开一看，好家伙，竟然有近300万条评论，不是一个小数目啊。

京东某商品评论

但是仔细一看，原来有234万 的评论是默认好评，还是有少部分是有价值的评价的。
经过进一步观察，可以看到

商品评论翻页

显然，网页中显示的只有100页数据，每页显示10条，通常可以用selenium点击每一页然后获取，但是这样效率是不是太低了呢？还是直接用requests来得更直接，很多情况下网页显示的数据是请求得到的JSON数据在网页上渲染而显示出来的，京东的评论会不会也是这样呢？好，说干就干！！！

2.项目环境

这个小项目使用Python爬取，不需要太多的配置，只需要安装requests库就足够 ，我相信对于很多玩爬虫的小伙伴来说这个库肯定是必备的，没装requests不要告诉我你会爬虫 。

1.项目分析

上面说到，网页中的数据很多都是通过渲染请求到的JSON数据得到的，那么我们就来看看京东是不是也是这样的。利用浏览器的审计工具，选择Network栏，可以看到

商品评论总体概况

仔细查看，寻找链接中于评论（comment）有关的链接，可以找到其中的一个请求链接https://club.jd.com/comment/productCommentSummaries.action?referenceIds=100000499657&callback=jQuery1951081&_=1586669401777，如上图。这是关于该商品评论的整体情况的，可以看到具体的总评论数、默认好评数、好评数、好评率等，虽然不是我们想要的，但是也近了一步，继续寻找，又找到了一条带comment字眼的链接https://club.jd.com/comment/productPageComments.action?callback=fetchJSON_comment98&productId=100000499657&score=0&sortType=5&page=0&pageSize=10&isShadowSku=0&fold=1，如图