如何采集post分页的数据?
1、如果post过来的数据不是PHP能够识别的，你可以用 $GLOBALS[HTTP_RAW_POST_DATA]来接收，比如 text/xml 或者 soap 等等。
2、在谷歌浏览器，打开提交的网页，点击右键检查。点击network（网络），再点击Preserve log（访问日志） ，继续点击击XHR（XHR为获取提交内容）。
3、你可以把查询到的所有数据放入table、list等数据结构中，然后，新建变量如：pageNum=20（每页的记录数），然后根据这个数目将n条数据分割，得到分页号。然后根据分页号，浏览每页数据。
4、.post（url，data，fn（response，status，xhr））；url：请求的服务器地址；data：向服务器发送的数据；fn：回调函数，就是你向服务器发送数据后要执行的函数。response：这个就是服务器接到请求后返回给你的数据。
5、http接口返回的json数据，其实就是http请求后返回的http主体那一部分。http协议规定，http头部和http主体之间是以一个空行分割的。
6、你需要在你的页面中定义这么一个元素，拿到返回的html内容，下面你随便想做什么都行。
python爬虫如何分析一个将要爬取的网站?
1、爬取网页数据，需要一些工具，比如requests，正则表达式，bs4等，解析网页首推bs4啊，可以通过标签和节点抓取数据。
2、首先，你去爬取一个网站，你会清楚这个网站是属于什么类型的网站（新闻，论坛，贴吧等等）。你会清楚你需要哪部分的数据。你需要去想需要的数据你将如何编写表达式去解析。你会碰到各种反爬措施，无非就是各种百度各种解决。
3、首先要明确想要爬取的目标。对于网页源信息的爬取首先要获取url，然后定位的目标内容。先使用基础for循环生成的url信息。然后需要模拟浏览器的请求(使用request.get(url))，获取目标网页的源代码信息(req.text)。
4、Python网络爬虫可以通过发送HTTP请求获取网页内容，然后使用解析库对网页进行解析，提取所需的数据。Python网络爬虫可以用于各种应用场景，如搜索引擎的网页索引、数据采集、舆情监控等。
5、数据来源 我们将使用多种工具和技术来爬取网络数据。首先，我们将使用编程语言如Python和其相关的网络爬虫库来获取网页数据。其次，我们也将利用API（应用程序接口）来获取特定类型的数据。
PYTHON爬虫的分页问题
使用requests模块的post方法，采集数据。 给你个例子吧，哎，10分少了点。
分页，页面中会有特定的代码，因为每篇文章的长度不同，要检查代码中自动分为几页，然后再跟进去抓取下一页。
给你贴一下我前一段时间回答的类似问题，用的soup，还有一个用的正则就不贴了，手机不太方便，如下。
python进行分页数据爬取的介绍就聊到这里吧，感谢你花时间阅读本站内容，更多关于scrapy分页爬取、python进行分页数据爬取的信息别忘了在本站进行查找喔。