爬取下来的页面不完整,发现需要下拉才显示的内容都没有,怎么破!
这个需要执行网页中的js?
来自酷炫的 CNodeMD
1,很简单,观察执行下拉动作之后产生的network,毕竟我们爬取页面的最终目的是获取数据,拿到network,就相当于拿到了数据。 2,使用PhantomJS来模拟动作,抓取页面
@cctv1005s 好的,谢谢啦
@cctv1005s 因为数据比较多,一个一个找network的话太麻烦,请问一下,要是使用PhantomJS来模拟动作,抓取页面有没有好一点儿的教程参考
CNode 社区为国内最专业的 Node.js 开源技术社区,致力于 Node.js 的技术研究。
这个需要执行网页中的js?
来自酷炫的 CNodeMD
1,很简单,观察执行下拉动作之后产生的network,毕竟我们爬取页面的最终目的是获取数据,拿到network,就相当于拿到了数据。 2,使用PhantomJS来模拟动作,抓取页面
@cctv1005s 好的,谢谢啦
@cctv1005s 因为数据比较多,一个一个找network的话太麻烦,请问一下,要是使用PhantomJS来模拟动作,抓取页面有没有好一点儿的教程参考