爬取youtube网站时 需要下拉才能显示更多视频,怎么才能获取完整的页面
 发布于 8 年前  作者 zhoujinhai  4947 次预览  最后一次回复是 8 年前  来自 问答 

爬取下来的页面不完整,发现需要下拉才显示的内容都没有,怎么破!

4 回复
zswnew

这个需要执行网页中的js?

来自酷炫的 CNodeMD

cctv1005s

1,很简单,观察执行下拉动作之后产生的network,毕竟我们爬取页面的最终目的是获取数据,拿到network,就相当于拿到了数据。 2,使用PhantomJS来模拟动作,抓取页面

zhoujinhai

@cctv1005s 因为数据比较多,一个一个找network的话太麻烦,请问一下,要是使用PhantomJS来模拟动作,抓取页面有没有好一点儿的教程参考