想要爬取 网易新闻但是网上的很多教程只爬取了一部分,怎么样用phantomjs 来模拟点击加载更多按钮和 这些选项按钮呢
# ++==^ 粗体^==++ # 来自VueCnodeMD
如果是link的话就是访问新的网页进行抓取,如果是按钮加载更多 你也可以看🌰 里面有我之前写的笔记
var result = await page.evaluate(function() { //...找到按钮模拟点击。 var element = document.getElementByid('...') element.click() return ... })
不需要模拟点击直接请求不同的链接就好了 如果是点击按钮使用ajax渲染的话就直接抓ajax链接
@without-yy 嗯嗯 这种方法我懂,但是当处理大量数据的时候不能一个个再抓取ajax链接了不是
@Sunshine168 谢谢大神,我看了一点你的文章,写的很棒,还没有完全懂,准备好好研究一下
这种站点也需要phantomjs???
@yyrdl 拿这个练手,想用一下这种方法
CNode 社区为国内最专业的 Node.js 开源技术社区,致力于 Node.js 的技术研究。
# ++==^
粗体^==++ #
来自VueCnodeMD
如果是link的话就是访问新的网页进行抓取,如果是按钮加载更多 你也可以看🌰 里面有我之前写的笔记
不需要模拟点击直接请求不同的链接就好了 如果是点击按钮使用ajax渲染的话就直接抓ajax链接
@without-yy 嗯嗯 这种方法我懂,但是当处理大量数据的时候不能一个个再抓取ajax链接了不是
@Sunshine168 谢谢大神,我看了一点你的文章,写的很棒,还没有完全懂,准备好好研究一下
这种站点也需要phantomjs???
@yyrdl 拿这个练手,想用一下这种方法