爬虫,想用到 phantomjs模块 求大神指点
 发布于 8 年前  作者 juneLLL  5145 次预览  最后一次回复是 8 年前  来自 问答 

想要爬取 网易新闻但是网上的很多教程只爬取了一部分,怎么样用phantomjs 来模拟点击加载更多按钮和 1500862799(1).jpg 这些选项按钮呢

7 回复
ouyang90

# ++==^ 图片粗体^==++ # 来自VueCnodeMD

Sunshine168

如果是link的话就是访问新的网页进行抓取,如果是按钮加载更多 你也可以看🌰 里面有我之前写的笔记

var result = await page.evaluate(function() {
				  //...找到按钮模拟点击。
				  var element = document.getElementByid('...')
				  element.click()
				  return ...
			})
without-yy

不需要模拟点击直接请求不同的链接就好了 如果是点击按钮使用ajax渲染的话就直接抓ajax链接

juneLLL

@without-yy 嗯嗯 这种方法我懂,但是当处理大量数据的时候不能一个个再抓取ajax链接了不是

juneLLL

@Sunshine168 谢谢大神,我看了一点你的文章,写的很棒,还没有完全懂,准备好好研究一下

yyrdl

这种站点也需要phantomjs???

juneLLL

@yyrdl 拿这个练手,想用一下这种方法