最近有爬虫网页的需求,node有什么好用的框架或工具么?麻烦大家推荐一下…如果有教程那最好了,以前没接触过爬虫这部分…麻烦大家了…
https://github.com/sunfeng90/node-spider @iori2882 可以看一下
https://github.com/LuckyHH/WebSpider 其实很多都是superagent加cheerio搭配，这种只能抓HTML上有的数据，原理就是下载网页进行分析。抓取ajax数据什么的，需要无头浏览器。
@sunfeng90 谢谢例子简单正用的上…学习一下
@LuckyHH 谢谢,功能齐全,目前先学习简单的,以后在学习这个…
request + cheerio，还不行就上puppeteer。。。
用 node + selenium + webdriverio 也可以实现，5.0以上支持无头浏览器
puppeteer 完美
puppeteer
谢谢大家,Puppeteer 很好,正适合我目前的需求!!!
CNode 社区为国内最专业的 Node.js 开源技术社区，致力于 Node.js 的技术研究。
https://github.com/sunfeng90/node-spider @iori2882 可以看一下
https://github.com/LuckyHH/WebSpider 其实很多都是superagent加cheerio搭配，这种只能抓HTML上有的数据，原理就是下载网页进行分析。抓取ajax数据什么的，需要无头浏览器。
@sunfeng90 谢谢例子简单正用的上…学习一下
@LuckyHH 谢谢,功能齐全,目前先学习简单的,以后在学习这个…
request + cheerio，还不行就上puppeteer。。。
用 node + selenium + webdriverio 也可以实现，5.0以上支持无头浏览器
puppeteer 完美
puppeteer
puppeteer
谢谢大家,Puppeteer 很好,正适合我目前的需求!!!