request和superagent 模块 都可以拿来做爬虫,怎么选择呢?有点迷糊了
request
superagent
做爬虫首选py
爬虫用Scrapy做过,觉得还可以的,推荐一下。。。
@lzq920 e,这不是nodejs社区吗
nodejs
@cnlile @lzq920 e,这不是nodejs社区吗
我用的 request-promise 还不错,加上 cheerio
request-promise
cheerio
然后用的是 egg.js 的 定时任务定时爬取。
egg.js
superagent可以使用superagent.agent();自动处理cookie,包装的cookiejar。在需要登录后爬取数据的,很有用
@yongjun925 哦哦,怎么区分呢
CNode 社区为国内最专业的 Node.js 开源技术社区,致力于 Node.js 的技术研究。
做爬虫首选py
爬虫用Scrapy做过,觉得还可以的,推荐一下。。。
@lzq920 e,这不是
nodejs社区吗@cnlile @lzq920 e,这不是
nodejs社区吗我用的
request-promise还不错,加上cheerio然后用的是
egg.js的 定时任务定时爬取。superagent可以使用superagent.agent();自动处理cookie,包装的cookiejar。在需要登录后爬取数据的,很有用
@yongjun925 哦哦,怎么区分呢