request 和 superagent 模块 都可以拿来做爬虫,怎么选择呢
 发布于 7 年前  作者 souldjl  3138 次预览  最后一次回复是 7 年前  来自 问答 

requestsuperagent 模块 都可以拿来做爬虫,怎么选择呢?有点迷糊了

7 回复
lzq920

做爬虫首选py

cnlile

爬虫用Scrapy做过,觉得还可以的,推荐一下。。。

souldjl

@lzq920 e,这不是nodejs社区吗

souldjl

@cnlile @lzq920 e,这不是nodejs社区吗

JZLeung

我用的 request-promise 还不错,加上 cheerio

然后用的是 egg.js 的 定时任务定时爬取。

yongjun925

superagent可以使用superagent.agent();自动处理cookie,包装的cookiejar。在需要登录后爬取数据的,很有用

souldjl

@yongjun925 哦哦,怎么区分呢