关于 nodejs 抓取网页时 301 错误
发布于 12 年前 作者 lolocoo 5545 次预览 最后一次回复是 12 年前 来自
website: mafengwo
nodejs 抓取网页时 301 错误， 用 request (It supports HTTPS and follows redirects by default.) 包也还是不可以，其他的网站都可以，唯独目标网站不行。
用其他语言抓取就可行， 求解！
5 回复
website: mafengwo
nodejs 抓取网页时 301 错误， 用 request (It supports HTTPS and follows redirects by default.) 包也还是不可以，其他的网站都可以，唯独目标网站不行。
用其他语言抓取就可行， 求解！
这个是重定向，你可以直接抓取目标网页，或者根据响应头去做正理 request里面有个参数followRedirects:false
已经用了request该插件，自动会follows redirects的
@lolocoo 让是让你 followRedirects设置为false，自己根据响应头去获取
http包就有这个问题
用request包就行了，自动转向。 http://blog.fens.me/nodejs-crawler-douban/
如果request的时候响应了cookie重定向之后是不会把cookie加到头中的