node.js如何同步抓取页面？
发布于 12 年前 作者 airclear 9891 次预览 最后一次回复是 11 年前 来自
事情是这样的：
第一步：我需要从一个网站抓取几个 链接。 第二步：请求那些获取到的链接，获取数据。
第一步大家都会，第二步我要如何控制呢？
比如我第一步获取到了100个链接，我不能直接一个for循环 把所有链接都打开时吧 求教！
7 回复
事情是这样的：
第一步：我需要从一个网站抓取几个 链接。 第二步：请求那些获取到的链接，获取数据。
第一步大家都会，第二步我要如何控制呢？
比如我第一步获取到了100个链接，我不能直接一个for循环 把所有链接都打开时吧 求教！
控制一下并发即可，可以使用async.js中的queue来做，自己实现一个也不难。
做了不止两个这种应用了
可以看看这个 http://cnodejs.org/topic/5183786d6d38277306382d10
看这个看这个 https://github.com/JacksonTian/bagpipe
不需要同步操作。
嗯，就是控制并发。 我要问的就是这个。 我会参考下async的 不过哪位能讲解下自己实现控制呢
https://github.com/driverdan/node-XMLHttpRequest