使用node 爬取百度新闻Rss
发布于 9 年前 作者 NumerHero 5827 次预览 最后一次回复是 9 年前 来自 分享
如何爬取百度新闻Rss
最近再研究关于nodeJs的一些问题， 看到知乎上starkwang 爬了知乎关系网，某女生自学python爬了淘宝的购物链，所以就想用nodeJS爬点东西玩玩，新手扫盲项目，大牛喷轻点~
和大家分享一下自己的经验和爬过的坑，**欢迎star **
2 回复
作者
最近再研究关于nodeJs的一些问题， 看到知乎上starkwang 爬了知乎关系网，某女生自学python爬了淘宝的购物链，所以就想用nodeJS爬点东西玩玩，新手扫盲项目，大牛喷轻点~
和大家分享一下自己的经验和爬过的坑，**欢迎star **
nodejs开发爬虫，request + cheerio(解析html) / xml2js(解析xml) 足够了
解析xml我选择的是 feedparser 使用 superAgent 代替request 很方便 转码选择iconv-lite （不可避免）
我认为此项目没有多余的模块依赖