RT 最近项目中有个临时的需求,需要解析几十MB的json文件,想知道node库有没有靠谱的适合干这样的活儿的库呢? github上找了几个 要么报错,要么有内存泄露 放在连续的工作流脚本里各种报内存溢出…
这个,才几十MB的JSON而已,直接用内置的JSON.parse不行? 你看到的是out of memory吧?将Node.js内存限制放大一些就行了:
node --max_old_space_size=4096
@JexCheng 嗯 用JSON.parse解决问题了,主要是现在处理的文件比较小,从业务场景上以后这个文件会越来越大,总会有JSON不能解决问题的时候。 内存大小限制我设了,但只是跑了更久之后报出out of memory而已,所以我觉得是泄露造成的。
这跟解析库无关。V8 底层的 JSON 解析已经很黑科技了。内存大是解析出来的 Object 大。无论你用什么解析库,只要是 V8 驱动的 Object 就那么大。
CNode 社区为国内最专业的 Node.js 开源技术社区,致力于 Node.js 的技术研究。
这个,才几十MB的JSON而已,直接用内置的JSON.parse不行? 你看到的是out of memory吧?将Node.js内存限制放大一些就行了:
@JexCheng 嗯 用JSON.parse解决问题了,主要是现在处理的文件比较小,从业务场景上以后这个文件会越来越大,总会有JSON不能解决问题的时候。 内存大小限制我设了,但只是跑了更久之后报出out of memory而已,所以我觉得是泄露造成的。
这跟解析库无关。V8 底层的 JSON 解析已经很黑科技了。内存大是解析出来的 Object 大。无论你用什么解析库,只要是 V8 驱动的 Object 就那么大。