Nuxt CNode：Node.js专业中文社区

nodejs边读取文件边插入数据库问题

发布于 5 年前作者 pywCode 2639 次预览最后一次回复是 5 年前来自问答

各位大神，我想请教一个问题，文件读取边读边插入数据库中，当达到一定数量是插入数据中，因为是异步的插入数据库总是在文件读取完成之后才进行，因为我的文件数据比较大导致内存占用很大从而程序崩溃，请问各位有什么比较好的解决办法吗

4 回复

zhangxh1023

1楼•5 年前

看你读取的是什么文件喽读取一部分, 插入数据库, 然后再继续读取下一部分.

1楼正解

readline了解一下

之前写过一个处理大文件，你改一下应该就可以用了

const { once } = require('events');
const fs = require('fs');
const { createInterface } = require('readline');

async function processLineByLine(path, handler) {
  let res = [];
  try {
    const rl = createInterface({
      input: fs.createReadStream(path),
      crlfDelay: Infinity
    });

    rl.on('line', (line) => {
      res.push(handler(line, res));
    });

    await once(rl, 'close');
    console.log('文件已处理');
    return res;
  } catch (err) {
    console.error(err);
  }
}