Node.js以其异步和事件驱动的特性，在处理I/O密集型任务方面表现出色。本文深入探讨了Node.js中的流(Streams)功能，这是一种将数据分解为小块进行处理的机制。文章介绍了可读、可写、双工和转换流的类型，并详细解释了如何使用`pipe()`函数连接流，以及现代Node.js提供的`stream.pipeline()`和`stream.finished()`等实用工具，包括如何结合async/await实现更清晰的代码和更好的错误处理。理解并善用流，能显著提升Node.js应用程序的性能和简洁性。

🚰 Node.js流是处理I/O密集型任务的关键，其异步和事件驱动的本质通过将数据分解为更小、易于管理的块来简化操作，从而实现高效的数据传输。

🔠 流在Node.js中主要分为四种类型：可读流（Readable）用于从源读取数据，可写流（Writable）用于向目标写入数据，双工流（Duplex）兼具读写功能，而转换流（Transform）则能在数据传输过程中对其进行修改或转换。

🔗 `pipe()`函数是连接Node.js流的核心工具，它能够将一个流的输出连接到另一个流的输入，实现数据的无缝传输，而无需手动管理数据块的读取和写入，极大地简化了I/O流程。

🚀 现代Node.js通过引入`stream.pipeline()`和`stream.finished()`等实用程序，以及基于Promise的API，显著增强了流的错误处理和控制能力，使得开发者能够更健壮地管理流操作，并可以与async/await结合，编写出更加清晰、易于维护的代码。

💡 流与`async/await`模式的结合，为Node.js带来了更现代化的编程体验。通过异步迭代器，可以优雅地处理流数据，减少回调的嵌套，提升代码的可读性和可维护性，尤其是在处理大量数据时，这种方式更加高效和直观。

Node.js流基础

Node.js本质上是异步和事件驱动的，因此非常擅长处理I/O密集型任务。如果您的应用程序需要执行I/O操作，可以利用Node.js提供的流(Streams)功能。

关键要点

Node.js流是异步和事件驱动的，通过将数据分解为更小、更易管理的块来简化I/O操作流可分为可读(Readable)、可写(Writable)、双工(Duplex，既可读又可写)或转换(Transform，在传输过程中修改数据)pipe()函数是Node.js流中的有用工具，允许从源读取数据并写入目标，而无需手动管理数据流现代Node.js提供了stream.pipeline()和stream.finished()等实用程序以及基于Promise的API，以实现更好的错误处理和流控制流可以与async/await模式一起使用，使代码更清晰、更易维护

什么是流

Node.js中的流受到Unix管道的启发，提供了一种以流式方式从源读取数据并将其传输到目标的机制。简单地说，流就是一个EventEmitter，并实现了一些特殊方法。根据实现的方法，流可以是可读、可写、双工或转换。

可读流

可读流允许您从源读取数据。源可以是任何东西：文件系统中的简单文件、内存中的缓冲区，甚至是另一个流。

从流中读取

从流中读取数据的最佳方法是监听data事件并附加回调：

const fs = require('fs');const readableStream = fs.createReadStream('file.txt');let data = '';readableStream.on('data', function(chunk) {  data += chunk;});readableStream.on('end', function() {  console.log(data);});readableStream.on('error', (err) => {  console.error('Error reading stream:', err);});

现代ECMAScript特性

我们可以使用async/await重写上面的代码：

const fs = require('fs');const { Readable } = require('stream');const { promisify } = require('util');const streamToString = async (stream) => {  const chunks = [];    for await (const chunk of stream) {    chunks.push(typeof chunk === 'string' ? chunk : chunk.toString());  }    return chunks.join('');};async function readFile() {  try {    const readableStream = fs.createReadStream('file.txt');    const content = await streamToString(readableStream);    console.log(content);  } catch (err) {    console.error('Error reading file:', err);  }}readFile();

可写流

可写流允许您将数据写入目标。与可读流一样，它们也是EventEmitter，并在不同点发出各种事件。

写入流

要将数据写入可写流，您需要在流实例上调用write()：

const fs = require('fs');const readableStream = fs.createReadStream('file1.txt');const writableStream = fs.createWriteStream('file2.txt');readableStream.setEncoding('utf8');readableStream.on('data', function(chunk) {  writableStream.write(chunk);});

处理背压(Backpressure)

更好的方法是处理背压：

const fs = require('fs');const readableStream = fs.createReadStream('file1.txt');const writableStream = fs.createWriteStream('file2.txt');readableStream.setEncoding('utf8');readableStream.on('data', function(chunk) {  const canContinue = writableStream.write(chunk);  if (!canContinue) {    readableStream.pause();  }});writableStream.on('drain', function() {  readableStream.resume();});readableStream.on('end', function() {  writableStream.end();});readableStream.on('error', (err) => {  console.error('Read error:', err);  writableStream.end();});writableStream.on('error', (err) => {  console.error('Write error:', err);});

双工和转换流

双工流是可读和可写流的组合。它们维护两个独立的内部缓冲区，一个用于读取，一个用于写入，彼此独立运行。

转换流是一种特殊的双工流，可以在数据写入和读取时修改或转换数据。与双工流不同，双工流的输入和输出是分开的，而转换流的输出与其输入直接相关。

const { Transform } = require('stream');const upperCaseTr = new Transform({  transform(chunk, encoding, callback) {    this.push(chunk.toString().toUpperCase());    callback();  }});process.stdin  .pipe(upperCaseTr)  .pipe(process.stdout);

结论

这就是流的基础知识。流、管道和链是Node.js中最核心和最强大的功能。如果使用得当，流确实可以帮助您编写简洁且高性能的代码来执行I/O操作。只需确保正确处理流错误并适当关闭流以防止内存泄漏。