如何在Golang中使用bufio缓冲读写_Golang bufio Scanner Writer方法_技术教程

bufio 包是为减少小数据频繁读写的系统调用开销而设的缓冲层，并非替代 io；Scanner 漏末行因 Scan() 返回 false 不代表读完，需每次 Scan 后立即取 Text() 或用 Bytes()；Writer 需显式 Flush() 才写入磁盘；Scanner 与底层 Reader 混用会因预读导致偏移错乱。

Go 标准库的 bufio 包不是用来“替代” io 的，而是为解决小数据频繁读写带来的系统调用开销而设计的缓冲层。直接用 os.File.Read 或 Write 读一行或写一串文本，性能差、逻辑碎；但盲目套用 bufio.Scanner 或 bufio.Writer 也可能引发截断、丢数据、死锁等问题。

Scanner 读取时为什么经常漏掉最后一行？

bufio.Scanner 默认以 \n 为分隔符，且 Scan() 返回 false 时，不表示“已读完”，而是“无法再找到下一个完整分隔单元”。如果文件末尾没有换行符（比如最后一行是 "done" 而非 "done\n"），scanner.Text() 仍能拿到该行内容，但你若只在 Scan() 为 true 时处理，就会漏掉它。

正确做法：每次 Scan() 后立即取 scanner.Text()，哪怕下一次 Scan() 返回 false
更稳妥方式：检查 scanner.Err() 是否为 nil，并用 scanner.Bytes() 获取原始字节（避免 UTF-8 解码失败导致丢内容）
注意 Scanner 默认限制单行最大 64KB，超长会直接返回 ErrTooLong；需提前调用 scanner.Buffer(make([]byte, 4096), 1 手动扩容

scanner := bufio.NewScanner(file)
for scanner.Scan() {
    line := scanner.Text() // 这里已包含当前行（不含\n）
    process(line)
}
if err := scanner.Err(); err != nil {
    log.Fatal(err)
}
// 不需要额外 check "last line" —— Scan() 已覆盖全部有效行

Writer 写入后内容没刷到磁盘？

bufio.Writer 是纯内存缓冲，Write() 只是拷贝进内部 []byte，不会触发系统调用。常见错误是忘记调用 Flush()，尤其在写完就 Close() 文件前——而 Close() 并不自动 Flush()（除非是 bufio.NewWriterSize(f, size) 包裹的 *os.File，且 f 是可写文件描述符，此时 Close 会 flush；但行为不可靠，不应依赖）。

每次写完关键数据（如日志行、协议帧）后，显式调用 w.Flush()
若写入量大且对延迟不敏感，可增大缓冲区（如 bufio.NewWriterSize(f, 1）减少系统调用次数
不要混用 bufio.Writer 和底层 *os.File.Write() —— 缓冲区和文件偏移会错乱

w := bufio.NewWriter(outputFile)
fmt.Fprintln(w, "header")
fmt.Fprintln(w, "data line 1")
w.Flush() // 必须加，否则可能滞留在内存

Scanner 和 Reader 混用会导致 panic 或跳过数据

bufio.Scanner 内部持有并管理一个 bufio.Reader，它会预读多字节（默认最多 4096 字节）来查找分隔符。如果你在同一个 io.Reader（比如 *os.File）上，先用 scanner.Scan()，又手动调用 file.Read()，那么 file.Read() 会从文件当前偏移读，而这个偏移已被 Scanner 的预读提前挪走了，结果就是读到“中间截断”的数据，甚至 io.EOF 提前返回。

一个 reader 实例只交给一个高层封装用：要么全用 Scanner，要么全用 ReadLine()/ReadBytes()，要么自己用 bufio.Reader 控制预读
若必须混合（如解析 HTTP 响应头后读 raw body），应使用 scanner.Reader() 拿到其内部 *bufio.Reader，再用它的 ReadSlice() 或 ReadBytes() 继续读，确保偏移一致
切勿对同一文件句柄同时启两个 Scanner

缓冲的本质是时间换空间，或是空间换系统调用次数。Golang 的 bufio 接口干净，但它的“隐式预读”和“无自动刷盘”特性，恰恰是最容易在调试后期才暴露的问题——尤其当程序在本地跑得通，上线后偶发丢日志、卡住、解析错位时，第一反应不该是换第三方库，而是查 Flush() 调了没、Scanner 的 buffer 设够没、有没有偷偷绕过缓冲层直写 fd。