Go读大文件应避免os.ReadFile，改用bufio.Reader流式分块读取以防止OOM；可自定义缓冲区大小，按行用ReadString、二进制用Read、简单文本用Scanner，并注意关文件、复用缓冲、判EOF及调优缓冲大小。
Go语言中读取大文件时，直接使用os.ReadFile或一次性io.ReadAll会将整个文件加载到内存，极易导致OOM。正确做法是结合bufio.Reader进行流式、分块读取，控制内存占用的同时保持较高IO效率。
用bufio.Reader逐块读取，避免全量加载
bufio.Reader内部维护一个固定大小的缓冲区（默认4KB），调用Read、ReadString、ReadBytes等方法时，它自动按需从底层io.Reader（如*os.File）填充缓冲区，减少系统调用次数，提升性能。
关键点：
- 缓冲区大小可自定义（如64KB或1MB），需根据文件特征和可用内存权衡；太大未必更快，还可能浪费内存
- 不要误以为
bufio.Reader会“预读全部内容”——它只缓存当前需要的部分 - 每次
Read返回实际读取字节数，需检查err == io.EOF判断是否读完
按行处理日志类大文件（推荐ReadString）
对
于按行组织的文本文件（如日志、CSV），用reader.ReadString('\n')最自然。它会持续读取直到遇到换行符，并把整行（含\n）返回。
示例片段：
f, _ := os.Open("access.log")
defer f.Close()
r := bufio.NewReaderSize(f, 1<<16) // 64KB buffer
for {
line, err := r.ReadString('\n')
if err == io.EOF {
if len(line) > 0 { // 处理最后一行无换行符的情况
processLine(line)
}
break
}
if err != nil {
log.Fatal(err)
}
processLine(line)
}
按固定块读取二进制或结构化数据
若文件是二进制格式（如自定义协议、数据库导出块）或需精细控制读取粒度，用reader.Read(buf)更合适。
建议写法：
- 复用字节切片（
buf := make([]byte, 1即1MB），避免频繁分配 - 循环中用
n, err := r.Read(buf)，仅处理buf[:n]部分 - 注意：
Read不保证填满buf，尤其在接近文件末尾时
配合Scanner简化文本解析（适合简单场景）
bufio.Scanner是对bufio.Reader的封装，内置行分割逻辑，API更简洁，且默认限制单行最大64KB（防恶意超长行），适合大多数文本处理。
示例：
f, _ := os.Open("data.txt")
scanner := bufio.NewScanner(f)
scanner.Buffer(make([]byte, 1<<16), 1<<20) // 扩大token缓冲区和最大行长
for scanner.Scan() {
line := scanner.Text() // 不含\n
processLine(line)
}
if err := scanner.Err(); err != nil {
log.Fatal(err)
}
注意：Scanner不适合读取含\x00的二进制数据，也不支持回退；复杂解析仍推荐Reader。
不复杂但容易忽略：关闭文件、复用缓冲区、检查EOF与其它错误、合理设置缓冲区大小——这四点做好，Golang读大文件既稳又快。
