17370845950

Go语言大文件上传需流式解析multipart、分片上传、异步合并及分级超时控制：用r.MultipartReader()避免内存溢出，前端按5MB分片并携带uploadId等元数据，后端校验哈希、临时存储、轮询状态，合并由goroutine异步执行并提供进度接口。

Go 语言开发 Web 大文件上传，核心在于绕过内存瓶颈、支持断点续传、避免请求超时，并兼顾服务端稳定性和客户端体验。不依赖第三方框架也能高效实现，关键在合理分块、流式处理和状态管理。

使用 multipart/form-data 流式解析，避免内存溢出

默认 r.ParseMultipartForm() 会把整个文件读进内存或临时磁盘，对大文件极不友好。应直接调用 r.MultipartReader() 获取流，边读边存：

• 设置合理的 MaxMemory（如 32MB），让小文件走内存，大文件直通磁盘
• 用 io.Copy 或带缓冲的 io.CopyBuffer 将 part.Body 写入本地文件或对象存储
• 务必调用 part.Close() 和 mr.Close() 防止 fd 泄露

前端配合分片上传（Chunked Upload）

单次 HTTP 上传受网络波动、超时、服务端限制影响大。推荐前端按固定大小（如 5MB/片）切片，携带唯一 uploadId、chunkIndex、totalChunks 等字段：

• 后端收到分片后，校验 MD5 或 SHA256（可选），写入临时目录，命名格式如 uploadId_chunkIndex
• 提供 /upload/status 接口供前端轮询已上传分片列表，支持断点续传
• 最后调用 /upload/merge 合并所有分片，校验总文件哈希，重命名并清理临时文件

配置 HTTP Server 超时与 Body 限制

默认 Go http.Server 的 ReadTimeout 和 MaxRequestBodySize 会拦截大文件请求：

• 禁用 ReadTimeout（设为 0）或设为足够长（如 2 小时），改用更细粒度的上下文超时控制
• 在路由 handler 中用 http.MaxBytesReader 限制单次上传总量（如 10GB），防止恶意攻击
• Nginx 前置时，同步调整 client_max_body_size、proxy_read_timeout 等参数

异步合并 + 进度通知提升体验

合并多个 GB 文件可能耗时数秒，不应阻塞 HTTP 响应：

• 接收完所有分片后，立即返回 success + uploadId，后台 goroutine 执行 merge
• 用内存 map 或 Redis 存储上传状态（uploadId → {status, progress, fileName}）
• 提供 /upload/progress?uploadId=xxx 接口，返回实时进度（如 “merged 12/47 chunks”）

基本上就这些。Golang 做大文件上传不复杂但容易忽略流控和状态持久化——只要分片逻辑清晰、IO 不堆内存、超时有分级，就能稳稳撑住几十 GB 级上传。