使用 Go 语言开发一个并发文件下载器

本文转载自微信公众号「Golang来啦」，使用作者Seekload。个并转载本文请联系Golang来啦公众号。发文

今天给大家分享一个实战项目，载器涉及到的使用知识点还挺多，文末也有源码地址!!

原文如下：

Go 语言是个并一门了不起的语言，尽管它非常简单，发文与 Koltin 和 Scala 等其他现代语言相比，载器它的使用功能很少，但它具有强大的个并并发能力。这篇文章，发文我们将会看到使用 Go 语言如何编写一个完整的载器并发文件下载器。完整的使用代码在这里[1]。

检查服务器是个并否支持并发下载

如何之前使用过类似 IDM 的下载工具，你可能会注意到它支持并发下载文件。发文

可以看到下载文件的时候启动了 8 个进程。亿华云计算

实现并发下载，我们必须确保服务器支持范围请求。怎么确认呢?我们可以发送 HEAD 请求，如果响应头的 Accept-Ranges 返回的值是 bytes，我们就能确定服务器支持此功能。

res, err := http.Head("http://some.domain/some.file") if err != nil {     log.Fatal(err) } if res.StatusCode == http.StatusOK && res.Header.Get("Accept-Ranges") == "bytes" {     // Yeh, server supports partial request } 

如何下载文件的其中一部分

设想服务器支持范围请求，我们知道文件大小是 4000 字节(文件大小从响应头的 Content-Length 获取)。要仅下载 2000 到 3000 字节的文件的一部分，我们可以发送 HTTP GET 请求，并在 header 头设置 Range 参数：

curl -X GET -H "Range: bytes=2000-3000" -o OUTPUT_FILE http://some.domain/some.file 

实现相同功能的代码如下：

req, err := http.NewRequest("GET", "http://some.domain/some.file", nil) if err != nil {      log.Fatal(err) } rangeStart := 2000 rangeStop := 3000 req.Header.Set("Range", fmt.Sprintf("bytes=%d-%d", rangeStart, rangeStop)) // make a request res, err := http.DefaultClient.Do(req) 

将响应保存在文件中

为了支持断点续传功能，我们不会将请求响应保存在内存里，而是会持久化在文件中。举个例子，如果我们把并发级别设置成 4，在输出目录将会有 4 个临时文件。服务器租用下面的代码，我们只是简单地读取 HTTP 响应体并将它写入一个文件中：

f, err := os.OpenFile(outputPath, flags, 0644)     if err != nil {          log.Fatal(err)     } defer f.Close() _, err = io.Copy(f, res.Body) 

暂停下载

不知道大家注意到没有，上面代码有个问题，使用时不支持 CTRL+C 暂停下载。如果下载的文件过大，或者网络慢，下载需要花费很长时间。因为 io.Copy 复制文件时遇到 EOF 或者发生错误才结束。为了解决这个问题，我们使用 io.CopyN 和 cancel channel 组合：

// copy to output file for {    select {      case <- context.Done():        // user canceled the download         return     default:       _, err = io.CopyN(f, res.Body, BUFFER_SIZE))       if err != nil {          if err == io.EOF {              return         } else {              log.Fatal(err)         }       }     }   } 

其他功能参见完整源代码

这篇文章只提到了代码中最重要的部分，但是通过阅读代码你可以了解其他功能是怎么实现的，比如：进度条的工作方式、如何使用 sync 包实现部分下载的同步、如何合并临时文件以及如何实现恢复功能等。所以可以通过阅读仓库代码[2]获取更多信息。

参考资料

[1]这里: https://github.com/mostafa-asg/go-dl

[2]仓库代码: https://github.com/mostafa-asg/go-dl

via:

https://returnfn.com/lets-build-a-concurrent-file-downloader-in-go

作者：Mostafa Asgari

云南idc服务商