Golang 使用http Client下載文件的實現(xiàn)方法
更新時間：2019年07月10日 17:45:28 作者：夕陽醉了半邊天
今天小編就為大家分享一篇Golang 使用http Client下載文件的實現(xiàn)方法，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧
之前使用beego的http庫的時候，有的情況需要下載文件。beego是能實現(xiàn)，但就是有點問題:不支持回調，沒法顯示下載速度,這在日常開發(fā)中是不可忍受的。
看了下beego的實現(xiàn)主要是使用了io.copy函數(shù),于是就深入的看了下實現(xiàn)原理，發(fā)現(xiàn)挺簡單的，于是就根據(jù)io.copy原理實現(xiàn)的一個簡單的下載器
//定義要下載的文件
var durl = "https://dl.google.com/go/go1.10.3.darwin-amd64.pkg";
//解析url
uri, err := url.ParseRequestURI(durl)
if err != nil {
panic("網(wǎng)址錯誤")
}
正常的一個流程先看看Url有沒有錯誤
filename := path.Base(uri.Path)
log.Println("[*] Filename " + filename)
使用path.Base取出url的文件名稱，這里有個可能會出現(xiàn)bug的地方:如果這個網(wǎng)址是302跳轉過去的話是沒法取出跳轉過后的文件名稱。
取文件名稱這步可以再發(fā)送http請求的時候 client.CheckRedirect定義一個函數(shù)取出文件名次即可。
client := http.DefaultClient; client.Timeout = time.Second * 60 //設置超時時間 resp, err := client.Get(durl)
創(chuàng)建一個httpClient,另外這個客戶端的Timeout是設置讀取數(shù)據(jù)的時候多少時間算超時。
我這里比較推崇用Do方法傳遞一個Reqeust過去，應為有的url需要校驗http頭之類的,你問我為啥不用一個字懶。
raw := resp.Body defer raw.Close() reader := bufio.NewReaderSize(raw, 1024*32);
其實說實話不太清楚bufio能不能真正的加快htpp讀取速度，沒有做過跟不用bufio的對比。但是為了心理上的安心就加上去了
file, err := os.Create(filename)
if err != nil {
panic(err)
}
writer := bufio.NewWriter(file)
同上也不太確定bufio能對文件寫入增加多少速度
buff := make([]byte, 32*1024)
written := 0
go func() {
for {
nr, er := reader.Read(buff)
if nr > 0 {
nw, ew := writer.Write(buff[0:nr])
if nw > 0 {
written += nw
}
if ew != nil {
err = ew
break
}
if nr != nw {
err = io.ErrShortWrite
break
}
}
if er != nil {
if er != io.EOF {
err = er
}
break
}
}
if err != nil {
panic(err)
}
}()
這個源碼是我直接復制io.copyBuffer函數(shù)的只是做了一些簡單的修改理解大概意思就行
//間隔時間
spaceTime := time.Second * 1
//定時器
ticker := time.NewTicker(spaceTime)
//上次讀取數(shù)據(jù)大小
lastWtn := 0
stop := false
for {
select {
case <-ticker.C:
//這次讀取的文件大小-上次讀取的數(shù)據(jù)大小=速度
speed := written - lastWtn
log.Printf("[*] Speed %s / %s \n", bytesToSize(speed), spaceTime.String())
if written-lastWtn == 0 {
ticker.Stop()
stop = true
break
}
lastWtn = written
}
if stop {
break
}
}
這段代碼堵塞住程序，然后定時器按照間隔時間來計算速度。這里可能會出現(xiàn)bug的地方就是在間隔時間內沒有讀取到數(shù)據(jù)的時候回直接跳出循環(huán)?，F(xiàn)在這個時間點非常困，寫個blog已經困的要死了以后有空把這個bug解決了吧
func bytesToSize(length int) string {
var k = 1024 // or 1024
var sizes = []string{"Bytes", "KB", "MB", "GB", "TB"}
if length == 0 {
return "0 Bytes"
}
i := math.Floor(math.Log(float64(length)) / math.Log(float64(k)))
r := float64(length) / math.Pow(float64(k), i)
return strconv.FormatFloat(r, 'f', 3, 64) + " " + sizes[int(i)]
}
這個函數(shù)是我從我個人的php項目中轉換過來的
2018/08/17 00:24:50 [*] Filename go1.10.3.darwin-amd64.pkg 2018/08/17 00:24:51 [*] Speed 9.000 MB / 1s 2018/08/17 00:24:52 [*] Speed 11.125 MB / 1s 2018/08/17 00:24:53 [*] Speed 11.125 MB / 1s 2018/08/17 00:24:54 [*] Speed 10.562 MB / 1s 2018/08/17 00:24:55 [*] Speed 11.187 MB / 1s 2018/08/17 00:24:56 [*] Speed 11.109 MB / 1s 2018/08/17 00:24:57 [*] Speed 11.109 MB / 1s 2018/08/17 00:24:58 [*] Speed 11.141 MB / 1s 2018/08/17 00:24:59 [*] Speed 11.172 MB / 1s 2018/08/17 00:25:00 [*] Speed 11.141 MB / 1s 2018/08/17 00:25:01 [*] Speed 8.453 MB / 1s 2018/08/17 00:25:02 [*] Speed 6.385 MB / 1s 2018/08/17 00:25:03 [*] Speed 0 Bytes / 1s
這是最終的運行結果，然后我再把全部的源碼放在下面就去睡了。
package main
import (
"net/http"
"log"
"time"
"net/url"
"path"
"os"
"io"
"bufio"
"math"
"strconv"
)
var durl = "https://dl.google.com/go/go1.10.3.darwin-amd64.pkg";
func main() {
uri, err := url.ParseRequestURI(durl)
if err != nil {
panic("網(wǎng)址錯誤")
}
filename := path.Base(uri.Path)
log.Println("[*] Filename " + filename)
client := http.DefaultClient;
client.Timeout = time.Second * 60 //設置超時時間
resp, err := client.Get(durl)
if err != nil {
panic(err)
}
if resp.ContentLength <= 0 {
log.Println("[*] Destination server does not support breakpoint download.")
}
raw := resp.Body
defer raw.Close()
reader := bufio.NewReaderSize(raw, 1024*32);
file, err := os.Create(filename)
if err != nil {
panic(err)
}
writer := bufio.NewWriter(file)
buff := make([]byte, 32*1024)
written := 0
go func() {
for {
nr, er := reader.Read(buff)
if nr > 0 {
nw, ew := writer.Write(buff[0:nr])
if nw > 0 {
written += nw
}
if ew != nil {
err = ew
break
}
if nr != nw {
err = io.ErrShortWrite
break
}
}
if er != nil {
if er != io.EOF {
err = er
}
break
}
}
if err != nil {
panic(err)
}
}()
spaceTime := time.Second * 1
ticker := time.NewTicker(spaceTime)
lastWtn := 0
stop := false
for {
select {
case <-ticker.C:
speed := written - lastWtn
log.Printf("[*] Speed %s / %s \n", bytesToSize(speed), spaceTime.String())
if written-lastWtn == 0 {
ticker.Stop()
stop = true
break
}
lastWtn = written
}
if stop {
break
}
}
}
func bytesToSize(length int) string {
var k = 1024 // or 1024
var sizes = []string{"Bytes", "KB", "MB", "GB", "TB"}
if length == 0 {
return "0 Bytes"
}
i := math.Floor(math.Log(float64(length)) / math.Log(float64(k)))
r := float64(length) / math.Pow(float64(k), i)
return strconv.FormatFloat(r, 'f', 3, 64) + " " + sizes[int(i)]
}
以上這篇Golang 使用http Client下載文件的實現(xiàn)方法就是小編分享給大家的全部內容了，希望能給大家一個參考，也希望大家多多支持腳本之家。
相關文章
這篇文章主要為大家介紹了Go類型安全的HTTP請求示例詳解，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進步，早日升職加薪2022-06-06
Redis?BloomFilter布隆過濾器原理與實現(xiàn)
你在開發(fā)或者面試過程中，有沒有遇到過?海量數(shù)據(jù)需要查重，緩存穿透怎么避免等等這樣的問題呢？下面這個東西超棒，好好了解下，面試過關斬將，凸顯你的不一樣2022-10-10
今天小編就為大家分享一篇golang http連接復用方法，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2019-07-07
這篇文章主要介紹了go-cqhttp環(huán)境配置,包括go-cqhttp安裝及簡單介紹，本文結合示例代碼給大家介紹的非常詳細，對大家的學習或工作具有一定的參考借鑒價值，需要的朋友可以參考下2022-09-09
Golang基于epoll實現(xiàn)最簡單網(wǎng)絡通信框架
這篇文章主要為大家詳細介紹了Golang如何基于epoll實現(xiàn)最簡單網(wǎng)絡通信框架，文中的示例代碼講解詳細，感興趣的小伙伴可以跟隨小編一起學習學習2023-06-06
Golang是一門非常流行的編程語言,在很多領域都有著廣泛的應用,在開發(fā)過程中,很多時候我們需要將函數(shù)作為參數(shù)傳遞給其他函數(shù),這時候就需要用到golang中的.()用法,本文將詳細介紹golang中.()的使用方法,需要的朋友可以參考下2023-08-08
本文主要介紹了go連接mysql的項目實踐，文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧2023-03-03
這篇文章主要介紹了解決goland新建項目文件名為紅色的問題，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2020-12-12
Golang是一種強大的編程語言,它的并發(fā)性和高性能使其成為開發(fā)GUI桌面應用的理想選擇,Golang提供了豐富的標準庫和第三方庫,可以輕松地創(chuàng)建跨平臺的GUI應用程序,通過使用Golang的GUI庫,開發(fā)人員可以快速構建具有豐富用戶界面和交互功能的應用程序,需要的朋友可以參考下2023-10-10
JWT提供了一種強大而靈活的方法來處理Web應用程序中的身份驗證和授權,本教程將引導您逐步實現(xiàn)Go應用程序中的JWT身份驗證過程,感興趣的朋友跟隨小編一起看看吧2024-03-03