golang并發(fā)下載多個文件的方法

更新時間：2019年07月11日 09:15:30 作者：moxiaomomo

今天小編就為大家分享一篇golang并發(fā)下載多個文件的方法，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧

背景說明

假設有一個分布式文件系統(tǒng)，現(xiàn)需要從該系統(tǒng)中并發(fā)下載一部分文件到本地機器。

已知該文件系統(tǒng)的部分節(jié)點ip, 以及需要下載的文件fileID列表，并能通過這些信息來拼接下載地址。

其中節(jié)點ip列表保存在xx_node.txt，要下載的fileID保存在xx_fileID.txt中。

代碼示例

package main

import (
  "bufio"
  "flag"
  "fmt"
  "io"
  "math/rand"
  "net/http"
  "os"
  "time"
)

var (
  clustername = flag.String("clustername", "c1", "download clustername")
)

// 逐行讀取文件內(nèi)容
func ReadLines(fpath string) []string {
  fd, err := os.Open(fpath)
  if err != nil {
    panic(err)
  }
  defer fd.Close()

  var lines []string
  scanner := bufio.NewScanner(fd)
  for scanner.Scan() {
    lines = append(lines, scanner.Text())
  }
  if err := scanner.Err(); err != nil {
    fmt.Fprintln(os.Stderr, err)
  }

  return lines
}

// 實現(xiàn)單個文件的下載
func Download(clustername string, node string, fileID string) string {
  nt := time.Now().Format("2006-01-02 15:04:05")
  fmt.Printf("[%s]To download %s\n", nt, fileID)

  url := fmt.Sprintf("http://%s/file/%s", node, fileID)
  fpath := fmt.Sprintf("/yourpath/download/%s_%s", clustername, fileID)
  newFile, err := os.Create(fpath)
  if err != nil {
    fmt.Println(err.Error())
    return "process failed for " + fileID
  }
  defer newFile.Close()

  client := http.Client{Timeout: 900 * time.Second}
  resp, err := client.Get(url)
  defer resp.Body.Close()

  _, err = io.Copy(newFile, resp.Body)
  if err != nil {
    fmt.Println(err.Error())
  }
  return fileID
}

func main() {
  flag.Parse()

  // 從文件中讀取節(jié)點ip列表
  nodelist := ReadLines(fmt.Sprintf("%s_node.txt", *clustername))
  if len(nodelist) == 0 {
    return
  }

  // 從文件中讀取待下載的文件ID列表
  fileIDlist := ReadLines(fmt.Sprintf("%s_fileID.txt", *clustername))
  if len(fileIDlist) == 0 {
    return
  }

  ch := make(chan string)

  // 每個goroutine處理一個文件的下載
  r := rand.New(rand.NewSource(time.Now().UnixNano()))
  for _, fileID := range fileIDlist {
    node := nodelist[r.Intn(len(nodelist))]
    go func(node, fileID string) {
      ch <- Download(*clustername, node, fileID)
    }(node, fileID)
  }

  // 等待每個文件下載的完成，并檢查超時
  timeout := time.After(900 * time.Second)
  for idx := 0; idx < len(fileIDlist); idx++ {
    select {
    case res := <-ch:
      nt := time.Now().Format("2006-01-02 15:04:05")
      fmt.Printf("[%s]Finish download %s\n", nt, res)
    case <-timeout:
      fmt.Println("Timeout...")
      break
    }
  }
}

小結

下載時沒有用到默認的http Client, 并指定了超時時間；

下載文件時調(diào)用了系統(tǒng)調(diào)用, goroutine會被掛起；

下載文件完成后會喚醒被掛起的goroutine, 該goroutine執(zhí)行完后面的代碼后便退出；

全局超時控制，超時后主線程退出。

以上這篇golang并發(fā)下載多個文件的方法就是小編分享給大家的全部內(nèi)容了，希望能給大家一個參考，也希望大家多多支持腳本之家。

您可能感興趣的文章: