golang實現(xiàn)ftp實時傳輸文件的案例
更新時間：2020年12月18日 09:08:47 作者：jiang_xinxing
這篇文章主要介紹了golang實現(xiàn)ftp實時傳輸文件的案例，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧
一、項目簡介
本項目主要實現(xiàn)的功能是ftp客戶端不斷地將xml文件和jpg文件實時地上傳到服務器，當然也可以是其他格式的文件。每當ftp客戶端取到一個文件之后，將文件上傳到服務器后，然后將其刪除。
項目實現(xiàn)可配置，如果開發(fā)者有類似的需求，只需要修改配置文件就可以使用本項目去完成上傳文件的功能。
本項目打日志是按照當天時間來生成日志文件，每天每一種類型的日志只打一個文件。
二、項目結構圖片
三、項目代碼
config配置中的代碼
config.ini
[path] xml_path = D:\\dian\\out\\ # xml文件所在的路徑 img_path = D:\\dian\\out\\wave\\ # 圖片文件所在路徑 [ftp] ftpfile_path = D:\\Itudou # 在服務器上的文件存儲路徑 ftp_server_ip = 192.168.56.1 # ftp服務器的IP ftp_server_port = 21 # ftp服務器的端口 ftp_server_name = 20123762 # ftp服務器的用戶名 ftp_server_pwd = 123456 # ftp服務器的密碼 local_ip = 192.168.56.1 # 本地主機的IP local_port = 80 #本地主機端口 comm_way = udp #ftp的通信方式 [file] file_img =.jpg #文件后綴為img file_xml =.xml #文件后綴為xml log_print = ture #是否打日志，生產(chǎn)環(huán)境上不打日志，在調(diào)式程序的時候使用
讀配置文件的代碼
daos_config.go
package daosconfig
import (
"bufio"
"io"
"os"
"strings"
)
type Config struct {
Mymap map[string]string
strcet string
}
func (c *Config) InitConfig(path string) {
c.Mymap = make(map[string]string)
f, err := os.Open(path)
if err != nil {
panic(err)
}
defer f.Close()
r := bufio.NewReader(f)
for {
b, _, err := r.ReadLine()
if err != nil {
if err == io.EOF {
break
}
panic(err)
}
s := strings.TrimSpace(string(b))
if strings.Index(s, "#") == 0 {
continue
}
n1 := strings.Index(s, "[")
n2 := strings.LastIndex(s, "]")
if n1 > -1 && n2 > -1 && n2 > n1+1 {
c.strcet = strings.TrimSpace(s[n1+1 : n2])
continue
}
if len(c.strcet) == 0 {
continue
}
index := strings.Index(s, "=")
if index < 0 {
continue
}
frist := strings.TrimSpace(s[:index])
if len(frist) == 0 {
continue
}
second := strings.TrimSpace(s[index+1:])
pos := strings.Index(second, "\t#")
if pos > -1 {
second = second[0:pos]
}
pos = strings.Index(second, " #")
if pos > -1 {
second = second[0:pos]
}
pos = strings.Index(second, "\t//")
if pos > -1 {
second = second[0:pos]
}
pos = strings.Index(second, " //")
if pos > -1 {
second = second[0:pos]
}
if len(second) == 0 {
continue
}
key := c.strcet + "=" + frist
c.Mymap[key] = strings.TrimSpace(second)
}
}
func (c Config) Read(node, key string) string {
key = node + "=" + key
v, found := c.Mymap[key]
if !found {
return ""
}
return v
}
ftp上傳文件核心代碼
daos_ftp.go
package daosftp
import (
"fmt"
"net"
"os"
"strings"
ftp "github.com/ftp"
"io/ioutil"
"regexp"
"path/filepath"
cfg "bjdaos_tool/pkg/daosconfig"
"bjdaos_tool/pkg/env"
"bjdaos_tool/pkg/daoslog"
)
func getListDir(dirPth string) (files []string,files1 []string, err error) {
dir, err := ioutil.ReadDir(dirPth)
if err != nil {
return nil,nil, err
}
PthSep := string(os.PathSeparator)
for _, fi := range dir {
if fi.IsDir() {
files1 = append(files1, dirPth+PthSep+fi.Name())
getListDir(dirPth + PthSep + fi.Name())
}else{
files = append(files, dirPth+PthSep+fi.Name())
}
}
return files,files1, nil
}
func GetAllFileName(path string, str string) (int, []string ) {
configPath := env.GetConfigPath()
ftpConfig := new(cfg.Config)
ftpConfig.InitConfig(configPath + "\\config.ini")
logPrint := ftpConfig.Read("file", "log_print")
files, _, err := getListDir(path)
if err != nil {
daoslog.WriteLog(logPrint, "System","get file path err")
}
fileLen := len(files)
fileSlice := make([]string,0, fileLen)
suffix1 := ftpConfig.Read("file", "file_img")
suffix2 := ftpConfig.Read("file", "file_xml")
reg_front := regexp.MustCompile("\\d{8}")
reg_end := regexp.MustCompile("\\d{14}")
if str == suffix1{
for i := 0; i < fileLen; i++{
data_front := reg_front.FindString(files[i])
date_end := reg_end.FindString(files[i])
imgName := data_front + "_" + date_end + str
fileSlice = append(fileSlice, imgName)
}
}else if str == suffix2 {
for i := 0; i < fileLen; i++{
data_front := reg_front.FindString(files[i])
date_end := reg_end.FindString(files[i])
imgName := data_front + "_" + date_end + str
fileSlice = append(fileSlice, imgName)
}
}
return fileLen, fileSlice
}
func getLocalIpAddr() string {
configPath := env.GetConfigPath()
ftpConfig := new(cfg.Config)
ftpConfig.InitConfig(configPath + "\\config.ini")
logPrint := ftpConfig.Read("file", "log_print")
network := ftpConfig.Read("ftp", "comm_way")
ip := ftpConfig.Read("ftp", "local_ip")
port := ftpConfig.Read("ftp", "local_port")
address := ip + ":" + port
conn, err := net.Dial(network, address)
if err != nil {
daoslog.WriteLog(logPrint, "System", "get local ip address err")
return "127.0.0.1"
}
defer conn.Close()
return strings.Split(conn.LocalAddr().String(), ":")[0]
}
func ftpUploadFile(ftpserver, ftpuser, pw, localFile, remoteSavePath, saveName string) {
configPath := env.GetConfigPath()
ftpConfig := new(cfg.Config)
ftpConfig.InitConfig(configPath + "\\config.ini")
logPrint := ftpConfig.Read("file", "log_print")
ftpfile_path := ftpConfig.Read("ftp", "ftpfile_path")
ftp, err := ftp.Connect(ftpserver)
if err != nil {
daoslog.WriteLog(logPrint, "System", "connect err")
}
err = ftp.Login(ftpuser, pw)
if err != nil {
daoslog.WriteLog(logPrint, "System", "Login err")
}
ftp.ChangeDir(ftpfile_path)
dir, err := ftp.CurrentDir()
ftp.MakeDir(remoteSavePath)
ftp.ChangeDir(remoteSavePath)
dir, _ = ftp.CurrentDir()
daoslog.WriteLog(logPrint, "System", dir)
file, err := os.Open(localFile)
if err != nil {
daoslog.WriteLog(logPrint, "System", "Open err")
}
defer file.Close()
err = ftp.Stor(saveName, file)
if err != nil {
daoslog.WriteLog(logPrint, "System", "Stor err")
}
ftp.Logout()
ftp.Quit()
logcotent := fmt.Sprintf("%s:%s","success upload file",localFile)
daoslog.WriteLog(logPrint, "System", logcotent)
}
func RemoveFile(filePath string, fileName string){
configPath := env.GetConfigPath()
ftpConfig := new(cfg.Config)
ftpConfig.InitConfig(configPath + "\\config.ini")
logPrint := ftpConfig.Read("file", "log_print")
err := os.Remove(filePath + fileName)
if err != nil {
daoslog.WriteLog("false", "System", "file remove err!")
} else {
logcotent := fmt.Sprintf("%s:%s","file remove OK!",fileName)
daoslog.WriteLog(logPrint, "System", logcotent)
}
}
func SendXmlFileToFtpServer(filePath string, fileType string) {
configPath := env.GetConfigPath()
ftpConfig := new(cfg.Config)
ftpConfig.InitConfig(configPath + "\\config.ini")
logPrint := ftpConfig.Read("file", "log_print")
flen, fileName := GetAllFileName(filePath, fileType)
serverIp := getLocalIpAddr()
ftpserverip := ftpConfig.Read("ftp", "ftp_server_ip")
ftpPort := ftpConfig.Read("ftp", "ftp_server_port")
ftpuser := ftpConfig.Read("ftp", "ftp_server_name")
pw := ftpConfig.Read("ftp", "ftp_server_pwd")
ftpserver := ftpserverip + ":" + ftpPort
filepath.Walk(filePath, func(path string, f os.FileInfo, err error) error {
if f == nil {
return err
}
if f.IsDir() {
return nil
}
for i := 0; i < flen; i++{
if f.Name() == fileName[i] {
logcotent := fmt.Sprintf("path=",path)
daoslog.WriteLog(logPrint, "System", logcotent)
pathFields := strings.Split(path, "\\")
var domainName string
if len(pathFields) > 3 {
domainName = pathFields[len(pathFields)-3]
}
ftpUploadFile(ftpserver, ftpuser, pw, path, domainName, serverIp+"_"+fileName[i])
RemoveFile(filePath, fileName[i])
}
}
return nil
})
}
func SendJpgFileToFtpServer(filePath string, fileType string) {
configPath := env.GetConfigPath()
ftpConfig := new(cfg.Config)
ftpConfig.InitConfig(configPath + "\\config.ini")
logPrint := ftpConfig.Read("file", "log_print")
flen, fileName := GetAllFileName(filePath, fileType)
serverIp := getLocalIpAddr()
ftpserverip := ftpConfig.Read("ftp", "ftp_server_ip")
ftpPort := ftpConfig.Read("ftp", "ftp_server_port")
ftpuser := ftpConfig.Read("ftp", "ftp_server_name")
pw := ftpConfig.Read("ftp", "ftp_server_pwd")
ftpserver := ftpserverip + ":" + ftpPort
filepath.Walk(filePath, func(path string, f os.FileInfo, err error) error {
if f == nil {
return err
}
if f.IsDir() {
return nil
}
for i := 0; i < flen; i++{
if f.Name() == fileName[i] {
logcotent := fmt.Sprintf("path=",path)
daoslog.WriteLog(logPrint, "System", logcotent)
pathFields := strings.Split(path, "\\")
var domainName string
if len(pathFields) > 3 {
domainName = pathFields[len(pathFields)-3]
}
ftpUploadFile(ftpserver, ftpuser, pw, path, domainName, serverIp+"_"+fileName[i])
RemoveFile(filePath, fileName[i])
}
}
return nil
})
}
打日志的代碼
daos_log.go
package daoslog
import (
"fmt"
"log"
"os"
"github.com/golang/glog"
"time"
"bjdaos_tool/pkg/env"
)
func WriteLog(islog, logtype , errcontent string) {
if islog == "false" {
return
}
if logtype != "Info" && logtype!= "Debug" && logtype!= "Error" && logtype != "System" {
glog.Error("this is not a logtype ")
return
}
data := time.Now().Format("20060102")
logPath := env.GetConLogPath()
logFilea := logPath + "\\" + data+"_"+ logtype+".log"
errcontent = "[" +errcontent + "]"
logFile, err := os.OpenFile(logFilea, os.O_RDWR | os.O_CREATE, 0777)
if err != nil {
fmt.Printf("open file error=%s\r\n", err.Error())
os.Exit(-1)
}
logger := log.New(logFile, "{"+logtype+"} ", log.Ldate | log.Ltime | log.Lshortfile)
logger.Println(errcontent)
}
路徑處理代碼
daos-evn.go
package env
import (
"os"
"runtime"
)
var ostype = runtime.GOOS
func GetProjectPath() string{
var projectPath string
projectPath, _ = os.Getwd()
return projectPath
}
func GetConfigPath() string{
path := GetProjectPath()
if ostype == "windows"{
path = path + "\\" + "config\\"
}else if ostype == "linux"{
path = path +"/" + "config/"
}
return path
}
func GetConLogPath() string{
path := GetProjectPath()
if ostype == "windows"{
path = path + "\\log\\"
}else if ostype == "linux"{
path = path + "/log/"
}
return path
}
四、總結
主函數(shù)：
main.go
package main
import (
"bjdaos_tool/pkg/daosftp"
"bjdaos_tool/pkg/env"
cfg "bjdaos_tool/pkg/daosconfig"
)
func main(){
configPath := env.GetConfigPath()
ftpConfig := new(cfg.Config)
ftpConfig.InitConfig(configPath + "\\config.ini")
xml_path := ftpConfig.Read("path", "xml_path")
img_path := ftpConfig.Read("path", "img_path")
file_img := ftpConfig.Read("file", "file_img")
file_xml := ftpConfig.Read("file", "file_xml")
for{
daosftp.SendXmlFileToFtpServer(xml_path, file_xml)
daosftp.SendJpgFileToFtpServer(img_path, file_img)
}
}
本項目依賴包：
完整代碼：https://github.com/guoshijiang/go_ftp
以上為個人經(jīng)驗，希望能給大家一個參考，也希望大家多多支持腳本之家。如有錯誤或未考慮完全的地方，望不吝賜教。
相關文章
這篇文章將針對Golang的debug庫進行全面解讀,涵蓋其核心組件、高級功能和實戰(zhàn)技巧,文中的示例代碼講解詳細,有需要的小伙伴可以參考下2024-02-02
這篇文章將從Golang中處理XML的基本概念開始,詳細介紹如何讀取和解析XML文件,然后轉(zhuǎn)向如何創(chuàng)建和輸出XML數(shù)據(jù),感興趣的小伙伴可以跟隨小編一起學習一下2024-01-01
這篇文章主要為大家介紹了Go語言題解LeetCode561數(shù)組拆分示例詳解，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進步，早日升職加薪2022-12-12
Go語言字典(map)用法實例分析【創(chuàng)建,填充,遍歷,查找,修改,刪除】
這篇文章主要介紹了Go語言字典(map)用法,結合實例形式較為詳細的分析了Go語言字典的創(chuàng)建、填充、遍歷、查找、修改、刪除等操作相關實現(xiàn)技巧,需要的朋友可以參考下2017-02-02
Windows系統(tǒng)中搭建Go語言開發(fā)環(huán)境圖文詳解
GoLand?是?JetBrains?公司推出的商業(yè)?Go?語言集成開發(fā)環(huán)境（IDE），這篇文章主要介紹了Windows系統(tǒng)中搭建Go語言開發(fā)環(huán)境詳解，需要的朋友可以參考下2022-10-10
Go語言開發(fā)中有了net/http為什么還要有gin的原理及使用場景解析
這篇文章主要為大家介紹了Go語言有了net/http標準庫為什么還要有gin第三方庫的原理及使用場景詳解,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進步,早日升職加薪2023-08-08
這篇文章主要給大家介紹了關于golang中命令行庫cobra的使用方法，文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧2018-08-08
這篇文章主要為大家詳細介紹了Golang中Gin框架的使用教程，文中通過簡單的示例為大家講解了Gin框架的安裝與使用，感興趣的小伙伴開業(yè)跟隨小編一起學習一下2022-10-10
這篇文章主要介紹了Go語言中的switch用法,實例分析了switch的功能及使用技巧,具有一定參考借鑒價值,需要的朋友可以參考下2015-02-02
這篇文章主要介紹了Go函數(shù)的使用示例,本文通過實例代碼給大家介紹的非常詳細,感興趣的朋友跟隨小編一起看看吧2024-07-07