go語(yǔ)言實(shí)現(xiàn)通過(guò)FTP庫(kù)自動(dòng)上傳web日志
因?yàn)槠綍r(shí)管理的web服務(wù)器都是VM服務(wù)器,為節(jié)省硬盤(pán)空間,一般給虛擬機(jī)分配的硬盤(pán)空間都比較小,只有8G,因?yàn)?,保存不了多少日志,所以每天都需要把每臺(tái)WEB日志轉(zhuǎn)移到一個(gè)硬盤(pán)比較大的服務(wù)器上,然后再使用NBU集中備份,本程序主要使用go語(yǔ)言實(shí)現(xiàn)實(shí)現(xiàn)將web日志通過(guò)FTP自動(dòng)上傳FTP服務(wù)器,使用了filepath.Walk遍歷日志目錄及第三方純go庫(kù)“github.com/jlaffaye/ftp”,而日志VM本地存儲(chǔ)路徑格式是 /var/log/weblog/www.domainName.com/month/20140616.access.log,
// uploadlog
/*
1.本程序主要是實(shí)現(xiàn)linux下上傳web日志使用,
2.使用方法是 uploadlog logfile_dir
程序只上傳當(dāng)前時(shí)間點(diǎn)的日志文件,
*/
package main
import (
"fmt"
ftp "github.com/jlaffaye/ftp"
"log"
"net"
"os"
"path/filepath"
"strconv"
"strings"
"time"
)
func main() {
fmt.Println("Hello World!")
if len(os.Args) != 2 {
log.Fatal("Usage:" + filepath.Base(os.Args[0]) + " log_dir ")
os.Exit(1)
}
//logFileName是將要分析的日志
logFileName, _, _ := getLogFileName()
serverIp := getLocalIpAddr()
//serverName, _ := os.Hostname()
time.Sleep(time.Duration(90) * time.Second)
dir := os.Args[1]
filepath.Walk(dir, func(path string, f os.FileInfo, err error) error {
if f == nil {
return err
}
if f.IsDir() {
return nil
}
if f.Name() == logFileName {
fmt.Println(path)
//pathFields的作用是將日志path解析成一個(gè)數(shù)據(jù),從而可以得到日志的域名,注意,如果是linux系統(tǒng),要用“/”
pathFields := strings.Split(path, "\")
var domainName string
if len(pathFields) > 3 {
domainName = pathFields[len(pathFields)-3]
}
fmt.Println(time.Now())
ftpUploadFile("ftp-server-ip:21", "logftpuser", "ftp-password", path, domainName, serverIp+"_"+logFileName)
fmt.Println(time.Now())
}
return nil
})
}
func getLogFileName() (string, string, string) {
MonthTOstr := map[string]string{"January": "01",
"February": "02",
"March": "03",
"April": "04",
"May": "05",
"June": "06",
"July": "07",
"August": "08",
"September": "09",
"October": "10",
"November": "11",
"December": "12"}
timenow := time.Now()
year, month, day := timenow.Date()
//monthStr := month.String()
hour, _, _ := timenow.Clock()
yearStr := strings.TrimLeft(strconv.Itoa(year), "20") //去掉前面的四位數(shù)年份如"2014"年的“20”
dayStr, hourStr := strconv.Itoa(day), strconv.Itoa(hour)
if day < 10 {
dayStr = "0" + dayStr
}
if hour < 10 {
hourStr = "0" + hourStr
}
fileName := "ex" + yearStr + MonthTOstr[month.String()] + dayStr + hourStr + ".log"
logDay := yearStr + MonthTOstr[month.String()] + dayStr
logMonth := yearStr + MonthTOstr[month.String()]
//monthSrt := strconv.Itoa(timenow.Month())
//fmt.Println(fileName, logDay)
return fileName, logDay, logMonth
//fmt.Println(fileName)
}
func getLocalIpAddr() string {
//這里使用一個(gè)合法的IP就行了,端口隨便,即使沒(méi)有打開(kāi)也行,也許因?yàn)槭褂肬DP,如果用TCP的話,對(duì)端不打開(kāi)就會(huì)有問(wèn)題
conn, err := net.Dial("udp", "192.168.8.51:80")
if err != nil {
//fmt.Println(err.Error())
return "127.0.0.1"
}
defer conn.Close()
//fmt.Println(conn.LocalAddr().String())
//conn.
//fmt.Println(strings.Split(conn.LocalAddr().String(), ":")[0])
return strings.Split(conn.LocalAddr().String(), ":")[0]
}
func ftpUploadFile(ftpserver, ftpuser, pw, localFile, remoteSavePath, saveName string) {
ftp, err := ftp.Connect(ftpserver)
if err != nil {
fmt.Println(err)
}
err = ftp.Login(ftpuser, pw)
if err != nil {
fmt.Println(err)
}
//注意是 pub/log,不能帶“/”開(kāi)頭
ftp.ChangeDir("pub/log")
dir, err := ftp.CurrentDir()
fmt.Println(dir)
ftp.MakeDir(remoteSavePath)
ftp.ChangeDir(remoteSavePath)
dir, _ = ftp.CurrentDir()
fmt.Println(dir)
file, err := os.Open(localFile)
if err != nil {
fmt.Println(err)
}
defer file.Close()
err = ftp.Stor(saveName, file)
if err != nil {
fmt.Println(err)
}
ftp.Logout()
ftp.Quit()
fmt.Println("success upload file:", localFile)
}
以上所述就是本文的全部?jī)?nèi)容了,希望大家能夠喜歡。
相關(guān)文章
Golang之sync.Pool對(duì)象池對(duì)象重用機(jī)制總結(jié)
這篇文章主要對(duì)Golang的sync.Pool對(duì)象池對(duì)象重用機(jī)制做了一個(gè)總結(jié),文中有相關(guān)的代碼示例和圖解,具有一定的參考價(jià)值,需要的朋友可以參考下2023-07-07
Go?1.21.0?新增結(jié)構(gòu)化日志記錄標(biāo)準(zhǔn)庫(kù)log/slog使用詳解
這篇文章主要為大家介紹了Go?1.21.0?新增結(jié)構(gòu)化日志記錄標(biāo)準(zhǔn)庫(kù)log/slog使用詳解,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進(jìn)步,早日升職加薪2023-11-11
Golang中String,rune和byte的相互轉(zhuǎn)換
Go語(yǔ)言中,string就是只讀的采用utf8編碼的字節(jié)切片,rune是int32的別名,代表字符的Unicode編碼,這篇文章主要介紹了Golang中String,rune和byte的相互轉(zhuǎn)換,感興趣的小伙伴可以了解一下2023-10-10
Go?channel結(jié)構(gòu)體源碼和讀寫(xiě)和關(guān)閉過(guò)程詳解
這篇文章主要介紹了Go?channel結(jié)構(gòu)體源碼和讀寫(xiě)和關(guān)閉過(guò)程,本文通過(guò)實(shí)例代碼給大家介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值,需要的朋友可以參考下2023-05-05

