gin-mgo服務器搭建

該服務器實現(xiàn)簡單接收請求并將請求參數封裝存儲在mongodb數據庫中,本文將講述gin－mgo的使用方法。

項目完整代碼地址： https://github.com/wayne-yhp/golang-gin-mgo

gin web框架使用介紹

首先獲取gin框架依賴

go get gopkg.in/gin-gonic/gin.v1

func main() {
  server = gin.Default()
  app.server.GET("/do", IndexRouter)//創(chuàng)造一個GET請求的路由地址，并指定處理函數為IndexRouter函數
  app.server.Run(":8080")
}
func IndexRouter(c *gin.Context) {
  if c.Request.Form == nil {   //獲取所有請求參數名和值的預處理
    c.Request.ParseMultipartForm(32 << 20)
  }
  params = c.Request.Form   //獲取所有參數列表
  fmt.Println(params)     //打印輸出參數
  c.String(http.StatusOK,"hello gin")//返回給頁面hello gin字符串
  //c.HTML(http.StatusOK, "index.html", nil)   //頁面跳轉
}

mgo 持久層框架使用介紹

前提條件mongodb環(huán)境已經搭建好了，首先安裝mgo框架依賴

go get labix.org/v2/mgo

type User struct{
  username string
  pwd string
}
func main() {
  mgo_session, err = mgo.Dial("127.0.0.1") //獲取連接對象session
  if err != nil {
    panic(err)
  }
  defer session.Close()    //方法執(zhí)行完后關閉連接
  mgo_db = oper.mgo_session.DB("test")  //獲取數據庫對象，數據庫名為test
  //如果沒有mongodb沒有開啟權限認證，則跳過這一步
  mgo_db.Login("test1", "test1")  //用戶認證，用戶名賬戶和密碼都是test1
  mgo_c = oper.mgo_db.C("coll")  //獲取數據庫某個集合對象
  //插入操作
  mgo_c.insert(&User{
    username: "xxx",
    pwd: "xxx",
  })
}

提高服務器高并發(fā)性能講解(針對文章開頭地址中的項目)

該項目主要實現(xiàn)接收請求，解析封裝參數，插入數據庫的簡單操作，這里只涉及插入操作，故不涉及數據緩存的知識，整個服務處于單機下，故不涉及分布式服務架構，集群的知識。

注意以下

1、開啟一個協(xié)程獨自監(jiān)聽訪問數量，進行插入操作

2、實現(xiàn)批量插入

3、實現(xiàn)定時插入

4、加鎖解決并發(fā)資源競爭

開啟一個協(xié)程獨自監(jiān)聽訪問數量，進行插入操作

如果將插入操作放在主線程，那么接收http請求和邏輯處理，數據庫插入操作都必須要順序執(zhí)行，大大降低了插入效率，因此要開啟一個協(xié)程，獨自監(jiān)聽訪問數量，進行數據庫插入。

實現(xiàn)批量插入

假想一下如果每次有人訪問你的數據庫你就進行一次插入操作，那么你的數據庫將會是一個什么樣的情況？我們都知道數據庫操作相對服務器其他操作是一件相對很耗時的事情，所以每次訪問就操作一次數據庫，會大大降低服務器性能，更別說有幾千上萬的人同時訪問你的服務器了。

實現(xiàn)定時插入

在實現(xiàn)了批量插入的基礎上，如果沒有達到一定的訪問量，那么就不會執(zhí)行插入操作，剛好在兩個訪問請求中間隔了很長時間，那么前面的請求就會等待很久才會更新到數據庫中，為了防止這種情況，我們必須要設定一個時間，定時插入。

加鎖解決并發(fā)資源競爭

在并發(fā)量幾千上萬的情況下，可能一秒可以執(zhí)行很多次數據庫的插入操作，這個時候很有可能上一個插入還沒執(zhí)行完，第二個就已經執(zhí)行了，這時候可能出現(xiàn)數據冗余，服務器癱瘓等問題，因此要給批量插入操作加上一個讀寫鎖。

具體實現(xiàn)細節(jié)可以去上述地址中查看。

補充：Golang號稱高并發(fā)，但高并發(fā)時性能不高

1.管道chan吞吐極限10,000,000，單次Put,Get耗時大約100ns/op，無論是采用單Go程，還是多Go程并發(fā)(并發(fā)數:100, 10000, 100000)，耗時均沒有變化，Go內核這對chan進行優(yōu)化。

解決之道：

在系統(tǒng)設計時，避免使用管道chan傳遞主業(yè)務數據，避免將業(yè)務流程處理流程分割到對個Go程中執(zhí)行，這樣做減少chan傳輸耗時，和Go程調度耗時，性能會有很大的提升。

案例分析：nsq和nats都是實時消息隊列，nsq在客戶端端和服務端大量使用chan轉發(fā)消息，導致性能不佳，只有100,000／s；而nats服務端在分發(fā)消息流程中，沒有使用chan，只在客戶端接收時使用chan，性能可達到1,000,000／s。

2.互斥鎖Mutex在單Go程時Lock,Unlock耗時大約20ns/op，但是采用多Go程時，性能急劇下降，并發(fā)越大耗時越長，在Go1.5并發(fā)數達到1024耗時900ns/op，Go1.6優(yōu)化到300ns/op，究其原因，是構建在CPU的原子操作之上，搶占過于頻繁將導致，消耗大量CPU時鐘，進而CPU多核無法并行。

解決之道：

采用分區(qū)，將需要互斥保護的數據，分成多個固定分區(qū)(建議是2的整數倍，如256)，訪問時先定位分區(qū)(不互斥)，這樣就可降低多個Go程競爭1個數據分區(qū)的概率。

案例分析：Golang的Go程調度模塊，在管理大量的Go程，使用的就是數據分區(qū)。

3.select異步操作在單管道時耗時120ns/op，但是隨著管道數增加，性能線性下降，每增加1個管道增加100ns/op，究其原因，slelect時當chan數超過1后，Go內部是創(chuàng)建一個Go程，有它每1ms輪訓的方式檢查每個chan是否可用，而不是采用事件觸發(fā)。

解決之道：

在select中避免使用過多的管道chan分支，或者把無法用到的chan置為nil；解決select超時，避免使用單獨的超時管道，應與數據返回管道共享。

案例分析：nsq和nats都是實時消息隊列，由于nsq大量使用chan，這就必然導致大量使用select對多chan操作，結果是性能不高。

4.Go調度性能低下，當出現(xiàn)1,000,000Go程時，Go的調度器的性能急劇下降。

解決之道：

避免動態(tài)創(chuàng)建Go程，服務端收到數據并處理的流程中，避免使用chan傳遞業(yè)務數據，這樣會引起Go程調度。

案例分析：nsq和nats都是實時消息隊列，由于nsq大量使用chan，這就必然導致在服務過程中，引起Go調度，結果是性能不高。

5.defer性能不高，每次defer耗時100ns，，在一個func內連續(xù)出現(xiàn)多次，性能消耗是100ns*n，累計出來浪費的cpu資源很大的。

解決之道：

除了需要異常捕獲時，必須使用defer；其它資源回收類defer，可以判斷失敗后，使用goto跳轉到資源回收的代碼區(qū)。

6.內存管理器性能低下，申請16字節(jié)的內存，單次消耗30ns，64字節(jié)單次消耗70ns，隨著申請內存尺寸的增長，耗時會迅速增長。加上GC的性能在1.4, 1.5是都不高，直到1.6, 1.7才得到改善。

解決之道：

建議使用pool，單次Put，Get的耗時大約在28ns，在并發(fā)情況下可達到18ns，比起每次創(chuàng)建，會節(jié)省很多的CPU時鐘。

以上為個人經驗，希望能給大家一個參考，也希望大家多多支持腳本之家。如有錯誤或未考慮完全的地方，望不吝賜教。

最新評論