go?doudou開發(fā)gRPC服務(wù)快速上手實(shí)現(xiàn)詳解

更新時(shí)間：2022年12月07日 10:18:08 作者：武斌

這篇文章主要為大家介紹了go?doudou開發(fā)gRPC服務(wù)快速上手實(shí)現(xiàn)過程詳解，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進(jìn)步，早日升職加薪

引言

go-doudou從v2版本開始已經(jīng)支持開發(fā)gRPC服務(wù)。開發(fā)流程跟v1版本是一致的，都是先在svc.go文件里的interface里定義方法，然后執(zhí)行g(shù)o-doudou代碼生成命令生成代碼，最后你再寫自定義業(yè)務(wù)邏輯實(shí)現(xiàn)接口。go-doudou的學(xué)習(xí)曲線非常平滑，對新手極其友好，特別是具有其他編程語言開發(fā)背景的開發(fā)者，比如從Java、Nodejs或是Python轉(zhuǎn)過來的。go-doudou非常易學(xué)，但是卻能帶來極高的生產(chǎn)力。

本文中我將通過一個(gè)小demo來向各位同學(xué)展示開發(fā)流程是什么樣的，同時(shí)也提供了一些最佳實(shí)踐。我們將采用go-doudou開發(fā)一個(gè)通過最大余額法算法解決計(jì)算占比不等于100%的問題的gRPC服務(wù)，然后通過測試看一下效果。

完整代碼托管在github：github.com/unionj-clou…

準(zhǔn)備

安裝go

go-doudou僅支持go 1.16及以上版本。

安裝gRPC編譯器和插件

安裝編譯器protoc

安裝Protobuf編譯器protoc，可參考官方文檔，這里貼一下常見操作系統(tǒng)下的安裝命令：

Ubuntu系統(tǒng):

$ apt install -y protobuf-compiler
$ protoc --version  # 確保安裝v3及以上版本

Mac系統(tǒng)，需要先安裝Homebrew:

$ brew install protobuf
$ protoc --version  # 確保安裝v3及以上版本

Windows系統(tǒng)，或者M(jìn)ac系統(tǒng)安裝Homebrew失敗，需從github下載安裝包，解壓后，自行配置環(huán)境變量。

安裝插件

安裝插件:

$ go install google.golang.org/protobuf/cmd/protoc-gen-go@v1.28
$ go install google.golang.org/grpc/cmd/protoc-gen-go-grpc@v1.2

配置環(huán)境變量:

$ export PATH="$PATH:$(go env GOPATH)/bin"

最新版本號(hào)請?zhí)D(zhuǎn) grpc.io/docs/langua… 查找。

安裝go-doudou

如果Go版本低于1.17

go get -v github.com/unionj-cloud/go-doudou/v2@v2.0.3

如果Go版本 >= 1.17，推薦采用如下命令全局安裝go-doudou命令行工具

go install -v github.com/unionj-cloud/go-doudou/v2@v2.0.3

推薦采用如下命令下載go-doudou作為項(xiàng)目的依賴

go get -v -d github.com/unionj-cloud/go-doudou/v2@v2.0.3

如果遇到410 Gone error報(bào)錯(cuò)，請先執(zhí)行如下命令，再執(zhí)行上述的安裝命令

export GOSUMDB=off

安裝完成后，如果遇到go-doudou: command not found報(bào)錯(cuò)，請將$HOME/go/bin配置到~/.bash_profile文件里，例如：

# .bash_profile
# Get the aliases and functions
if [ -f ~/.bashrc ]; then
	. ~/.bashrc
fi
# User specific environment and startup programs
PATH=$PATH:/usr/local/go/bin
PATH=$PATH:$HOME/go/bin
export PATH

我們可以執(zhí)行以下命令確認(rèn)一下安裝是否成功：

?  go-doudou -v
go-doudou version v2.0.3

初始化項(xiàng)目

做完準(zhǔn)備工作我們就可以開始coding了。首先我們需要初始化項(xiàng)目。

go-doudou svc init go-stats -m go-doudou-tutorials/go-stats

go-stats是項(xiàng)目的根路徑，go-doudou會(huì)逐層創(chuàng)建文件夾，底層類似執(zhí)行unix命令mkdir -p 。-m 可以設(shè)置模塊名，這里是go-doudou-tutorials/go-stats

go-doudou會(huì)生成以下的項(xiàng)目結(jié)構(gòu)。

?  go-stats git:(master) ? tree -L 2
.
├── Dockerfile
├── go.mod
├── svc.go
└── vo
    └── vo.go
1 directory, 4 files

svc.go文件里已經(jīng)聲明了一個(gè)接口，用于定義方法，go-doudou會(huì)通過這些方法提供的信息來生成proto文件里的rpc代碼。vo包是用來定義go語言結(jié)構(gòu)體的，go-doudou會(huì)掃描整個(gè)包里聲明的所有結(jié)構(gòu)體來生成proto文件里的message代碼。

定義服務(wù)

下面我們來看一下svc.go文件。

/**
* Generated by go-doudou v2.0.3.
* You can edit it as your need.
*/
package service
import (
	"context"
	"go-doudou-tutorials/go-stats/vo"
)
//go:generate go-doudou svc http -c
//go:generate go-doudou svc grpc
type GoStats interface {
	// You can define your service methods as your need. Below is an example.
	// You can also add annotations here like @role(admin) to add meta data to routes for 
	// implementing your own middlewares
	PageUsers(ctx context.Context, query vo.PageQuery) (data vo.PageRet, err error)
}

有兩個(gè)//go:generate 指令，12行和13行分別是用來生成RESTful和gRPC服務(wù)代碼的，主要是為了方便執(zhí)行代碼生成命令。如果你用goland的話，你可以像下面的截圖所示那樣操作界面執(zhí)行命令。

PageUsers是一個(gè)示例，我們刪掉它寫上我們的方法。

/**
* Generated by go-doudou v2.0.3.
* You can edit it as your need.
 */
package service
import (
	"context"
	"go-doudou-tutorials/go-stats/vo"
)
//go:generate go-doudou svc http -c
//go:generate go-doudou svc grpc
// GoStats is a demo gRPC service developed by go-doudou
type GoStats interface {
	// LargestRemainder implements Largest Remainder Method https://en.wikipedia.org/wiki/Largest_remainder_method
	LargestRemainder(ctx context.Context, payload vo.PercentageReqVo) (data []vo.PercentageRespVo, err error)
}

我們還需要在vo包里聲明PercentageReqVo和PercentageRespVo這兩個(gè)vo結(jié)構(gòu)體。需要注意的是，GoStats接口的方法里出現(xiàn)的結(jié)構(gòu)體類型參數(shù)必須聲明在vo包里，否則go-doudou獲取不到字段信息，就無法在proto文件里生成對應(yīng)的message。

/**
* Generated by go-doudou v2.0.3.
* You can edit it as your need.
 */
package vo
//go:generate go-doudou name --file $GOFILE
// request vo
type PercentageReqVo struct {
	// key value pairs
	Data []PercentageVo `json:"data"`
	// digit number after dot
	Places int `json:"places"`
}
// key value pair
type PercentageVo struct {
	// number for something
	Value int `json:"value"`
	// unique key for distinguishing something
	Key string `json:"key"`
}
// result vo
type PercentageRespVo struct {
	Value   int     `json:"value"`
	Key     string  `json:"key"`
	Percent float64 `json:"percent"`
	// formatted percentage
	PercentFormatted string `json:"percentFormatted"`
}

第7行的go-doudou name 命令是go-doudou內(nèi)置的一個(gè)小工具，可以一把生成或更新結(jié)構(gòu)體字段后面的json標(biāo)簽，默認(rèn)是首字母小寫的駝峰命名格式。

生成代碼

現(xiàn)在我們可以執(zhí)行go-doudou svc grpc 命令生成proto文件和gRPC相關(guān)的服務(wù)端、客戶端代碼了。執(zhí)行命令后的項(xiàng)目結(jié)構(gòu)如下所示：

?  go-stats git:(master) ? tree -L 3 -a
.
├── .dockerignore
├── .env
├── .gitignore
├── Dockerfile
├── cmd
│   └── main.go
├── config
│   └── config.go
├── db
│   └── db.go
├── go.mod
├── svc.go
├── svcimpl.go
├── transport
│   └── grpc
│       ├── annotation.go
│       ├── gostats.pb.go
│       ├── gostats.proto
│       └── gostats_grpc.pb.go
└── vo
    └── vo.go
13 directories, 16 files

go-doudou為我們生成了一些新的文件夾和文件。

.dockerignore : 用于打包docker鏡像的時(shí)候忽略**/*.local文件

.env : 配置文件

cmd : 里面有main.go文件

config : 用于將環(huán)境變量映射到config結(jié)構(gòu)體

db : 用于建立數(shù)據(jù)庫連接實(shí)例，我們這個(gè)demo用不到

svcimpl.go : 用于編寫自定義的業(yè)務(wù)邏輯，實(shí)現(xiàn)GoStats接口

transport : proto文件和gRPC相關(guān)的服務(wù)端、客戶端代碼在這里

在我們實(shí)現(xiàn)接口之前，需要執(zhí)行 go mod tidy 命令來下載依賴。然后我們啟動(dòng)程序，先看一下是否一切正常。

?  go-stats git:(master) ? go run cmd/main.go 
2022/11/23 11:07:45 maxprocs: Leaving GOMAXPROCS=16: CPU quota undefined
                           _                    _
                          | |                  | |
  __ _   ___   ______   __| |  ___   _   _   __| |  ___   _   _
 / _` | / _ \ |______| / _` | / _ \ | | | | / _` | / _ \ | | | |
| (_| || (_) |        | (_| || (_) || |_| || (_| || (_) || |_| |
 __, | ___/          __,_| ___/  __,_| __,_| ___/  __,_|
  __/ |
 |___/
2022-11-23 11:07:45 INF ================ Registered Services ================
2022-11-23 11:07:45 INF +------------------------------------------+----------------------+
2022-11-23 11:07:45 INF |                 SERVICE                  |         RPC          |
2022-11-23 11:07:45 INF +------------------------------------------+----------------------+
2022-11-23 11:07:45 INF | grpc.reflection.v1alpha.ServerReflection | ServerReflectionInfo |
2022-11-23 11:07:45 INF | go_stats.GoStatsService                  | LargestRemainderRpc  |
2022-11-23 11:07:45 INF +------------------------------------------+----------------------+
2022-11-23 11:07:45 INF ===================================================
2022-11-23 11:07:45 INF Grpc server is listening at [::]:50051
2022-11-23 11:07:45 INF Grpc server started in 1.110168ms

go-doudou依賴了 go.uber.org/automaxprocs 這個(gè)包來根據(jù)我們給容器做的資源限制來設(shè)置處理器P的數(shù)量，所以會(huì)有第2行的日志輸出。

我們再看一下transport/grpc/gostats.proto文件。

/**
* Generated by go-doudou v2.0.3.
* Don't edit!
*
* Version No.: v20221123
*/
syntax = "proto3";
package go_stats;
option go_package = "go-doudou-tutorials/go-stats/transport/grpc";
message LargestRemainderRpcResponse {
  repeated PercentageRespVo data = 1 [json_name="data"];
}
// request vo
message PercentageReqVo {
  // key value pairs
  repeated PercentageVo data = 1 [json_name="data"];
  // digit number after dot
  int32 places = 2 [json_name="places"];
}
// result vo
message PercentageRespVo {
  int32 value = 1 [json_name="value"];
  string key = 2 [json_name="key"];
  double percent = 3 [json_name="percent"];
  // formatted percentage
  string percentFormatted = 4 [json_name="percentFormatted"];
}
// key value pair
message PercentageVo {
  // number for something
  int32 value = 1 [json_name="value"];
  // unique key for distinguishing something
  string key = 2 [json_name="key"];
}
service GoStatsService {
  // LargestRemainder implements Largest Remainder Method https://en.wikipedia.org/wiki/Largest_remainder_method
  rpc LargestRemainderRpc(PercentageReqVo) returns (LargestRemainderRpcResponse);
}

如代碼所示，所有message里的字段名稱都是首字母小寫的駝峰命名。其實(shí)Protobuf官方給出的規(guī)范是下劃線分隔單詞的蛇形命名。因?yàn)槲覀僾o包里的結(jié)構(gòu)體的字段的json標(biāo)簽是首字母小寫的駝峰命名，所以我們這里為了保持一致，就沒有遵循規(guī)范。保持一致的作用是我們后面如果需要將protoc生成的結(jié)構(gòu)體轉(zhuǎn)成vo包里的結(jié)構(gòu)體的時(shí)候，可以直接用json序列化反序列化的方式做深拷貝，而無需手工一個(gè)個(gè)字段去賦值。如果你擔(dān)心這個(gè)辦法的性能開銷而選擇其他辦法的話，就無所謂了。

go-doudou在生成proto文件的時(shí)候會(huì)將方法出參中的除error類型之外的其他類型參數(shù)都封裝到一個(gè)單獨(dú)的message中，如這里的LargestRemainderRpcResponse。

go-doudou只支持Protobuf v3。

實(shí)現(xiàn)接口

下面我們在svcimpl.go文件中編寫我們的業(yè)務(wù)代碼。先看一下現(xiàn)在的代碼。

/**
* Generated by go-doudou v2.0.3.
* You can edit it as your need.
 */
package service
import (
	"context"
	"go-doudou-tutorials/go-stats/config"
	pb "go-doudou-tutorials/go-stats/transport/grpc"
)
var _ pb.GoStatsServiceServer = (*GoStatsImpl)(nil)
type GoStatsImpl struct {
	pb.UnimplementedGoStatsServiceServer
	conf *config.Config
}
func (receiver *GoStatsImpl) LargestRemainderRpc(ctx context.Context, request *pb.PercentageReqVo) (*pb.LargestRemainderRpcResponse, error) {
	//TODO implement me
	panic("implement me")
}
func NewGoStats(conf *config.Config) *GoStatsImpl {
	return &GoStatsImpl{
		conf: conf,
	}
}

第13行將*GoStatsImpl類型的nil賦值給pb.GoStatsServiceServer接口類型的_的作用是確保指針類型的GoStatsImpl結(jié)構(gòu)體實(shí)例始終都實(shí)現(xiàn)pb.GoStatsServiceServer接口。相當(dāng)于一種約束。

我們可以根據(jù)實(shí)際需求往GoStatsImpl結(jié)構(gòu)體里聲明任何字段來存放各種資源，比如外部服務(wù)的客戶端，數(shù)據(jù)庫連接，任意的隊(duì)列或者池等等。這里有一個(gè)包級(jí)別的工廠方法NewGoStats用來注入各種依賴，創(chuàng)建一個(gè)指針類型的GoStatsImpl結(jié)構(gòu)體實(shí)例。

接下來我們實(shí)現(xiàn)LargestRemainderRpc方法。因?yàn)間o-doudou不支持grpc-gateway和grpc-web等RESTful轉(zhuǎn)gRPC的轉(zhuǎn)發(fā)器，如果需要在一套程序同時(shí)支持RESTful服務(wù)和gRPC服務(wù)，go-doudou提供的解決方案是分別綁定兩個(gè)端口，啟動(dòng)http服務(wù)器和gRPC服務(wù)器，復(fù)用一套業(yè)務(wù)邏輯代碼，所以如果考慮后期可能需要加上RESTful支持的話，推薦不要直接實(shí)現(xiàn)pb.GoStatsServiceServer接口，而是先實(shí)現(xiàn)GoStats接口，然后再調(diào)用GoStats接口的實(shí)現(xiàn)方法去實(shí)現(xiàn)pb.GoStatsServiceServer接口。這樣就實(shí)現(xiàn)了業(yè)務(wù)邏輯代碼的復(fù)用。

我個(gè)人傾向于不管現(xiàn)在和以后是否需要支持RESTful，都先執(zhí)行 go-doudou svc http -c 命令生成RESTful相關(guān)代碼。

現(xiàn)在的項(xiàng)目結(jié)構(gòu)是這樣的：

?  go-stats git:(master) ? tree -L 3   
.
├── Dockerfile
├── client
│   ├── client.go
│   ├── clientproxy.go
│   └── iclient.go
├── cmd
│   └── main.go
├── config
│   └── config.go
├── db
│   └── db.go
├── go.mod
├── go.sum
├── gostats_openapi3.go
├── gostats_openapi3.json
├── svc.go
├── svcimpl.go
├── transport
│   ├── grpc
│   │   ├── annotation.go
│   │   ├── gostats.pb.go
│   │   ├── gostats.proto
│   │   └── gostats_grpc.pb.go
│   └── httpsrv
│       ├── handler.go
│       ├── handlerimpl.go
│       └── middleware.go
└── vo
    └── vo.go
8 directories, 21 files

httpsrv包里是http路由以及http請求解析和返回?cái)?shù)據(jù)序列化相關(guān)的代碼。我們可以刪掉也可以先留著。我們看一下svcimpl.go文件有什么變化。

/**
* Generated by go-doudou v2.0.3.
* You can edit it as your need.
*/
package service
import (
    "context"
    "go-doudou-tutorials/go-stats/config"
    pb "go-doudou-tutorials/go-stats/transport/grpc"
    "go-doudou-tutorials/go-stats/vo"
    "github.com/brianvoe/gofakeit/v6"
)
var _ GoStats = (*GoStatsImpl)(nil)
var _ pb.GoStatsServiceServer = (*GoStatsImpl)(nil)
type GoStatsImpl struct {
    pb.UnimplementedGoStatsServiceServer
    conf *config.Config
}
func (receiver *GoStatsImpl) LargestRemainderRpc(ctx context.Context, request *pb.PercentageReqVo) (*pb.LargestRemainderRpcResponse, error) {
    //TODO implement me
    panic("implement me")
}
func NewGoStats(conf *config.Config) *GoStatsImpl {
    return &GoStatsImpl{
        conf: conf,
    }
}
func (receiver *GoStatsImpl) LargestRemainder(ctx context.Context, payload vo.PercentageReqVo) (data []vo.PercentageRespVo, err error) {
    var _result struct {
        Data []vo.PercentageRespVo
    }
    _ = gofakeit.Struct(&_result)
    return _result.Data, nil
}

第17行和第3642行是新生成的代碼。第17行的作用是確保指針類型的GoStatsImpl始終實(shí)現(xiàn)GoStats接口。第3642行是需要我們實(shí)現(xiàn)的打樁代碼。

下面我們編寫業(yè)務(wù)邏輯代碼：

func (receiver *GoStatsImpl) LargestRemainder(ctx context.Context, payload vo.PercentageReqVo) (data []vo.PercentageRespVo, err error) {
    if len(payload.Data) == 0 {
        return
    }
    input := make([]numberutils.Percentage, 0)
    for _, item := range payload.Data {
        input = append(input, numberutils.Percentage{
            Value: item.Value,
            Data:  item.Key,
        })
    }
    numberutils.LargestRemainder(input, int32(payload.Places))
    for _, item := range input {
        data = append(data, vo.PercentageRespVo{
            Value:            item.Value,
            Key:              item.Data.(string),
            Percent:          item.Percent,
            PercentFormatted: item.PercentFormatted,
        })
    }
    return
}

go-doudou在 github.com/unionj-cloud/go-doudou/v2/toolkit/numberutils 包里提供了一個(gè)工具函數(shù)LargestRemainder。此處略過具體的算法實(shí)現(xiàn)。

現(xiàn)在我們可以通過復(fù)用LargestRemainder方法里的代碼實(shí)現(xiàn)LargestRemainderRpc方法。

func (receiver *GoStatsImpl) LargestRemainderRpc(ctx context.Context, request *pb.PercentageReqVo) (*pb.LargestRemainderRpcResponse, error) {
	var payload vo.PercentageReqVo
	copier.DeepCopy(request, &payload)
	data, err := receiver.LargestRemainder(ctx, payload)
	if err != nil {
		return nil, err
	}
	var ret pb.LargestRemainderRpcResponse
	err = copier.DeepCopy(data, &ret.Data)
	if err != nil {
		return nil, err
	}
	return &ret, nil
}

我們無需手工編寫pb.PercentageReqVo轉(zhuǎn)vo.PercentageReqVo和[]vo.PercentageRespVo轉(zhuǎn)[]*pb.PercentageRespVo的代碼，直接用 github.com/unionj-cloud/go-doudou/v2/toolkit/copier 包里的DeepCopy函數(shù)做深拷貝即可。

測試服務(wù)

因?yàn)槲覀兩闪诵碌拇a，導(dǎo)入了新的依賴，所以我們需要再執(zhí)行一下 go mod tidy 。然后我們啟動(dòng)服務(wù)，測試一下效果。

?  go-stats git:(master) ? go mod tidy && go run cmd/main.go
2022/11/23 13:18:13 maxprocs: Leaving GOMAXPROCS=16: CPU quota undefined
                           _                    _
                          | |                  | |
  __ _   ___   ______   __| |  ___   _   _   __| |  ___   _   _
 / _` | / _ \ |______| / _` | / _ \ | | | | / _` | / _ \ | | | |
| (_| || (_) |        | (_| || (_) || |_| || (_| || (_) || |_| |
 __, | ___/          __,_| ___/  __,_| __,_| ___/  __,_|
  __/ |
 |___/
2022-11-23 13:18:13 INF ================ Registered Services ================
2022-11-23 13:18:13 INF +------------------------------------------+----------------------+
2022-11-23 13:18:13 INF |                 SERVICE                  |         RPC          |
2022-11-23 13:18:13 INF +------------------------------------------+----------------------+
2022-11-23 13:18:13 INF | go_stats.GoStatsService                  | LargestRemainderRpc  |
2022-11-23 13:18:13 INF | grpc.reflection.v1alpha.ServerReflection | ServerReflectionInfo |
2022-11-23 13:18:13 INF +------------------------------------------+----------------------+
2022-11-23 13:18:13 INF ===================================================
2022-11-23 13:18:13 INF Grpc server is listening at [::]:50051
2022-11-23 13:18:13 INF Grpc server started in 1.001238ms

我個(gè)人傾向于采用 evans 去幫助測試和調(diào)試gRPC服務(wù)。

?  go-stats git:(master) ? evans -r repl -p 50051
  ______
 |  ____|
 | |__    __   __   __ _   _ __    ___
 |  __|   \ \ / /  / _. | | '_ \  / __|
 | |____   \ V /  | (_| | | | | | __ \
 |______|   _/    __,_| |_| |_| |___/
 more expressive universal gRPC client
go_stats.GoStatsService@127.0.0.1:50051> show service
+----------------+---------------------+-----------------+-----------------------------+
|    SERVICE     |         RPC         |  REQUEST TYPE   |        RESPONSE TYPE        |
+----------------+---------------------+-----------------+-----------------------------+
| GoStatsService | LargestRemainderRpc | PercentageReqVo | LargestRemainderRpcResponse |
+----------------+---------------------+-----------------+-----------------------------+
go_stats.GoStatsService@127.0.0.1:50051> service GoStatsService
go_stats.GoStatsService@127.0.0.1:50051> call LargestRemainderRpc
<repeated> data::value (TYPE_INT32) => 20
<repeated> data::key (TYPE_STRING) => apple
<repeated> data::value (TYPE_INT32) => 30
<repeated> data::key (TYPE_STRING) => banana
<repeated> data::value (TYPE_INT32) => 40
<repeated> data::key (TYPE_STRING) => pear
<repeated> data::value (TYPE_INT32) => 
places (TYPE_INT32) => 2
{
  "data": [    {      "key": "apple",      "percent": 22.22,      "percentFormatted": "22.22%",      "value": 20    },    {      "key": "banana",      "percent": 33.33,      "percentFormatted": "33.33%",      "value": 30    },    {      "key": "pear",      "percent": 44.45,      "percentFormatted": "44.45%",      "value": 40    }  ]
}

我們輸入apple 20kg，banana 30kg，pear 40kg和保留2位小數(shù)，然后得到了我們期望的結(jié)果：22.22 + 33.33 + 44.45 = 100。

總結(jié)

本文我們學(xué)到了采用go-doudou微服務(wù)框架開發(fā)gRPC服務(wù)的基本技能，同時(shí)我們需要知道go-doudou不僅可以幫助開發(fā)者輕松地開發(fā)gRPC服務(wù)，它還包含了一套完善的服務(wù)治理方案幫助開發(fā)者打造完整的微服務(wù)系統(tǒng)。go-doudou雖然開源時(shí)間不長，但是非常有發(fā)展?jié)摿?，希望越來越多的開發(fā)者可以加入進(jìn)來，更多關(guān)于go doudou開發(fā)gRPC服務(wù)的資料請關(guān)注腳本之家其它相關(guān)文章！

您可能感興趣的文章: