基于go實(shí)例網(wǎng)絡(luò)存儲協(xié)議詳解

更新時間：2023年03月06日 09:42:51 作者：HelloGod

這篇文章主要為大家介紹了基于go實(shí)例網(wǎng)絡(luò)存儲協(xié)議詳解，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進(jìn)步，早日升職加薪

主要內(nèi)容

一.網(wǎng)絡(luò)存儲是什么?

二.iSCSI是什么?

三.RDMA是什么?

四.NVME-oF是什么?

一.網(wǎng)絡(luò)存儲是什么?

網(wǎng)絡(luò)存儲是一種將存儲資源連接到網(wǎng)絡(luò)上，以便多臺計(jì)算機(jī)可以共享和訪問這些存儲資源的技術(shù)。網(wǎng)絡(luò)存儲可以是基于本地網(wǎng)絡(luò)的存儲（如局域網(wǎng)），也可以是基于廣域網(wǎng)的存儲（如云存儲）。

網(wǎng)絡(luò)存儲通常使用網(wǎng)絡(luò)文件系統(tǒng)（NFS）或存儲區(qū)域網(wǎng)絡(luò)（SAN）等協(xié)議來實(shí)現(xiàn)存儲資源的共享和訪問。網(wǎng)絡(luò)存儲具有高可用性、可擴(kuò)展性和靈活性等優(yōu)點(diǎn)，可以滿足不同場景下對存儲資源的需求。

二.iSCSI是什么?

iSCSI（Internet Small Computer System Interface）是一種基于網(wǎng)絡(luò)的存儲協(xié)議，它可以將遠(yuǎn)程存儲設(shè)備映射為本地磁盤，使得計(jì)算機(jī)可以像訪問本地磁盤一樣訪問遠(yuǎn)程存儲設(shè)備。iSCSI協(xié)議可以在以太網(wǎng)、光纖通道等網(wǎng)絡(luò)上運(yùn)行，它可以在計(jì)算機(jī)和存儲設(shè)備之間建立虛擬的SCSI總線，從而實(shí)現(xiàn)數(shù)據(jù)的傳輸和管理。iSCSI協(xié)議可以簡化存儲系統(tǒng)的管理和部署，提高存儲系統(tǒng)的可靠性和性能。

iSCSI 可以運(yùn)行在用戶態(tài)或內(nèi)核態(tài)。在 Linux 系統(tǒng)中，iSCSI 的實(shí)現(xiàn)通常是使用內(nèi)核模塊，即 iscsi_tcp.ko 和 scsi_transport_iscsi.ko，它們負(fù)責(zé)處理 iSCSI 傳輸和 SCSI 命令處理。但是，還有一些用戶態(tài)的 iSCSI 實(shí)現(xiàn)，如 open-iscsi，它使用用戶態(tài)的 iSCSI 守護(hù)進(jìn)程（iscsid）和 iSCSI 庫（libiscsi）。用戶態(tài)的 iSCSI 實(shí)現(xiàn)可以提供更靈活的配置和管理，但通常性能不如內(nèi)核態(tài)的實(shí)現(xiàn)。

Go 語言實(shí)現(xiàn)的 iSCSI 庫和工具可以用于構(gòu)建和管理 iSCSI 存儲系統(tǒng)，例如：

go-iscsi：一個基于 Go 語言實(shí)現(xiàn)的 iSCSI 庫，支持創(chuàng)建和管理 iSCSI 目標(biāo)和 LUN（邏輯單元）。它可以用于構(gòu)建自己的 iSCSI 存儲系統(tǒng)或集成到其他應(yīng)用程序中。
iscsid：一個基于 Go 語言實(shí)現(xiàn)的 iSCSI 守護(hù)進(jìn)程，可以用于創(chuàng)建和管理 iSCSI 目標(biāo)和 LUN。它支持多個后端存儲引擎，包括本地文件系統(tǒng)、Ceph、GlusterFS 等。
open-iscsi：一個開源的 iSCSI 實(shí)現(xiàn)，包括 iSCSI 客戶端（initiator）和服務(wù)器端（target）。它基于 C 語言實(shí)現(xiàn)，但也有一些 Go 語言的工具和庫可以用于與之交互。
dqlite：一個基于 Go 語言實(shí)現(xiàn)的分布式 SQLite 數(shù)據(jù)庫，支持多節(jié)點(diǎn)復(fù)制和高可用性。它可以用于構(gòu)建分布式 iSCSI 存儲系統(tǒng)或其他分布式應(yīng)用程序。

iscsid

iscsid 是 iSCSI 協(xié)議的守護(hù)進(jìn)程，主要負(fù)責(zé)與 iSCSI initiator（客戶端）通信，并將 iSCSI 請求轉(zhuǎn)發(fā)給 SCSI 設(shè)備。在文件系統(tǒng)中，iscsid 通常是使用內(nèi)核模塊實(shí)現(xiàn)的。

iscsid 的內(nèi)核模塊通常由兩部分組成：iscsi_tcp.ko 和 scsi_transport_iscsi.ko。其中，iscsi_tcp.ko 負(fù)責(zé)處理 iSCSI 的傳輸層協(xié)議，如建立和維護(hù) TCP 連接、處理 iSCSI 登錄和退出等。而 scsi_transport_iscsi.ko 則負(fù)責(zé)處理 iSCSI 的 SCSI 命令，如將 iSCSI 請求轉(zhuǎn)發(fā)給 SCSI 設(shè)備、處理 SCSI 命令的響應(yīng)等。

當(dāng) iscsid 啟動時，它會加載 iscsi_tcp.ko 和 scsi_transport_iscsi.ko 內(nèi)核模塊，并創(chuàng)建對應(yīng)的字符設(shè)備文件，如 /dev/sda、/dev/sdb 等。這些字符設(shè)備文件對應(yīng)著 iSCSI target（服務(wù)器）上的 SCSI 設(shè)備，它們可以被當(dāng)作普通的硬盤使用，可以格式化、掛載、讀寫等。

當(dāng) iSCSI initiator 發(fā)送 SCSI 命令時，iscsid 守護(hù)進(jìn)程將命令轉(zhuǎn)發(fā)給對應(yīng)的字符設(shè)備文件，比如 /dev/sda。字符設(shè)備文件將命令轉(zhuǎn)發(fā)給 SCSI 設(shè)備，如硬盤。SCSI 設(shè)備執(zhí)行命令并返回結(jié)果。字符設(shè)備文件將結(jié)果返回給 iscsid 守護(hù)進(jìn)程。iscsid 守護(hù)進(jìn)程將結(jié)果返回給 iSCSI initiator。

三.RDMA是什么?

RDMA（Remote Direct Memory Access）是一種高性能、低延遲的網(wǎng)絡(luò)傳輸技術(shù)，它可以讓計(jì)算機(jī)之間直接訪問彼此的內(nèi)存，從而避免了數(shù)據(jù)在傳輸過程中的不必要的拷貝和上下文切換。RDMA 技術(shù)主要包括兩種協(xié)議：InfiniBand 和 RoCE（RDMA over Converged Ethernet）。

在 RDMA 技術(shù)中，計(jì)算機(jī)之間的數(shù)據(jù)傳輸不再需要 CPU 的介入，而是直接通過網(wǎng)絡(luò)適配器和內(nèi)存控制器之間的 DMA 傳輸實(shí)現(xiàn)。這種方式可以大大減少 CPU 的負(fù)載和數(shù)據(jù)傳輸?shù)难舆t，從而提高傳輸?shù)男屎托阅堋?/p>

RDMA 的工作流程通常包括以下幾個步驟：

應(yīng)用程序?qū)?shù)據(jù)寫入內(nèi)存中的緩沖區(qū)。
應(yīng)用程序通過 RDMA API 發(fā)送數(shù)據(jù)傳輸請求。
網(wǎng)絡(luò)適配器將數(shù)據(jù)傳輸請求發(fā)送到目標(biāo)計(jì)算機(jī)。
目標(biāo)計(jì)算機(jī)的網(wǎng)絡(luò)適配器接收到數(shù)據(jù)傳輸請求。
目標(biāo)計(jì)算機(jī)的內(nèi)存控制器將請求的數(shù)據(jù)從內(nèi)存中讀取，并通過網(wǎng)絡(luò)適配器將數(shù)據(jù)傳輸給源計(jì)算機(jī)的內(nèi)存控制器。
源計(jì)算機(jī)的內(nèi)存控制器將數(shù)據(jù)寫入內(nèi)存中的緩沖區(qū)，并通知應(yīng)用程序傳輸完成。

RDMA 技術(shù)需要硬件和軟件的支持，包括網(wǎng)絡(luò)適配器、內(nèi)存控制器、驅(qū)動程序和 RDMA API 等。此外，RDMA 技術(shù)也有一些限制和注意事項(xiàng)，比如需要保證數(shù)據(jù)傳輸?shù)捻樞蚝鸵恢滦裕枰苊鈨?nèi)存泄漏和數(shù)據(jù)溢出等。

Go-IPoIB庫是一個Go語言實(shí)現(xiàn)的RDMA over IPoIB協(xié)議庫，其底層原理主要是通過RDMA-CM API來實(shí)現(xiàn)RDMA通信。RDMA-CM是一種基于InfiniBand網(wǎng)絡(luò)的RDMA通信管理器，它提供了一種通用的RDMA通信接口，可以在不同的RDMA網(wǎng)絡(luò)上運(yùn)行。RDMA-CM API包括RDMA-CM庫和RDMA-CM頭文件，可以在Linux系統(tǒng)上使用。

Go-IPoIB庫提供了一種使用RDMA-CM API來實(shí)現(xiàn)RDMA over IPoIB協(xié)議的方法。在使用Go-IPoIB庫時，需要使用ipoib.DialIB函數(shù)來創(chuàng)建RDMA連接，并指定本地和遠(yuǎn)程的IP地址和端口號等參數(shù)。然后，可以使用RDMA通信的Write和Read函數(shù)來進(jìn)行數(shù)據(jù)的發(fā)送和接收。在數(shù)據(jù)傳輸過程中，Go-IPoIB庫會自動封裝和解封裝IPoIB數(shù)據(jù)包，并使用RDMA-CM API來管理RDMA通信。

Go-IPoIB庫的實(shí)現(xiàn)涉及到網(wǎng)絡(luò)協(xié)議、硬件設(shè)備、系統(tǒng)調(diào)用等多個方面，比較復(fù)雜。使用Go-IPoIB庫需要有一定的計(jì)算機(jī)網(wǎng)絡(luò)和系統(tǒng)編程基礎(chǔ)，并且需要詳細(xì)了解RDMA-CM API的使用方法和相關(guān)的網(wǎng)絡(luò)協(xié)議規(guī)范。

以下是一個簡單的示例程序，實(shí)現(xiàn)了一個基本的RDMA寫操作：

package main
import (
	"fmt"
	"log"
	"net"
	"time"
	"github.com/infiniband/go-ipoib"
)
func main() {
	// 創(chuàng)建RDMA連接
	conn, err := ipoib.DialIB("192.168.1.1", "ib0", "192.168.1.2", "ib0", 1024)
	if err != nil {
		log.Fatal(err)
	}
	defer conn.Close()
	// 發(fā)送數(shù)據(jù)
	data := []byte("hello world")
	err = conn.Write(data)
	if err != nil {
		log.Fatal(err)
	}
	// 接收數(shù)據(jù)
	buf := make([]byte, len(data))
	err = conn.Read(buf)
	if err != nil {
		log.Fatal(err)
	}
	fmt.Println(string(buf))
}

在此示例中，我們使用ipoib.DialIB函數(shù)創(chuàng)建了一個RDMA連接，指定了本地和遠(yuǎn)程的IP地址和端口號，并設(shè)置了緩沖區(qū)大小為1024字節(jié)。然后，我們使用conn.Write函數(shù)向?qū)Ψ桨l(fā)送了一條消息，并使用conn.Read函數(shù)從對方接收了一條回復(fù)消息。最后，我們將接收到的數(shù)據(jù)轉(zhuǎn)換為字符串并打印出來。

在實(shí)際應(yīng)用中，需要根據(jù)具體的需求進(jìn)行更復(fù)雜的RDMA通信實(shí)現(xiàn)，如RDMA讀操作、多個連接的管理等。同時，還需要考慮RDMA通信的安全性和穩(wěn)定性，避免出現(xiàn)數(shù)據(jù)丟失、死鎖等問題。

四.NVME-oF是什么?

NVMe-oF（Non-Volatile Memory Express over Fabrics）是一種將NVMe協(xié)議擴(kuò)展到網(wǎng)絡(luò)存儲中的技術(shù)。它可以讓遠(yuǎn)程計(jì)算機(jī)通過網(wǎng)絡(luò)訪問本地存儲設(shè)備，從而實(shí)現(xiàn)高性能、低延遲、高可用的存儲訪問。

NVMe-oF技術(shù)的實(shí)現(xiàn)需要硬件和軟件的支持，包括網(wǎng)絡(luò)適配器、存儲控制器、驅(qū)動程序和協(xié)議棧等。在NVMe-oF架構(gòu)中，存儲設(shè)備被分為兩個部分：NVMe-oF Target和NVMe-oF Initiator。

NVMe-oF Target是存儲設(shè)備的服務(wù)端，負(fù)責(zé)響應(yīng)NVMe-oF Initiator的請求，并將數(shù)據(jù)傳輸?shù)奖镜卮鎯υO(shè)備中。NVMe-oF Initiator是存儲設(shè)備的客戶端，負(fù)責(zé)向NVMe-oF Target發(fā)送請求，并從本地存儲設(shè)備中讀取數(shù)據(jù)。

在NVMe-oF技術(shù)中，數(shù)據(jù)傳輸是通過RDMA（Remote Direct Memory Access）技術(shù)實(shí)現(xiàn)的，可以實(shí)現(xiàn)高帶寬、低延遲的數(shù)據(jù)傳輸。同時，NVMe-oF技術(shù)還支持多種傳輸協(xié)議，包括RoCE（RDMA over Converged Ethernet）、iWARP（Internet Wide Area RDMA Protocol）等。

總的來說，NVMe-oF技術(shù)是一種將NVMe協(xié)議擴(kuò)展到網(wǎng)絡(luò)存儲中的技術(shù)，可以實(shí)現(xiàn)高性能、低延遲、高可用的存儲訪問。如果你需要更詳細(xì)的信息，可以查看相關(guān)的文檔或參考其他相關(guān)資料。謝謝！

要在Go中實(shí)現(xiàn)NVMe-oF，可以使用GoNVMe庫。GoNVMe庫是一個基于Go語言實(shí)現(xiàn)的NVMe命令行工具和庫，可以用于管理和測試NVMe設(shè)備和驅(qū)動程序。

使用GoNVMe庫時，需要先安裝NVMe設(shè)備和驅(qū)動程序，并安裝GoNVMe庫。然后，可以使用GoNVMe命令行工具來執(zhí)行各種NVMe操作，如列出NVMe設(shè)備、讀取NVMe設(shè)備的屬性、執(zhí)行NVMe命令等。

以下是一個使用GoNVMe庫讀取NVMe設(shè)備屬性的示例程序：

package main
import (
	"fmt"
	"github.com/chenjie199234/GoNVMe/nvme"
)
func main() {
	// 打開NVMe設(shè)備
	dev, err := nvme.Open("/dev/nvme0")
	if err != nil {
		panic(err)
	}
	defer dev.Close()
	// 讀取NVMe設(shè)備屬性
	id, err := dev.Identify()
	if err != nil {
		panic(err)
	}
	// 輸出NVMe設(shè)備屬性
	fmt.Printf("%+v\\n", id)
}

在此示例中，我們使用nvme.Open函數(shù)打開了一個NVMe設(shè)備，并使用dev.Identify函數(shù)讀取了NVMe設(shè)備的屬性。然后，我們將讀取到的屬性信息轉(zhuǎn)換為字符串并打印出來。

使用GoNVMe庫需要有一定的計(jì)算機(jī)存儲和系統(tǒng)編程基礎(chǔ)，并且需要了解NVMe協(xié)議和相關(guān)的存儲技術(shù)。同時，NVMe設(shè)備和驅(qū)動程序的支持也是使用GoNVMe庫的前提條件。

以上就是基于go實(shí)例網(wǎng)絡(luò)存儲協(xié)議詳解的詳細(xì)內(nèi)容，更多關(guān)于go網(wǎng)絡(luò)存儲協(xié)議的資料請關(guān)注腳本之家其它相關(guān)文章！

您可能感興趣的文章: