圖引擎模塊(GE)是MindSpore的一個子模塊，其代碼由C++實現(xiàn)，位于前端模塊ME和底層硬件之間，起到承接作用。圖引擎模塊以ME下發(fā)的圖作為輸入，然后進行一系列的深度圖優(yōu)化操作，最后輸出一張可以在底層硬件上高效運行的圖。GE針對昇騰AI處理器的硬件結(jié)構(gòu)特點，做了特定的優(yōu)化工作，以此來充分發(fā)揮出昇騰AI處理器的強大算力。在進行模型訓(xùn)練/推理時，GE會被自動調(diào)用而用戶并不感知。

GE主要由GE API和GE Core兩部分組成。

GE API

GE API是連接前端模塊ME和GE Core的接口，負(fù)責(zé)GE Core中初始化、Session管理模塊的接口，支持運行環(huán)境初始化，Session創(chuàng)建、銷毀，圖添加執(zhí)行。

GE Core

GE Core是GE的核心模塊，負(fù)責(zé)整個訓(xùn)練過程中的圖管理。GE Core中的圖處理可細(xì)分為六大步驟，分別是圖準(zhǔn)備、圖拆分、圖優(yōu)化、圖編譯、圖加載和圖執(zhí)行，對于ME下發(fā)的每一張圖都會經(jīng)過這六個步驟的操作，最終得到可以直接在底層硬件上高效執(zhí)行的圖。

1、圖準(zhǔn)備 & 整圖優(yōu)化

完成整圖級別的數(shù)據(jù)準(zhǔn)備和優(yōu)化，涉及到IR庫及算子庫。使用IR庫中算子的InferShape函數(shù)，完成整圖的Shape推導(dǎo)，以便后續(xù)申請內(nèi)存;同時根據(jù)算子的聚合屬性，完成某些算子的聚合優(yōu)化，如allreduce算子，會按照聚合參數(shù)，將若干各參數(shù)對應(yīng)梯度的allreduce算子聚合為一個，以此減少通訊耗時。

2、圖拆分

昇騰AI處理器是一種異構(gòu)芯片，含有CPU(AICPU)和向量計算部件AICORE，圖中每個算子會按照開銷模型選擇執(zhí)行的核心，此階段會對算子進行最優(yōu)的核心分配，每種核心對應(yīng)軟件上的一個抽象引擎;按照之前對各算子的引擎分配，以引擎為邊界，將整圖拆分為若干子圖，在圖邊界算子上插入相應(yīng)的Placeholder算子以做標(biāo)識，之后的優(yōu)化、編譯、加載操作均會以子圖為單位進行，這樣可以有效減少優(yōu)化過程的耗時。

3、子圖優(yōu)化

根據(jù)子圖所屬引擎，調(diào)用不同的優(yōu)化器接口執(zhí)行優(yōu)化。為了充分發(fā)揮昇騰AI處理器中AICORE模塊的算力，在AICORE內(nèi)CUBE單元進行計算的算子會采用一種5D的數(shù)據(jù)格式，圖優(yōu)化階段會對相應(yīng)算子進行4D/5D的類型轉(zhuǎn)換;為了進一步發(fā)揮CUBE單元的算力，減少數(shù)據(jù)搬運次數(shù)，GE會對某種范式的算子連接進行融合操作，此步驟也在圖優(yōu)化階段進行;對所有子圖優(yōu)化之后，需進行算子運行屬性計算，以計算輸入輸出內(nèi)存大小。

4、圖編譯 & 圖加載

GE采用即時算子編譯技術(shù)，即按照實際網(wǎng)絡(luò)結(jié)構(gòu)即時編譯生成算子可執(zhí)行程序，同時完成內(nèi)存復(fù)用與內(nèi)存分配、流分配、算子可執(zhí)行程序加載等。每個算子執(zhí)行任務(wù)綁定到特定的流上，同一個流的任務(wù)是串行執(zhí)行的，不同流上的任務(wù)可以并行執(zhí)行。圖加載階段按照引擎歸屬的runtime，將子圖加載到硬件上準(zhǔn)備執(zhí)行。

5、圖執(zhí)行

最終在硬件上執(zhí)行子圖，并返回相應(yīng)的輸出值。為了提高運行效率，圖執(zhí)行階段提供了一種下沉模式，可以在底層硬件上連續(xù)運行多輪再返回輸出值，以此減少從底層硬件拷貝數(shù)據(jù)的次數(shù)。

在訓(xùn)練/推理過程中，上述過程會自動執(zhí)行，通過上述圖操作，GE可以將前端下發(fā)的圖轉(zhuǎn)換為一種可以在昇騰AI處理器上高效運行的圖模式。

安裝GE

GE內(nèi)嵌在MindSpore安裝包中，MindSpore安裝完畢后，GE以三個動態(tài)庫的方式被調(diào)用。