invokeAI簡介及原理

自Stable Diffusion模型發(fā)布以來，一組人（從Lstein開始）一直致力于將生成高質(zhì)量圖像的最佳工具匯集到單個易于使用的存儲庫中。2022 年9月，InvokeAI 團隊正式成立。Invoke.Ai是一個創(chuàng)新的文本到圖像 AI 平臺軟件，它利用尖端的深度學(xué)習(xí)模型將文本描述轉(zhuǎn)換為具有視覺吸引力的圖像。通過向 Invoke.Ai 提供特定提示，用戶可以生成與他們想要的概念、場景或?qū)ο笙鄬?yīng)的獨特且高質(zhì)量的圖像。這項革命性技術(shù)為藝術(shù)家、設(shè)計師、內(nèi)容創(chuàng)作者和任何需要迷人視覺效果的人開啟了激動人心的可能性。

InvokeAI只是一個目前完全免費且開源的可視化繪圖工具，它提供一個AI繪畫的基本框架、插件接口和UI界面，具體的繪制模型和lora模型等還需要下載和導(dǎo)入。InvokeAI已經(jīng)加入了controlnet、lora、動態(tài)提示詞等功能，極大的提高了繪畫結(jié)果的可控性、穩(wěn)定性和必要時的隨機性(比如想抽卡生存隨機的圖片時)InvokeAI對比類似功能的WebUI，InvokeAI有著更簡單上手，部署條件更簡單，學(xué)習(xí)成本更低的優(yōu)點，并且隨著開發(fā)者的更新InvokeAI的功能也已經(jīng)逐漸追上了WebUI的步伐，如果需要安裝插件或者導(dǎo)入新的文轉(zhuǎn)圖訓(xùn)練、模型CHECK_POINT、lora、vae等，InvokeAI也在操作頁面有很方便快捷的可視化添加方式。支持SDXL 1.0，該模型擁有更多的參數(shù)，并且對色彩的鮮艷和準(zhǔn)確程度做了優(yōu)化，全部采用原生的 1024×1024 分辨率（之前只有 512×512）。新模型只需更簡單的語言就能生成更智能的圖片。

丨其他功能

同時支持 ckpt 和擴散器模型

SD 1.5、2.0、2.1 支持

噪音控制與Tresholding

熱門采樣器支持

升級和面部修復(fù)工具

嵌入管理器和支持

模型管理器和支持

自動安裝：以下安裝比較復(fù)雜，如果不會可聯(lián)系客服遠(yuǎn)程（另收費）

先下載安裝包到本地，并解壓到本地。安裝包支持多環(huán)境（Windows/MacOS/Linux）

如果是 Windows 操作系統(tǒng)，雙擊 install.bat 腳本安裝。

如果在蘋果電腦macOS系統(tǒng)，支持M1，M2 系統(tǒng)下，打開終端窗口，將 install.sh 文件從 Finder 拖到終端，然后按回車鍵。

Linux 操作系統(tǒng)執(zhí)行 install.sh

開始安裝后會詢問是否安裝默認(rèn)路徑安裝（Y為按默認(rèn)路徑安裝，N為自定義安裝路徑）選擇完路徑后會開始安裝Invoke本體，本體安裝完成后會進(jìn)入下一步讓你選擇你想下載的繪畫模型(如果沒有出現(xiàn)這一步，請把CMD窗口最大化然后等一會)選擇完模型后會開始下載模型，下載完成可能會遇到錯誤無法正常完成安裝，只需要關(guān)閉窗口即可完成安裝。

您運行安裝程序的文件夾現(xiàn)在將被許多文件填滿。如果您在 Windows 上，雙擊 invoke.bat 文件。在macOS 上，打開終端窗口，將 invoke.sh 從文件夾中拖到終端中，然后按回車鍵。Linux 操作系統(tǒng)執(zhí)行 invoke.sh

我只說一下比較重要的幾個選項，第1個選項是用網(wǎng)頁啟動InvokeAI，一般無法直接啟動，可先按7下載相關(guān)組件，第3個是啟動圖轉(zhuǎn)文訓(xùn)練，第5個是下載其他繪圖模型，第9個是檢查Invoke升級，Q選項是退出。(此處為InvokeAI Windows版3.0.2post1版本號的內(nèi)容，不同版本可能順序有所不同，具體選項可以自己對照窗口內(nèi)文本翻譯一下)

打開瀏覽器，然后轉(zhuǎn)到 http://localhost:9090

在左上角的框中，單擊 Invoke

（安裝過程需要聯(lián)網(wǎng)，部分下載內(nèi)容可能無法使用國內(nèi)網(wǎng)絡(luò)下載。）

手動安裝教程

手動安裝有兩種方式，第一種使用基本的 Python 虛擬環(huán)境 venv 命令和 PIP 包管理器。第二個基于 Anaconda3 包管理器 conda。這兩種方法都需要在終端上輸入命令。

需注意 conda 安裝方法目前已棄用，在將來的某個時候?qū)⒉皇苤С郑虼宋覀円膊煌扑]你使用該方式進(jìn)行安裝。

在 Windows 系統(tǒng)上，鼓勵您安裝和使用 Powershell，它提供了與 Linux 和 Mac shell 的兼容性，以及命令行補全等不錯的特性。

我們主要介紹 PIP 方式的安裝：

確保您使用的是 Python 3.9 或 3.10

克隆源源源源源源源源源源源源代碼

git clone https://github.com/invoke-ai/InvokeAI.git

在 InvokeAI 頂級目錄中，創(chuàng)建并激活名為 InvokeAI 的虛擬環(huán)境

python -mvenv invokeai
source invokeai/bin/activate

確保 PIP 安裝在虛擬環(huán)境中并且是最新的

python -mensurepip --upgrade
python -mpip install --upgrade pip

為您的硬件和操作系統(tǒng)選擇正確的需求 *.txt 文件

確保 InvokeAI 環(huán)境處于活動狀態(tài)并啟動 PIP

pip install --prefer-binary -r requirements.txt

設(shè)置運行時目錄

運行命令行

invoke.py --root ~/Programs/invokeai

選擇放棄，隨后重新啟動腳本

項目地址

https://github.com/invoke-ai/InvokeAI

一、主要功能及特點

1、功能介紹

使用界面：比較美觀的使用界面，最左側(cè)是功能欄，分為三個已有功能和三個未上線功能；旁邊是調(diào)節(jié)欄，用來輸入和調(diào)節(jié)參數(shù)；中間是生成的圖像展示，最右側(cè)是你最近生成的圖像庫：

上面的屏幕截圖顯示了WebUI的文本到圖像選項卡。有三個主要部分：

左側(cè)的控制面板，其中包含從文本到圖像生成的各種設(shè)置。最重要的部分是用于輸入正文本提示的文本字段（目前顯示fantasy painting, horned demon），正下方的另一個文本字段用于可選的負(fù)文本提示（要排除的概念），以及用于開始圖像渲染過程的調(diào)用按鈕。

中間的當(dāng)前圖像部分，顯示您當(dāng)前正在處理的圖像的大格式版本。頂部的一系列按鈕允許您以各種方式修改和操作圖像。

左側(cè)的圖庫部分包含您生成的圖像的歷史記錄。這些圖像被讀取并寫入 INVOKEAIROOT/invokeai.yaml 初始化文件中指定的目錄，通常是 INVOKEAIROOT 中名為outputs 的目錄。

除了這三個元素外，右上角還有一系列用于更改全局設(shè)置、報告錯誤和更改主題的圖標(biāo)。

控制面板左側(cè)還有一系列圖標(biāo)（請參閱下面屏幕截圖中的突出顯示區(qū)域），這些圖標(biāo)在一系列選項卡中進(jìn)行選擇，以執(zhí)行不同類型的操作。

從上到下，這些是：

文本到圖像-從文本生成圖像

圖像到圖像-從上傳的起始圖像（繪圖或照片）生成一個新的圖像，由文本提示進(jìn)行修改

統(tǒng)一畫布-交互式組合多個圖像，用外繪擴展它們，用內(nèi)繪修改圖像的內(nèi)部部分，擦除起始圖像的部分，并讓AI從文本提示符填充擦除的區(qū)域。

節(jié)點編輯器-（實驗性）此面板允許您創(chuàng)建常見操作的管道，并將其合并到工作流程中。

模型管理器-此面板允許您使用URL、本地路徑或HuggingFace diffusers repo_ids導(dǎo)入和配置新模型。

功能欄：文字生成圖片：像大多數(shù)AI圖像生成工具一樣，輸入文字并產(chǎn)出圖片；圖片生成圖片：類似于墊圖功能，基于上傳的圖片和文字生成對應(yīng)的圖片；畫布拓展：先生成較小的圖片，然后生成可以自由地拓展你的畫布，將圖像延展出去。在invokeai中，若硬件合適，這一功能似乎可以延展出無窮的畫布。

預(yù)計推出:節(jié)點:目前正在開發(fā)基于節(jié)點的圖像生成系統(tǒng)。請繼續(xù)關(guān)注有關(guān)此驚人功能的更新。后處理：調(diào)用 AI 提供了多種后處理功能。圖像放大和面部恢復(fù)已經(jīng)在WebUI中可用。您可以從“文本到圖像”和“圖像到圖像”選項卡的“高級選項”菜單訪問它們。您還可以使用當(dāng)前圖像顯示上方或查看器中的圖像操作按鈕直接處理圖像。不久將發(fā)布專用 UI，以促進(jìn)更高級的后處理工作流程。Invoke AI 命令行界面提供了各種其他功能，包括 Embiggen。訓(xùn)練：一個專用的工作流程，用于從 Web 界面使用文本反轉(zhuǎn)和 Dreambooth 訓(xùn)練您自己的嵌入和檢查點。InvokeAI 已經(jīng)支持使用主腳本使用文本反轉(zhuǎn)來訓(xùn)練自定義嵌入。

2.自動模型安裝（需梯子）：

有兩種方法可以安裝和管理模型：

invokeai-model-install腳本將為您下載并安裝它們。除了支持主要模型外，您還可以安裝ControlNet、LoRA和文本反轉(zhuǎn)模型。

Web界面（WebUI）有一個用于導(dǎo)入和管理模型的GUI。

通過將模型（或模型的符號鏈接）放置在InvokeAI根目錄的autoimport文件夾之一中（主要方法）。

通過安裝invokeai-model-install

從invoke啟動器中，選擇選項[5]“下載并安裝模型”。這將啟動相同的腳本，提示您在安裝時選擇模型。您可以使用它來添加您第一次跳過的模型?？梢灾付ㄖ跋螺d的模型；腳本只會確認(rèn)文件是否完整。

安裝程序有不同的面板，用于安裝來自HuggingFace的主要模型、來自Civitai和其他任意網(wǎng)站的模型、ControlNet模型、LoRA/LyCORIS模型和文本反轉(zhuǎn)嵌入。每個部分都有一個文本框，您可以在其中輸入要安裝的新模型。您可以使用其參考模型：

本地機器上.ckpt、.safetensors或擴散器文件夾的本地路徑

計算機上包含多個模型的目錄

指向可下載模型的URL

A HuggingFace repo id

以前安裝的型號顯示有復(fù)選框。取消選中復(fù)選框以從InvokeAI取消注冊模型。物理安裝在InvokeAI根目錄中的模型將被刪除和清除（在確認(rèn)警告后）。位于InvokeAI根目錄之外的模型將被取消注冊，但不會被刪除。

注意：安裝程序腳本使用基于控制臺的文本界面，需要大量的水平和垂直空間。如果顯示器看起來亂七八糟，只需放大終端窗口和/或重新啟動腳本。

手動安裝模型

請執(zhí)行以下操作：

在模型網(wǎng)站下載需要的模型。

放到對應(yīng)的路徑。

刷新模型窗口，選擇對應(yīng)模型即可。

模型倉庫

常見的模型下載倉庫為以下幾種，點擊可直接前往倉庫地址：

HuggingFace：Stable Diffusion、ControlNet的官方倉庫。

Civitai：里面多是Lora或其它NSFW等模型的倉庫。

Discord：公共聊天軟件，如果有需要可行前往搜索相應(yīng)頻道。

四比三備份站：國內(nèi)備份模型和參考圖的網(wǎng)站，可以直接下載。

Reddit：公共交流社區(qū)，如果有需要可行前往搜索相應(yīng)頻道。

在HuggingFace倉庫中下載所需的模型時，將會看到各種各樣格式的文件。對于一般的使用者來說，僅下載常用CKPT格式模型文件即可。

模型種類

1. sdxl (Stable Diffusion XL)

描述：Stable Diffusion XL (SDXL) 是最新的圖像生成模型，專為生成更真實、細(xì)節(jié)更豐富的圖像而設(shè)計。

特點：

更真實的圖像：與之前的模型相比，SDXL可以生成更真實的圖像，特別是在面部生成方面。

可讀的文本：SDXL與其他AI圖像生成模型的最大區(qū)別是它可以生成可讀的文本。

更好的人體解剖：之前的SD模型在生成正確的人體解剖方面存在問題。SDXL在一定程度上修復(fù)了這個問題。

藝術(shù)風(fēng)格：SDXL為圖像生成提供了多種藝術(shù)風(fēng)格。

更短的提示：與之前的模型相比，SDXL更好地理解短提示。

改進(jìn)的構(gòu)圖：增強的圖像構(gòu)圖允許為幾乎任何類型的提示創(chuàng)建令人驚嘆的視覺效果。

2. sdxl-refiner

描述：這可能是與sdxl模型相關(guān)的微調(diào)或細(xì)化模型，用于進(jìn)一步優(yōu)化生成的圖像。

特點：

圖像優(yōu)化：可能用于進(jìn)一步細(xì)化和改進(jìn)sdxl生成的圖像，提高圖像的質(zhì)量和真實感。

特定場景調(diào)整：可能用于特定的場景或需求，以滿足用戶的特定要求。

3. SD 1.5 (Stable Diffusion 1.5)

描述：SD 1.5是Stable Diffusion的一個早期版本，它的開源時間較早，因此相應(yīng)的生態(tài)已經(jīng)建立起來。大部分人目前都是基于SD 1.5進(jìn)行finetune模型。

特點：

生成效果穩(wěn)定。

生態(tài)豐富，有許多配套的基底模型、LoRA模型以及插件。

學(xué)會使用SD 1.5基本上也就等于會用SD 2.1。

4. SD 2.1 (Stable Diffusion 2.1)

描述：SD 2.1是Stable Diffusion的一個更新版本，其生成效果相對于1.5有所提升，但并沒有帶來質(zhì)的飛躍。

特點：

初級技術(shù)：在sd-2.1和sdxl之前的技術(shù)，可能在多個方面都不如后續(xù)版本。

基礎(chǔ)應(yīng)用：可能主要用于基礎(chǔ)的圖像生成任務(wù)，沒有太多的高級功能。

模型存放路徑

請先確定您下載的是SD1.5還是SDXL模型，在根據(jù)不同類型存放在不同位置。

1. 大模型

描述：大模型特指標(biāo)準(zhǔn)的latent-diffusion模型，擁有完整的TextEncoder、U-Net、VAE。由于訓(xùn)練大模型需要高顯卡算力，所以許多人選擇訓(xùn)練小型模型。

CKPT

描述：CKPT格式的全稱為CheckPoint（檢查點），是完整模型的常見格式一般擴展名：.ckpt或.safetensors。

文件大?。阂话阍?GB左右。

文件位置：*\InvokeAI\models\*\main目錄內(nèi)。

2. 小模型

描述：小模型是截取大模型的某一特定部分，雖然不如大模型那樣完整，但在生成特定內(nèi)容時效果更佳。

常見微調(diào)模型：Textual inversion (Embedding)、Hypernetwork、VAE、LoRA等。

VAE (Variational autoencoder)

Embedding

3. LoRA

LoRA是什么？

如果說模型是一大包食材，那 LoRA 可以理解為一個調(diào)料包。通過一些簡單的學(xué)習(xí)，您可以批量生成想要的圖案、姿勢、情境等等。
比如我們想用自己的孩子做主角生成圖片，那么通過制作孩子的 LoRA，就可以在 Prompt 中用一個命令調(diào)用，從而獲得孩子的圖片。
另外，由于有許多不同的 LoRA 可供使用，因此可以輕松地嘗試各種有趣的圖片生成。

LoRA 有很多種類型，看起來很復(fù)雜？

LyCORIS，LoHa，LoRA，LoCon，(IA)^3，LoKR，DyLoRA 等等，是什么意思！
其實這些是微調(diào)技術(shù)的分類和其算法。

LoRA、LyCORIS、LoCon是一些技術(shù)項目的名稱。
LoCon 已被 LyCORIS合并，過去需要的擴展 LoCon 現(xiàn)在不再需要，只需安裝 LyCORIS 的擴展即可。 LoHa，(IA)^3，LoKR，DyLoRA 是 LyRORIS 的學(xué)習(xí)算法之一。在算法學(xué)習(xí)時指定使用。 這些基本上在使用時不需要擔(dān)心，但是如果要使用LyCORIS和LoCon學(xué)習(xí)的LoRA，則需要注意使用LyCORIS專用的擴展程序（稍后會提到）

描述：LoRA模型有基礎(chǔ)模型和變體兩種。

使用方法：在首頁界面下圖標(biāo) ->Lora選項卡?；A(chǔ)模型：

名稱：一般為chilloutmix*。

后綴：safetensors或CKPT。

文件位置：*\InvokeAI\models\*\Lora目錄內(nèi)。

模型后綴解析

描述：風(fēng)格模型，針對一個風(fēng)格或主題。

常見格式：pt、png、webp。

使用方法：加載對應(yīng)Embedding模型，在Prompt中使用對應(yīng)TAG。

文件位置：*\InvokeAI\models\*\embeddings目錄內(nèi)。

描述：變分自編碼器，將潛空間的數(shù)據(jù)轉(zhuǎn)換為正常圖像。影響出圖的色彩和細(xì)節(jié)。

后綴格式：.pt

使用方法：設(shè)置  -> 模型的 VAE (SD VAE)。

文件位置：*\InvokeAI\models\*\VAE目錄內(nèi)。

格式描述

.ckptPytorch的標(biāo)準(zhǔn)模型保存格式，容易遭受Pickle反序列化攻擊。

.ptPytorch的標(biāo)準(zhǔn)模型保存格式，容易遭受Pickle反序列化攻擊。

.pthPytorch的標(biāo)準(zhǔn)模型保存格式，容易遭受Pickle反序列化攻擊。

.safetensorssafetensors格式可與Pytorch的模型相互格式轉(zhuǎn)換，內(nèi)容數(shù)據(jù)無區(qū)別。

其它webui 特殊模型保存方法：PNG、WEBP圖片格式。

Safetensors格式

Safetensors格式所生成的內(nèi)容與ckpt等格式完全一致（包括NFSW）。

Safetensors格式擁有更高的安全性，

Safetensors比ckpt格式加載速度更快

該格式必須在2023年之后的Stable Diffusion內(nèi)才可以使用，在此之間的SD版本內(nèi)使用將無法識別。

Safetensors格式由Huggingface推出，將會逐漸取代ckpt、pt、pth等格式，使用方法上與其它格式完全一致。

2、特點功能

invokeAI中擁有大部分的基本AI繪畫生成功能，例如文生圖，圖生圖、種子值、放大圖像等等，下面拿了invokeAI的一些特別的功能進(jìn)行了測評。不過invokeAI中的功能雖然在界面中都可以調(diào)節(jié)，但是如果當(dāng)前使用的模型算法不支持，可能會不起作用。

面部修復(fù)：

其中Strength表示修復(fù)強度：值范圍從0到1，范圍內(nèi)值越高修復(fù)效果越強；下面兩張是多組測試中效果較明顯的一組，他們有相同的種子值，關(guān)鍵詞為“A girl’s face”：第一張，沒有打開面部修復(fù)時的生成效果：

打開面部修復(fù)后：

這一功能主要是略微優(yōu)化臉部結(jié)構(gòu)，同時圖片的銳度下降，并產(chǎn)生一定的磨皮、平滑效果。畫布拓展：幾乎可以將畫布無限延展，這是這個功能最吸引人的特點。你可以在這個界面里自定義延展框的大小、比例、甚至創(chuàng)建遮罩等，將你原來的模型進(jìn)行放大：

考慮到每次圖像拓展可能會產(chǎn)生接縫線，官方在左側(cè)的調(diào)節(jié)欄里設(shè)置了接縫校正功能如下，但是模型不同，這個調(diào)節(jié)的效果也會不同：

二、對比其他模型的優(yōu)劣勢

invokeAI主要是基于開源模型的界面設(shè)計，它與著名的非開源AI圖像生成模型midjourney相比，有哪些優(yōu)缺點呢？在進(jìn)行大量的出圖時，midjourney采用的是上下滾動的翻閱設(shè)計，而invokeAI采用的是將圖片集中放在右側(cè)欄中的設(shè)計，invokeAI在直接選取之前的圖像上更加方便。invoke將所有的圖像集中右側(cè)：

midjourney的滾動瀏覽：

在對于生成的一些微調(diào)功能方面，midjourney需要在輸入框中將所有的指令通過指定格式表達(dá)出來，但是invokeAI采用了部分使用滑塊等調(diào)節(jié)的方式，交互方式更加直觀便捷。同時有的開源模型沒有較為完善的界面設(shè)計，對于編程基礎(chǔ)較弱的用戶不是很友好。但是如果將模型導(dǎo)入invokeAI，就可以在統(tǒng)一的界面中使用模型，也節(jié)省了熟悉新模型的時間。invokeAI在每個功能按鈕旁都有一個小問號，鼠標(biāo)停留時會有詳細(xì)的功能說明，這是非常人性化的交互體驗。例如invokeAI中對種子值的說明：

相比于midjourney，invokeAI將文生圖、圖生圖、畫布拓展三個大功能拆分開并將其作為主結(jié)構(gòu)向下細(xì)分的結(jié)構(gòu)設(shè)計也是不錯的，相對應(yīng)的功能在顏色上也做出了區(qū)分。但在圖片儲存上midjourney使用頻道的方式，在進(jìn)行圖片分類、儲存方面更加完善，可以將不同的圖片分配到不同的頻道內(nèi)進(jìn)行儲存，目前invokeAI還沒有將圖片分類儲存的功能。midjourney豐富的頻道系統(tǒng)：

在社交屬性上，midjourney能更快地直達(dá)社區(qū)和看見他人生成的內(nèi)容，invokeAI更像單獨使用的工具。

對于一般開源軟件同樣地，下面兩張界面圖對比，相比stable diffusion比較單調(diào)并且沒有功能說明，invokeai使用起來更人性化：

對于本地配置要求來說，相比midjourney完全云端的優(yōu)勢，invokeIA安裝對于本地配置的要求較高。而且目前為止使用invokeai的成員較少，網(wǎng)上相對應(yīng)的使用教程也比較少，需要根據(jù)官方說明書一步步執(zhí)行。invokeAI下載時攜帶了五個模型包，占用很大的內(nèi)存，并且運行在本地對于顯卡的要求也比較高，有條件可以嘗試在云端服務(wù)器運行。

統(tǒng)一UI在提供便利的同時也會帶來一些缺點，固定的UI界面可能無法完全適配自定義模型的功能。而且invoke目前功能比較基礎(chǔ)，如果可以自定義增加調(diào)節(jié)模塊并出相應(yīng)的官方教程就更好了。