從零教你在本地部署stable diffusion免費製作精美的繪圖（2）

來源：尋美食 釋出時間：2023-06-10 01:41

接上文：

5.3 什麼是 LoRA 模型以及如何使用它們？

5.3.1 什麼是 LoRA 模型？

LoRA 是一種用於最佳化Stable Diffusion模型的練習技術，它可以利用少量資料練習出一種畫風/IP/人物，實現定製化需求，所需的練習資源比練習stable diffusion模型要小許多。它是一個對尺度模型檢查點應用微小更改的小型模型。LoRA 模型通常具有 10 – 200M 的容量， 比檢查點檔案小得多。因此，它們易於下載，可以進一步豐碩您的 AI 影象集。您不能單獨使用 LoRA 模型。它們必需與檢查點模型檔案結合使用。

5.3.2 LoRA 模型的說明

可以調整乘數係數以增加或減少效果。將乘數設定為 0 將封閉 LoRA 模型。您可以在 0 到 1 的範圍內調整樣式效果。一些LoRA模型是用Dreambooth練習的。您需要包含一個啟用關鍵字才能使用 LoRA 模型。您可以在模型頁面上找到啟用關鍵字。您可以一次使用多個 LoRA 模型，還可以將它們與其他嵌入部件一起使用。LoRA 短語不是提示的一部分，應用 LoRA 模型後它將被刪除。流行的 LoRA 模型下載庫可以在共享庫中搜索流行的 LoRA 模型，例如：

c站HuggingFace網站

5.3.3 使用LoRA模型

Lora模型的使用方法有以下幾步：

首先，你需要下載一個基礎模型，好比ChilloutMix，它是以stable diffusion 1.5版本為基礎訓練的。你可以從civitai.com或者網盤下載。然後，你需要下載一個或多個角色模型，好比八重神子、雷電將軍、韓國娃娃等。你也可以從civitai.com或者網盤下載，或者自己收集圖片練習一個新的角色模型。接著，你需要將基礎模型放置在stable-diffusion-webui/models/Stable-diffusion目錄下，將角色模型放置在stable-diffusion-webui/models/Lora目錄下。最後，你需要在stable diffusion webui的主介面載入基礎模型，在文生圖或圖生圖介面點選Show extra networks按鈕，在彈出的面板中選擇Lora選項卡，點選你想要的角色模型名稱，它會自動新增到prompt文字框中。然後你可以填寫一些其他的描述資訊和相應的引數，就可以天生你想要的效果了。假設你已經載入了基礎模型ChilloutMix，然後你想天生一個八重神子的圖片，你可以這樣操縱：在stable diffusion webui的文生圖或圖生圖介面，點選天生按鈕下方的粉色圖示Show extra networks，它會彈出一個面板。在面板中選擇Lora選項卡，你可以看到你已經安裝的Lora模型，好比八重神子、雷電將軍等。點選八重神子的模型名稱，它會自動將lora:yaeMikoRealistic_yaemikoFull:1這個關鍵詞新增到prompt文字框中。這個關鍵詞表示你想要使用八重神子的Lora模型，1表示Lora模型的強度，你可以根據需要調整。在prompt文字框中，你還可以填寫一些其他的描述資訊，好比畫風、姿勢、服裝等。好比你可以寫：best quality, full body, 1girl, smiling, wearing shrine maiden outfit, holding a bell, standing in a cherry blossom garden。然後你可以設定一些引數，好比圖片大小、取樣器、步數等。好比你可以設定：Size: 512x512, Sampler: DPM++ SDE Karras, Steps: 20。最後點選天生按鈕，就可以看到天生的圖片了。

lora的配置圖片：可以看到詳細的語法是用 <>括起來的

5.4 embedding

5.4.1 什麼是embedding及其作用

embedding又稱為文字反轉，它可以定義新的關鍵詞來控制stable diffusion天生的影象的風格或內容。它的原理是在不修改模型的情況下，找到一個能夠最好地表示新風格或物件的embedding向量，並將其與輸入的文字或標籤一起傳遞給模型。embedding可以用於天生新的物件或風格，好比玩具貓、水墨畫等。它也可以用於轉換已有的物件或風格，好比將人物變成卡通形象、將風景變成油畫等。embedding可以與其他已有的關鍵詞結合使用，實現更豐碩的語義編纂。

用大白話來說，它可以讓我們自定義關鍵字從而來代替一大推的咒語提示詞，假如我這裡有20行提示詞用來描述水墨畫風格的雪山，那麼我不需要每次天生圖片都要用許多提示詞代替來天生，而是提前透過大量的圖片來練習它形成幾十k的片斷，使用的時直接引入即可。

好比你可以定義一個關鍵詞叫做toy_cat，表示玩具貓，然後在prompt文字框中輸入“一隻<toy_cat>在沙發上睡覺”，它就可以天生一張玩具貓的圖片。embedding可以讓你增加更多的選擇和創意，讓你天生更符合你想象的圖片。

使用embedding和不使用embedding的差別就是，不使用embedding時，你只能用stable diffusion已經知道的關鍵詞來天生圖片，而使用embedding時，你可以用自己定義的關鍵詞來天生圖片。使用embedding和不使用embedding的作用就是，不使用embedding時，你可以天生一些普通或者常見的圖片，而使用embedding時，你可以天生一些特殊或者個性化的圖片。

5.4.2 使用

c站中有不少這種模型，開啟c站可以按如下圖操縱去選擇embedding，如下圖所示

接下來選擇一個來下載

下載後是一個 .pt 檔案 AS-Young-neg.pt 我們將此檔案放到

D:2023ai esourcestable-diffusion-webuiembeddings

夾下

重啟webui-user.bat 重新整理介面：

可點選右側紅色圖示->彈出tab頁標籤->Textual Inversion就是剛剛下載的embedding

，點一下即可，假如點選按鈕無反應，則在webui-user.bat檔案中新增引數

--no-gradio-queue

放入提示詞：

天生效果

5.4.3 和LoRA的區別

embedding和lora都是一種用於練習stable diffusion模型的方法，它們的目的是讓模型能夠識別並天生一些新的風格或物件，好比玩具貓、水墨畫等。它們的區別主要有以下幾點：

embedding是一種文字逆轉的方法，它透過找到一個能夠最好地表示新風格或物件的embedding向量，來作為模型的輸入。embedding不會修改模型本身，只會修改輸入的文字向量。embedding練習出來的結果是一個很小的檔案，只包含新關鍵詞和對應的向量。lora是一種低階適應的方法，它透過在模型中插入一些新的資料處理層，來改變模型的輸出。lora會修改模型本身，但不會修改原有的引數，只會增加一些新的引數。lora練習出來的結果是一個相對較大的檔案，包含新插入的層和對應的引數。embedding合用於轉換影象風格或新增一些簡樸的物件，好比玩具貓、卡通貓等。embedding可以與其他已有的關鍵詞結合使用，實現更豐碩的語義編纂。embedding練習速度快，對計算資源要求低。lora合用於新增一些複雜或細節豐碩的物件或風格，好比人臉、寵物、物件等。lora可以與其他lora模型疊加使用，實現更多樣化的影象天生。lora練習速度慢，對計算資源要求高。

6 AI製圖的貿易案例及感悟

寫完文章，我總結了

AI

繪圖很多貿易應用：

廣告設計：AI繪圖可以根據廣告主的要求和目標，自動天生吸引人的廣告影象，節省時間和本錢，提高效率和轉化率。遊戲開發：AI繪圖可以根據遊戲的風格和場景，自動天生逼真的遊戲角色、物品和背景，增強遊戲的豐富性和沉醉感。教育培訓：AI繪圖可以根據教學內容和學習者的需求，自動天生適合的教授教養影象，進步教學質量和學習效果。藝術創作：AI繪圖可以根據藝術家的靈感和風格，自動天生獨特的藝術作品，拓展藝術表達和立異。頭像製作。主題製作。室內設計圖。

AI

繪圖給我帶來了許多感悟：

AI繪圖是人工智慧技術與人類創造力的結合，它不僅可以模仿人類的繪畫技巧，還可以創造出超越人類想象的影象，展示了人工智慧技術的無窮可能性。AI繪圖是一種新型的藝術形式，它不是取代人類的藝術家，而是與人類的藝術家合作，共同創造出更多樣化和多元化的藝術作品，豐碩了人類的文化和審美。AI繪圖是一種新型的教育工具，它不是替換人類的教師，而是輔助人類的教師，提供更多的教學資源和方法，促進了人類的學習和發展。

7 總結

今天的操縱先先容到這裡，詳細的細節過程基本都寫清晰了，後面繼承增補其他元件、模型、外掛等。如有不清晰可隨時評論或發私信給我，謝謝大家觀看！

最後做個全篇知識點的總結：在Stable Diffusion中， 模型檢查點和 LoRA 在解決與練習模型相關的問題方面施展著至關重要的作用，模型檢查點有助於透過大資料模型塑造 AI 影象的樣式。同時， LoRA 答應使用者以更輕的容量輕鬆進行微調。瞭解如何組合這兩種型別的模型將為您提供最具創意、最真實和生動的 AI 影象。AI繪圖是一種有價值和有意義的技術，它可以為貿易、教育、藝術等領域帶來巨大的便利和價值，也可以為人類帶來更多的樂趣和啟發。我相信，在未來，AI繪圖會有更多的應用和發展，讓我們共同期待吧！