<p class="ql-block ql-indent-1">接<a href="http://m.zit.org.cn/4u9mmg13" target="_blank" style="font-size:18px; background-color:rgb(255, 255, 255);">上節(jié)課</a>，如果使用了合適的checkpoint模型和準確的提示詞，成像效果一般都能夠大致符合需求，而當我們想要更進一步去特指某個人物、某件服飾、或是表現(xiàn)某種強烈的藝術(shù)風格時，得到的結(jié)果則往往差強人意。可身為法師，怎能容許施法不受控制呢？既然目標比較難搞，那我們也需要祭出法器了。</p> <p class="ql-block ql-indent-1">LoRA模型，全稱是Low-Rank Adaptation of large language models,直譯為大語言模型的低階適應，是一種通過小規(guī)模額外訓練對底模進行補充和微調(diào)，以滿足定制化需求的附加模型，需要搭配checkpoint模型才能使用。</p><p class="ql-block ql-indent-1">如果把checkpoint模型比作一本厚重的魔法書，那么LoRA模型就是能夠針對書中特定內(nèi)容進行局部強化、補充和修訂的魔杖，是AI法師們實現(xiàn)定向施法的重要倚仗。在SD中，LoRA模型品類龐雜數(shù)量繁多，為了便于理解，葫蘆叔就按照具體功效把它們簡單分為功能型、概念型和對象型。</p> <p class="ql-block ql-indent-1">功能型LoRA，其作用顧名思義就是為SD成像提供各種附加功能，例如C站里常年爆火的角色衣物增減（為啥火你懂的）</p> <p class="ql-block">再比如畫面細節(jié)增加、色彩增強、圖像去噪矢量化，以及剛剛推出的成像質(zhì)量提升等。</p> <p class="ql-block ql-indent-1">概念型LoRA，則用于展現(xiàn)特定的圖像風格或畫面元素，其涵蓋范圍極其廣泛，包括對成像工具的模擬，例如傳統(tǒng)繪畫中常見的水墨、水彩、水粉、素描、彩鉛、油彩等，</p> <p class="ql-block">現(xiàn)代成像手段中的光學拍攝、數(shù)碼拍攝，以及各類濾鏡和后期；</p> <p class="ql-block">還包括對特定風格的模擬，大到寫實風、CG風、3D風、國風、美漫風、日漫風，小到賽博朋克風、機械風、武俠風、手辦風、像素風，還有什么漫威影視風、宮崎駿動畫風、暗黑游戲風、小紅書純欲自拍風……等等等等，不一而足。</p> <p class="ql-block ql-indent-1">最后是對象型LoRA，這里的對象可以理解為對成像內(nèi)容的框定，如畫面主體、背景設置、特定元素，在此基礎(chǔ)上又可以細分為人物系、動物系、事物系、風景系、建筑系、抽象系等等，說是包羅萬象也并不夸張。</p> <p class="ql-block ql-indent-1">對象型LoRA下面還有一個重要分支，那就是角色型LoRA。角色的概念并不僅限于人，所有對目標個體的特指都適用于此類LoRA，無論對方是一個人、一只貓、一輛車還是一件衣服，也無論它是否存在于這個世界，只要它有明確的特征，我們就可以嘗試對它進行還原。</p> <p class="ql-block">而這種還原又可以搭配不同底模以及其它類型的LoRA，產(chǎn)生各種各樣的組合效果。</p> <p class="ql-block ql-indent-1">想要實現(xiàn)這些神奇的效果，就需要熟練運用LoRA模型，這也是每一位AI法師的必修課。現(xiàn)在，屏幕前的你是不是已經(jīng)躍躍欲試了呢？那就讓我們一起來看看LoRA模型的安裝和調(diào)用方法吧。</p><p class="ql-block ql-indent-1">LoRA模型的大小一般不超過300Mb，大多數(shù)只有數(shù)十Mb或更小，后綴名一般也是.safetensors，在SD-webUI中的存放和使用則要比checkpoint模型略微復雜一些，一般可以分為以下兩種情況。<span style="color:rgb(237, 35, 8);">（沒有本地部署SD的小伙伴可以直接跳轉(zhuǎn)到云端部分）</span></p> <p class="ql-block ql-indent-1">第一種是將模型文件存放至SD安裝目錄下的models\Lora文件夾，然后從webUI的模型選擇面板找到需要的LoRA模型，單擊鼠標左鍵完成加載。<span style="color:rgb(237, 35, 8);">注意這里所說的模型選擇面板并非我們上節(jié)課中選擇checkpoint模型的那個下拉選框</span>，而是提示詞輸入?yún)^(qū)下方這個以預覽圖形式展示了所有已安裝模型的區(qū)域，<span style="color:rgb(1, 1, 1);">需要點擊下圖中這個</span><span style="color:rgb(237, 35, 8);">紅色按鍵</span><span style="color:rgb(1, 1, 1);">才能看到此界面</span>，也可以再次點擊這個按鍵將其關(guān)閉。</p> <p class="ql-block ql-indent-1">從這里加載的LoRA會以prompt（提示詞）形式呈現(xiàn)在提示詞輸入?yún)^(qū)，格式為<lora:模型文件名:1>。</p> <p class="ql-block ql-indent-1">第二種方式是通過webUI中的附加網(wǎng)絡控件來調(diào)用LoRA，采用這種方式時，LoRA文件的默認存放路徑為SD安裝目錄下的extensions\sd-webui-additional-networks\models\lora，<span style="color:rgb(237, 35, 8);">但我們可以通過在webUI的附加網(wǎng)絡設置中將附加存放路徑設為.\models\lora，以實現(xiàn)兩種調(diào)用方式的文件路徑統(tǒng)一</span>。</p> <p class="ql-block">文件放置妥當后，就可以從下方的Additional Networks（附加網(wǎng)絡）控件區(qū)域以下拉選框的方式調(diào)用LoRA模型了，別忘了點啟用呦。</p> <p class="ql-block ql-indent-1">有別于checkpoint，在SD中，<span style="color:rgb(237, 35, 8);">我們可以同時加載多個不同的LoRA，并且為每一個模型單獨設置權(quán)重</span>。權(quán)重的概念有些類似調(diào)料濃度，如果味道太重（LoRA效果過強導致畫面割裂提示詞失效）就應當減少用量（降低權(quán)重），味道太淡（LoRA無效果或效果不明顯）則應增加用量（提高權(quán)重）。</p> <p class="ql-block ql-indent-1">與調(diào)用方法相對應，調(diào)節(jié)LoRA權(quán)重的方式也有兩種。如果你將LoRA加載到了提示詞輸入?yún)^(qū)，那么修改權(quán)重的方式就是對<lora:模型文件名:1>最后的這個數(shù)字1進行修改，它就是權(quán)重值，默認為1，功能型LoRA一般可以保持1或根據(jù)需要使用更大的數(shù)值；概念型和對象型LoRA則大多在0.6-0.8的權(quán)重范圍內(nèi)較容易取得理想效果；同時使用多個LoRA的情況下，可以考慮進一步降低權(quán)重以防止模型污染。</p> <p class="ql-block ql-indent-1">如果是通過附加網(wǎng)絡模塊來調(diào)用LoRA，則可以在Additional Networks參數(shù)面板右側(cè)的權(quán)重欄中直接輸入權(quán)重值。可以看到面板右上方還有一個復選框，這是附加網(wǎng)絡模塊獨有的參數(shù)調(diào)節(jié)方式，支持為每個LoRA獨立設置UNet權(quán)重和Text Encoder權(quán)重，這兩個概念以后有機會做煉丹教程的話會講到，在實際操作中，<span style="color:rgb(237, 35, 8);">一般情況下是不需要打開這個選項的</span>。</p> <p class="ql-block ql-indent-1">當然，使用云端SD工具的小伙伴就無需為安裝路徑之類的問題煩惱，只關(guān)注LoRA的選擇和調(diào)用就可以了。無論是C站、煉丹閣之類的模型分享網(wǎng)站，還是吐司、哩布哩布AI這樣的云端SD，一般都會在模型展示區(qū)對模型類型做出明確標注，大家平時遇到喜歡的模型可以隨手點個收藏方便日后調(diào)用。</p> <p class="ql-block ql-indent-1">這里就還是以之前分享過的兩個工具為例做一個簡單說明。哩布哩布AI對前文所述的兩種調(diào)用方式進行了整合，讓用戶可以在模型加載界面直接選擇多個LoRA，</p> <p class="ql-block">并支持在模型預覽圖下方直接修改相應的LoRA權(quán)重，十分方便；</p> <p class="ql-block ql-indent-1">吐司則是在基礎(chǔ)模型選區(qū)下方單獨設置了一個“添加LoRA(風格)”的按鍵，點擊該按鍵后會彈出LoRA模型的分類列表，點選自己需要的模型即可。</p> <p class="ql-block">調(diào)節(jié)LoRA權(quán)重的方式也大同小異。</p> <p class="ql-block ql-indent-1">相對于checkpoint模型，LoRA模型的訓練對設備和訓練集的要求都要低的多，非常適合社區(qū)用戶和個人開發(fā)者，也由此誕生了一個AI法師的進階職業(yè)——丹師，也就是自主訓練模型的人，畢竟誰不想把自己或者家人朋友送到AI的世界里搞點事情呢？</p> <p class="ql-block ql-indent-1">某些修圖軟件上提供的AI寫真AI證件照之類的服務，實際上就是把用戶提供的照片煉成丹…哦不，是訓練成LoRA來生圖再返還給用戶，但那種未經(jīng)處理的素材加上大白菜丹方練出來的效果（如下圖）…怎么說呢，咱還是別扔錢了吧。</p> <p class="ql-block ql-indent-1">葫蘆叔本人也是一名致力于尋仙問藥（收集素材調(diào)整參數(shù)）的丹師，這些教程也大都是在煉丹（模型訓練）的等待過程中編寫的，也算是對自己這段時間學習的一個總結(jié)吧。</p><p class="ql-block ql-indent-1">那么本期就講到這里，這期內(nèi)容比較多也比較重要，雖然看起來紛繁復雜但實際操作一下就會發(fā)現(xiàn)其實并不難上手，至于如何搭配才能取得理想的成像效果，還得靠列位道友自己不斷嘗試反復摸索才是。</p><p class="ql-block ql-indent-1">下一期，我也會結(jié)合之前幾期的教學內(nèi)容幫助大家整理出圖思路，順帶對一些常規(guī)參數(shù)做個說明，再會嘍～</p>