現(xiàn)部署實(shí)戰(zhàn)：Conda 環(huán)境、Docker、預(yù)訓(xùn)練權(quán)重下載與交互式 GAN 圖像編輯運(yùn)行指南)
DragGAN 官方實(shí)現(xiàn)部署實(shí)戰(zhàn)Conda 環(huán)境、Docker、預(yù)訓(xùn)練權(quán)重下載與交互式 GAN 圖像編輯運(yùn)行指南【免費(fèi)下載鏈接】DragGANOfficial Code for DragGAN (SIGGRAPH 2023)項(xiàng)目地址: https://gitcode.com/GitHub_Trending/dr/DragGANDragGANDrag Your GANSIGGRAPH 2023的官方代碼實(shí)現(xiàn)了一套基于點(diǎn)的交互操作技術(shù)用戶在 GAN 生成圖像上拖拽控制點(diǎn)模型會(huì)在保持圖像處于生成流形generative image manifold上的同時(shí)讓對(duì)應(yīng)區(qū)域跟隨指針移動(dòng)。本文基于當(dāng)前倉(cāng)庫(kù)的 README 及配套腳本、配置文件與源碼完整覆蓋從環(huán)境安裝、Docker 部署、預(yù)訓(xùn)練 StyleGAN2 權(quán)重下載到本地 GUI 與 Gradio 網(wǎng)頁(yè)可視化器運(yùn)行的全部流程并補(bǔ)充說(shuō)明各腳本參數(shù)與底層實(shí)現(xiàn)幫助讀者獨(dú)立完成部署并擴(kuò)展到其他 StyleGAN 模型。1. 項(xiàng)目背景與定位本項(xiàng)目是論文Drag Your GAN: Interactive Point-based Manipulation on the Generative Image ManifoldACM SIGGRAPH 2023 Conference Proceedings的官方實(shí)現(xiàn)作者為 Xingang Pan、Ayush Tewari、Thomas Leimkühler、Lingjie Liu、Abhimitra Meka、Christian TheobaltMax Planck Institute for Informatics 等。從倉(cāng)庫(kù)結(jié)構(gòu)看項(xiàng)目由三類(lèi)核心部分組成交互式可視化器桌面端 GUI 入口 visualizer_drag.py 與網(wǎng)頁(yè)端 Gradio 入口 visualizer_drag_gradio.py二者共用渲染與水印邏輯viz/renderer.pyStyleGAN 訓(xùn)練/推理基礎(chǔ)設(shè)施倉(cāng)庫(kù)基于 NVIDIA 的 StyleGAN3 代碼庫(kù)開(kāi)發(fā)保留了 training/、dnnlib/ 與 torch_utils/ 等模塊StyleGAN-Human 擴(kuò)展代碼stylegan_human/ 目錄移植自 StyleGAN-Human 項(xiàng)目包含人體分割PP_HumanSeg、PTI 潛碼反演stylegan_human/run_pti.py等內(nèi)容供對(duì)真實(shí)人像圖像做編輯時(shí)使用。README 明確了許可證劃分DragGAN 算法相關(guān)代碼采用CC-BY-NC許可而所有來(lái)自 StyleGAN3 的代碼沿用NVIDIA Source Code License并且任何形式的使用與衍生版本都必須保留顯示 AI Generated 的水印功能。倉(cāng)庫(kù)內(nèi) LICENSE.txt 即為上述許可文本。2. 環(huán)境準(zhǔn)備RequirementsREADME 給出的安裝路徑分為CUDA GPU 機(jī)器與CPU / Apple SiliconM1/M2機(jī)器兩條分支。2.1 NVIDIA CUDA 機(jī)器Conda 一鍵創(chuàng)建conda env create -f environment.yml conda activate stylegan3隨后安裝額外 Python 依賴(lài)pip install -r requirements.txt對(duì)照 environment.yml 可以看到該環(huán)境的關(guān)鍵約束這些也是復(fù)現(xiàn)時(shí)的常見(jiàn)踩坑點(diǎn)依賴(lài)版本約束說(shuō)明python 3.8環(huán)境名固定為stylegan3pytorch 2.0.1來(lái)自pytorch通道cudatoolkit11.1注意不是 11.8/12.xCUDA 計(jì)算能力要求以 NVIDIA StyleGAN3 官方 requirements 為準(zhǔn)README 亦指明此點(diǎn)numpy / scipy 1.25 / 1.11.1—pillow9.4.0精確鎖定版本ninja1.10.2用于編譯torch_utils/ops中的 CUDA 擴(kuò)展如upfirdn2d、filtered_lrelu等.cu內(nèi)核imgui / glfw2.0.0 / 2.6.1桌面 GUI 可視化器的窗口與綁定gui_utils/glfw_window.py、gui_utils/imgui_window.pygradio3.35.2網(wǎng)頁(yè)可視化器框架pyopengl / imageio-ffmpeg3.1.5 / 0.4.3OpenGL 渲染與視頻導(dǎo)出pyspng使用pyspng-seunglab替代包注釋明確說(shuō)明 pyspng 在 MacOS 上存在問(wèn)題requirements.txt 則補(bǔ)充了huggingface_hub與hf_transferHugging Face 高速下載等運(yùn)行時(shí)依賴(lài)。2.2 CPU / Apple SiliconM1/M2機(jī)器剔除 CUDA 依賴(lài)README 給出的做法是先用grep從環(huán)境文件中過(guò)濾掉 NVIDIA/CUDA 相關(guān)條目再生成一份無(wú) CUDA 的環(huán)境文件cat environment.yml | \ grep -v -E nvidia|cuda environment-no-nvidia.yml \ conda env create -f environment-no-nvidia.yml conda activate stylegan3 # On MacOS export PYTORCH_ENABLE_MPS_FALLBACK1其中export PYTORCH_ENABLE_MPS_FALLBACK1用于讓 PyTorch 在 Apple MetalMPS后端缺失某些算子時(shí)回退到 CPU是 M 系列芯片上運(yùn)行 StyleGAN 推理的必要設(shè)置。由于桌面 GUI 還依賴(lài) GLFW/OpenGLCPU/Mac 環(huán)境更適合直接運(yùn)行下一節(jié)的 Gradio 或 Docker 方案。3. 在 Docker 中運(yùn)行 Gradio 可視化器README 提供了一條最省事的體驗(yàn)路徑基于 NGC PyTorch 倉(cāng)庫(kù)的 Docker 鏡像。# before you build the docker container, make sure you have cloned this repo, # and downloaded the pretrained model by python scripts/download_model.py. docker build . -t draggan:latest docker run -p 7860:7860 -v $PWD:/workspace/src -it draggan:latest bash # (Use GPU) 如需用 NVIDIA GPU 加速請(qǐng)追加 --gpus all # docker run --gpus all -p 7860:7860 -v $PWD:/workspace/src -it draggan:latest bash cd src python visualizer_drag_gradio.py --listen運(yùn)行后終端會(huì)打印 Gradio 的共享鏈接瀏覽器打開(kāi)即可操作。README 特別提醒該 Docker 鏡像約占用 25 GB 磁盤(pán)空間。對(duì)照 Dockerfile 可以理解鏡像的構(gòu)成基礎(chǔ)鏡像為nvcr.io/nvidia/pytorch:23.05-py3即 NGC PyTorch 2023.05Python 3 系列預(yù)置 CUDA 與 PyTorchapt-get安裝了一組 X11/GL 開(kāi)發(fā)庫(kù)xorg-dev、libgl1-mesa-dev、libxrandr-dev、libxi-dev等這些是為 imgui/GLFW 桌面窗口編譯運(yùn)行準(zhǔn)備的系統(tǒng)依賴(lài)隨后pip install -r requirements.txt安裝 Python 依賴(lài)工作目錄設(shè)為/workspace并通過(guò)ENTRYPOINT /entry.sh透?jìng)鲉?dòng)命令因此docker run ... bash進(jìn)入容器后cd src python visualizer_drag_gradio.py --listen才能訪問(wèn)掛載到/workspace/src的倉(cāng)庫(kù)代碼。-p 7860:7860對(duì)應(yīng) Gradio 默認(rèn)端口--listen參數(shù)在 visualizer_drag_gradio.py 中定義為“以0.0.0.0作為服務(wù)名啟動(dòng)從而響應(yīng)來(lái)自網(wǎng)絡(luò)容器外部的請(qǐng)求”這正是容器內(nèi)必須帶該參數(shù)才能從宿主機(jī)訪問(wèn)的原因。4. 下載預(yù)訓(xùn)練 StyleGAN2 權(quán)重在構(gòu)建 Docker 鏡像或本地運(yùn)行之前需要先準(zhǔn)備模型權(quán)重python scripts/download_model.py該腳本scripts/download_model.py的工作機(jī)制值得了解它讀取同目錄的 scripts/download_models.json一個(gè) URL → 本地文件名的映射把文件下載到checkpoints/目錄若本地文件已存在且大小與遠(yuǎn)端content-length一致則跳過(guò)大小不一致則重新下載并用tqdm顯示進(jìn)度條、下載完成后校驗(yàn)完整性。從download_models.json可以看到腳本覆蓋的 8 個(gè)官方權(quán)重本地文件名對(duì)應(yīng)數(shù)據(jù)集stylegan2_lions_512_pytorch.pklLions 512stylegan2_dogs_1024_pytorch.pklDogs 1024stylegan2_horses_256_pytorch.pklHorses 256stylegan2_elephants_512_pytorch.pklElephants 512stylegan2-ffhq-512x512.pklFFHQ 人臉 512stylegan2-afhqcat-512x512.pklAFHQ Cat 512stylegan2-car-config-f.pkl汽車(chē)stylegan2-cat-config-f.pkl貓兩個(gè)注意事項(xiàng)額外數(shù)據(jù)集需手動(dòng)下載。若要體驗(yàn)StyleGAN-Human人體圖像和Landscapes HQ (LHQ)數(shù)據(jù)集README 要求從 Google Drive 對(duì)應(yīng)鏈接下載權(quán)重并放入./checkpoints目錄——這兩者不在download_model.py的自動(dòng)清單里但后續(xù) GUI 啟動(dòng)腳本會(huì)把它們一并加載見(jiàn)第 5 節(jié)可以替換為任意其他預(yù)訓(xùn)練 StyleGAN 權(quán)重。README 明確寫(xiě)道 Feel free to try other pretrained StyleGAN只要模型為 StyleGAN2/StyleGAN3 的.pkl格式且能被dnnlib加載即可。5. 運(yùn)行 DragGAN 桌面 GUI5.1 啟動(dòng)命令Linux/macOSsh scripts/gui.shWindows.\scripts\gui.bat對(duì)比 scripts/gui.sh 與 scripts/gui.bat 的內(nèi)容可知二者本質(zhì)相同——都是調(diào)用python visualizer_drag.py并把 10 個(gè)預(yù)訓(xùn)練權(quán)重作為位置參數(shù)傳入checkpoints/stylegan2_lions_512_pytorch.pkl checkpoints/stylegan2-ffhq-512x512.pkl checkpoints/stylegan2-afhqcat-512x512.pkl checkpoints/stylegan2-car-config-f.pkl checkpoints/stylegan2_dogs_1024_pytorch.pkl checkpoints/stylegan2_horses_256_pytorch.pkl checkpoints/stylegan2-cat-config-f.pkl checkpoints/stylegan2_elephants_512_pytorch.pkl checkpoints/stylegan_human_v2_512.pkl checkpoints/stylegan2-lhq-256x256.pkl這也解釋了第 4 節(jié)中手動(dòng)下載 StyleGAN-Human 與 LHQ 權(quán)重并放入./checkpoints的必要性gui.sh/gui.bat會(huì)引用這兩個(gè)文件若缺失對(duì)應(yīng)模型將無(wú)法加載。5.2 GUI 的源碼結(jié)構(gòu)從 visualizer_drag.py 的Visualizer類(lèi)可以看出 GUI 的組織方式它繼承自imgui_window.ImguiWindow窗口標(biāo)題為 DragGAN初始尺寸 3840×2160內(nèi)部組合了四個(gè) Widget 組件PickleWidgetviz/pickle_widget.py加載/切換.pkl模型權(quán)重LatentWidgetviz/latent_widget.py選擇潛碼隨機(jī)生成或載入DragWidgetviz/drag_widget.py設(shè)置點(diǎn)操控的拖拽目標(biāo)與交互CaptureWidgetviz/capture_widget.py保存編輯結(jié)果。渲染由AsyncRenderer異步執(zhí)行self._async_renderer拖拽操作即在生成圖像流形上按點(diǎn)約束求解潛碼的可視化結(jié)果渲染模塊 viz/renderer.py 中的add_watermark_np對(duì)應(yīng)許可證條款中必須保留 AI Generated 水印的要求。5.3 編輯真實(shí)圖像先做 GAN 反演README 指出GUI 默認(rèn)編輯的是GAN 生成的圖像若要編輯真實(shí)照片需要先用PTIProgressive Trilinear Interpolation等工具完成 GAN 反演把真實(shí)圖像映射回潛空間再把反演得到的潛碼與新權(quán)重加載進(jìn) GUI。本倉(cāng)庫(kù)的 stylegan_human/run_pti.py 及 stylegan_human/pti/ 目錄含 E4E/PSp 編碼器與 StyleGAN2 投影器正是配套的反演基礎(chǔ)設(shè)施。6. 運(yùn)行 DragGAN Gradio 網(wǎng)頁(yè)演示桌面 GUI 之外README 提供了一個(gè)跨平臺(tái)Windows/Linux 通用的網(wǎng)頁(yè)方案python visualizer_drag_gradio.py從 visualizer_drag_gradio.py 的參數(shù)定義可確認(rèn)其命令行接口參數(shù)默認(rèn)值作用--share開(kāi)啟源碼中defaultTrue生成 Gradio 公共共享鏈接README 中打開(kāi)終端打印出的 shared link即由此而來(lái)--cache-dir./checkpoints預(yù)訓(xùn)練權(quán)重緩存目錄與第 4 節(jié)的下載目錄一致--listen關(guān)閉以0.0.0.0啟動(dòng)響應(yīng)網(wǎng)絡(luò)請(qǐng)求Docker 場(chǎng)景必須見(jiàn)第 3 節(jié)從源碼結(jié)構(gòu)看該入口把桌面版的功能搬到了網(wǎng)頁(yè)狀態(tài)機(jī)中clear_state()負(fù)責(zé)清空global_state中的points點(diǎn)操控歷史與mask區(qū)域遮罩重置為全 1 矩陣等編輯狀態(tài)工具函數(shù)集中在 gradio_utils/ImageMask、draw_points_on_image、get_latest_points_pair等用于在瀏覽器側(cè)渲染控制點(diǎn)與遮罩。需要注意源碼中推理設(shè)備寫(xiě)死為device cuda即 Gradio 路徑預(yù)期在有 NVIDIA GPU 的環(huán)境本地 CUDA 環(huán)境或第 3 節(jié)的 Docker 鏡像下運(yùn)行。7. 致謝、許可與引用致謝本代碼基于 NVIDIA 的 StyleGAN3 開(kāi)發(fā)部分代碼取自 StyleGAN-Human 項(xiàng)目對(duì)應(yīng)倉(cāng)庫(kù)內(nèi)的 stylegan_human/ 目錄。許可DragGAN 算法代碼為 CC-BY-NC源自 StyleGAN3 的代碼為 NVIDIA Source Code License任何使用與衍生版本必須保留 AI Generated 水印功能。引用如需在論文或文章中引用本項(xiàng)目README 給出的 BibTeX 為inproceedings{pan2023draggan, title{Drag Your GAN: Interactive Point-based Manipulation on the Generative Image Manifold}, author{Pan, Xingang and Tewari, Ayush, and Leimk{\u}hler, Thomas and Liu, Lingjie and Meka, Abhimitra and Theobalt, Christian}, booktitle {ACM SIGGRAPH 2023 Conference Proceedings}, year{2023} }8. 小結(jié)一條完整的部署路徑綜合以上各節(jié)在當(dāng)前倉(cāng)庫(kù)中跑起 DragGAN 的標(biāo)準(zhǔn)路徑是conda env create -f environment.yml conda activate stylegan3 pip install -r requirements.txtMac/CPU 機(jī)器按第 2.2 節(jié)剔除 CUDA 依賴(lài)并設(shè)置PYTORCH_ENABLE_MPS_FALLBACK1python scripts/download_model.py下載 8 個(gè)官方 StyleGAN2 權(quán)重到checkpoints/StyleGAN-Human 與 LHQ 權(quán)重手動(dòng)下載放入同目錄GPU 桌面環(huán)境執(zhí)行sh scripts/gui.shWindows 為scripts/gui.bat或直接python visualizer_drag_gradio.py無(wú)本地 GPU 環(huán)境時(shí)用docker build . -t draggan:latestdocker run --gpus all -p 7860:7860 -v $PWD:/workspace/src -it draggan:latest bash容器內(nèi)執(zhí)行cd src python visualizer_drag_gradio.py --listen打開(kāi)共享鏈接。編輯真實(shí)照片時(shí)先用倉(cāng)庫(kù)自帶的 PTI 工具鏈stylegan_human/run_pti.py完成 GAN 反演再加載潛碼與權(quán)重進(jìn)入 GUI 即可。所有涉及的腳本與配置均可在倉(cāng)庫(kù)中直接查閱scripts/download_model.py、scripts/download_models.json、scripts/gui.sh、Dockerfile、environment.yml、visualizer_drag.py 與 visualizer_drag_gradio.py?！久赓M(fèi)下載鏈接】DragGANOfficial Code for DragGAN (SIGGRAPH 2023)項(xiàng)目地址: https://gitcode.com/GitHub_Trending/dr/DragGAN創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考 DragGAN 官方實(shí)現(xiàn)部署實(shí)戰(zhàn)：Conda 環(huán)境、Docker、預(yù)訓(xùn)練權(quán)重下載與交互式 GAN 圖像編輯運(yùn)行指南
DragGAN 官方實(shí)現(xiàn)部署實(shí)戰(zhàn)Conda 環(huán)境、Docker、預(yù)訓(xùn)練權(quán)重下載與交互式 GAN 圖像編輯運(yùn)行指南【免費(fèi)下載鏈接】DragGANOfficial Code for DragGAN (SIGGRAPH 2023)項(xiàng)目地址: https://gitcode.com/GitHub_Trending/dr/DragGANDragGANDrag Your GANSIGGRAPH 2023的官方代碼實(shí)現(xiàn)了一套基于點(diǎn)的交互操作技術(shù)用戶在 GAN 生成圖像上拖拽控制點(diǎn)模型會(huì)在保持圖像處于生成流形generative image manifold上的同時(shí)讓對(duì)應(yīng)區(qū)域跟隨指針移動(dòng)。本文基于當(dāng)前倉(cāng)庫(kù)的 README 及配套腳本、配置文件與源碼完整覆蓋從環(huán)境安裝、Docker 部署、預(yù)訓(xùn)練 StyleGAN2 權(quán)重下載到本地 GUI 與 Gradio 網(wǎng)頁(yè)可視化器運(yùn)行的全部流程并補(bǔ)充說(shuō)明各腳本參數(shù)與底層實(shí)現(xiàn)幫助讀者獨(dú)立完成部署并擴(kuò)展到其他 StyleGAN 模型。1. 項(xiàng)目背景與定位本項(xiàng)目是論文Drag Your GAN: Interactive Point-based Manipulation on the Generative Image ManifoldACM SIGGRAPH 2023 Conference Proceedings的官方實(shí)現(xiàn)作者為 Xingang Pan、Ayush Tewari、Thomas Leimkühler、Lingjie Liu、Abhimitra Meka、Christian TheobaltMax Planck Institute for Informatics 等。從倉(cāng)庫(kù)結(jié)構(gòu)看項(xiàng)目由三類(lèi)核心部分組成交互式可視化器桌面端 GUI 入口 visualizer_drag.py 與網(wǎng)頁(yè)端 Gradio 入口 visualizer_drag_gradio.py二者共用渲染與水印邏輯viz/renderer.pyStyleGAN 訓(xùn)練/推理基礎(chǔ)設(shè)施倉(cāng)庫(kù)基于 NVIDIA 的 StyleGAN3 代碼庫(kù)開(kāi)發(fā)保留了 training/、dnnlib/ 與 torch_utils/ 等模塊StyleGAN-Human 擴(kuò)展代碼stylegan_human/ 目錄移植自 StyleGAN-Human 項(xiàng)目包含人體分割PP_HumanSeg、PTI 潛碼反演stylegan_human/run_pti.py等內(nèi)容供對(duì)真實(shí)人像圖像做編輯時(shí)使用。README 明確了許可證劃分DragGAN 算法相關(guān)代碼采用CC-BY-NC許可而所有來(lái)自 StyleGAN3 的代碼沿用NVIDIA Source Code License并且任何形式的使用與衍生版本都必須保留顯示 AI Generated 的水印功能。倉(cāng)庫(kù)內(nèi) LICENSE.txt 即為上述許可文本。2. 環(huán)境準(zhǔn)備RequirementsREADME 給出的安裝路徑分為CUDA GPU 機(jī)器與CPU / Apple SiliconM1/M2機(jī)器兩條分支。2.1 NVIDIA CUDA 機(jī)器Conda 一鍵創(chuàng)建conda env create -f environment.yml conda activate stylegan3隨后安裝額外 Python 依賴(lài)pip install -r requirements.txt對(duì)照 environment.yml 可以看到該環(huán)境的關(guān)鍵約束這些也是復(fù)現(xiàn)時(shí)的常見(jiàn)踩坑點(diǎn)依賴(lài)版本約束說(shuō)明python 3.8環(huán)境名固定為stylegan3pytorch 2.0.1來(lái)自pytorch通道cudatoolkit11.1注意不是 11.8/12.xCUDA 計(jì)算能力要求以 NVIDIA StyleGAN3 官方 requirements 為準(zhǔn)README 亦指明此點(diǎn)numpy / scipy 1.25 / 1.11.1—pillow9.4.0精確鎖定版本ninja1.10.2用于編譯torch_utils/ops中的 CUDA 擴(kuò)展如upfirdn2d、filtered_lrelu等.cu內(nèi)核imgui / glfw2.0.0 / 2.6.1桌面 GUI 可視化器的窗口與綁定gui_utils/glfw_window.py、gui_utils/imgui_window.pygradio3.35.2網(wǎng)頁(yè)可視化器框架pyopengl / imageio-ffmpeg3.1.5 / 0.4.3OpenGL 渲染與視頻導(dǎo)出pyspng使用pyspng-seunglab替代包注釋明確說(shuō)明 pyspng 在 MacOS 上存在問(wèn)題requirements.txt 則補(bǔ)充了huggingface_hub與hf_transferHugging Face 高速下載等運(yùn)行時(shí)依賴(lài)。2.2 CPU / Apple SiliconM1/M2機(jī)器剔除 CUDA 依賴(lài)README 給出的做法是先用grep從環(huán)境文件中過(guò)濾掉 NVIDIA/CUDA 相關(guān)條目再生成一份無(wú) CUDA 的環(huán)境文件cat environment.yml | \ grep -v -E nvidia|cuda environment-no-nvidia.yml \ conda env create -f environment-no-nvidia.yml conda activate stylegan3 # On MacOS export PYTORCH_ENABLE_MPS_FALLBACK1其中export PYTORCH_ENABLE_MPS_FALLBACK1用于讓 PyTorch 在 Apple MetalMPS后端缺失某些算子時(shí)回退到 CPU是 M 系列芯片上運(yùn)行 StyleGAN 推理的必要設(shè)置。由于桌面 GUI 還依賴(lài) GLFW/OpenGLCPU/Mac 環(huán)境更適合直接運(yùn)行下一節(jié)的 Gradio 或 Docker 方案。3. 在 Docker 中運(yùn)行 Gradio 可視化器README 提供了一條最省事的體驗(yàn)路徑基于 NGC PyTorch 倉(cāng)庫(kù)的 Docker 鏡像。# before you build the docker container, make sure you have cloned this repo, # and downloaded the pretrained model by python scripts/download_model.py. docker build . -t draggan:latest docker run -p 7860:7860 -v $PWD:/workspace/src -it draggan:latest bash # (Use GPU) 如需用 NVIDIA GPU 加速請(qǐng)追加 --gpus all # docker run --gpus all -p 7860:7860 -v $PWD:/workspace/src -it draggan:latest bash cd src python visualizer_drag_gradio.py --listen運(yùn)行后終端會(huì)打印 Gradio 的共享鏈接瀏覽器打開(kāi)即可操作。README 特別提醒該 Docker 鏡像約占用 25 GB 磁盤(pán)空間。對(duì)照 Dockerfile 可以理解鏡像的構(gòu)成基礎(chǔ)鏡像為nvcr.io/nvidia/pytorch:23.05-py3即 NGC PyTorch 2023.05Python 3 系列預(yù)置 CUDA 與 PyTorchapt-get安裝了一組 X11/GL 開(kāi)發(fā)庫(kù)xorg-dev、libgl1-mesa-dev、libxrandr-dev、libxi-dev等這些是為 imgui/GLFW 桌面窗口編譯運(yùn)行準(zhǔn)備的系統(tǒng)依賴(lài)隨后pip install -r requirements.txt安裝 Python 依賴(lài)工作目錄設(shè)為/workspace并通過(guò)ENTRYPOINT /entry.sh透?jìng)鲉?dòng)命令因此docker run ... bash進(jìn)入容器后cd src python visualizer_drag_gradio.py --listen才能訪問(wèn)掛載到/workspace/src的倉(cāng)庫(kù)代碼。-p 7860:7860對(duì)應(yīng) Gradio 默認(rèn)端口--listen參數(shù)在 visualizer_drag_gradio.py 中定義為“以0.0.0.0作為服務(wù)名啟動(dòng)從而響應(yīng)來(lái)自網(wǎng)絡(luò)容器外部的請(qǐng)求”這正是容器內(nèi)必須帶該參數(shù)才能從宿主機(jī)訪問(wèn)的原因。4. 下載預(yù)訓(xùn)練 StyleGAN2 權(quán)重在構(gòu)建 Docker 鏡像或本地運(yùn)行之前需要先準(zhǔn)備模型權(quán)重python scripts/download_model.py該腳本scripts/download_model.py的工作機(jī)制值得了解它讀取同目錄的 scripts/download_models.json一個(gè) URL → 本地文件名的映射把文件下載到checkpoints/目錄若本地文件已存在且大小與遠(yuǎn)端content-length一致則跳過(guò)大小不一致則重新下載并用tqdm顯示進(jìn)度條、下載完成后校驗(yàn)完整性。從download_models.json可以看到腳本覆蓋的 8 個(gè)官方權(quán)重本地文件名對(duì)應(yīng)數(shù)據(jù)集stylegan2_lions_512_pytorch.pklLions 512stylegan2_dogs_1024_pytorch.pklDogs 1024stylegan2_horses_256_pytorch.pklHorses 256stylegan2_elephants_512_pytorch.pklElephants 512stylegan2-ffhq-512x512.pklFFHQ 人臉 512stylegan2-afhqcat-512x512.pklAFHQ Cat 512stylegan2-car-config-f.pkl汽車(chē)stylegan2-cat-config-f.pkl貓兩個(gè)注意事項(xiàng)額外數(shù)據(jù)集需手動(dòng)下載。若要體驗(yàn)StyleGAN-Human人體圖像和Landscapes HQ (LHQ)數(shù)據(jù)集README 要求從 Google Drive 對(duì)應(yīng)鏈接下載權(quán)重并放入./checkpoints目錄——這兩者不在download_model.py的自動(dòng)清單里但后續(xù) GUI 啟動(dòng)腳本會(huì)把它們一并加載見(jiàn)第 5 節(jié)可以替換為任意其他預(yù)訓(xùn)練 StyleGAN 權(quán)重。README 明確寫(xiě)道 Feel free to try other pretrained StyleGAN只要模型為 StyleGAN2/StyleGAN3 的.pkl格式且能被dnnlib加載即可。5. 運(yùn)行 DragGAN 桌面 GUI5.1 啟動(dòng)命令Linux/macOSsh scripts/gui.shWindows.\scripts\gui.bat對(duì)比 scripts/gui.sh 與 scripts/gui.bat 的內(nèi)容可知二者本質(zhì)相同——都是調(diào)用python visualizer_drag.py并把 10 個(gè)預(yù)訓(xùn)練權(quán)重作為位置參數(shù)傳入checkpoints/stylegan2_lions_512_pytorch.pkl checkpoints/stylegan2-ffhq-512x512.pkl checkpoints/stylegan2-afhqcat-512x512.pkl checkpoints/stylegan2-car-config-f.pkl checkpoints/stylegan2_dogs_1024_pytorch.pkl checkpoints/stylegan2_horses_256_pytorch.pkl checkpoints/stylegan2-cat-config-f.pkl checkpoints/stylegan2_elephants_512_pytorch.pkl checkpoints/stylegan_human_v2_512.pkl checkpoints/stylegan2-lhq-256x256.pkl這也解釋了第 4 節(jié)中手動(dòng)下載 StyleGAN-Human 與 LHQ 權(quán)重并放入./checkpoints的必要性gui.sh/gui.bat會(huì)引用這兩個(gè)文件若缺失對(duì)應(yīng)模型將無(wú)法加載。5.2 GUI 的源碼結(jié)構(gòu)從 visualizer_drag.py 的Visualizer類(lèi)可以看出 GUI 的組織方式它繼承自imgui_window.ImguiWindow窗口標(biāo)題為 DragGAN初始尺寸 3840×2160內(nèi)部組合了四個(gè) Widget 組件PickleWidgetviz/pickle_widget.py加載/切換.pkl模型權(quán)重LatentWidgetviz/latent_widget.py選擇潛碼隨機(jī)生成或載入DragWidgetviz/drag_widget.py設(shè)置點(diǎn)操控的拖拽目標(biāo)與交互CaptureWidgetviz/capture_widget.py保存編輯結(jié)果。渲染由AsyncRenderer異步執(zhí)行self._async_renderer拖拽操作即在生成圖像流形上按點(diǎn)約束求解潛碼的可視化結(jié)果渲染模塊 viz/renderer.py 中的add_watermark_np對(duì)應(yīng)許可證條款中必須保留 AI Generated 水印的要求。5.3 編輯真實(shí)圖像先做 GAN 反演README 指出GUI 默認(rèn)編輯的是GAN 生成的圖像若要編輯真實(shí)照片需要先用PTIProgressive Trilinear Interpolation等工具完成 GAN 反演把真實(shí)圖像映射回潛空間再把反演得到的潛碼與新權(quán)重加載進(jìn) GUI。本倉(cāng)庫(kù)的 stylegan_human/run_pti.py 及 stylegan_human/pti/ 目錄含 E4E/PSp 編碼器與 StyleGAN2 投影器正是配套的反演基礎(chǔ)設(shè)施。6. 運(yùn)行 DragGAN Gradio 網(wǎng)頁(yè)演示桌面 GUI 之外README 提供了一個(gè)跨平臺(tái)Windows/Linux 通用的網(wǎng)頁(yè)方案python visualizer_drag_gradio.py從 visualizer_drag_gradio.py 的參數(shù)定義可確認(rèn)其命令行接口參數(shù)默認(rèn)值作用--share開(kāi)啟源碼中defaultTrue生成 Gradio 公共共享鏈接README 中打開(kāi)終端打印出的 shared link即由此而來(lái)--cache-dir./checkpoints預(yù)訓(xùn)練權(quán)重緩存目錄與第 4 節(jié)的下載目錄一致--listen關(guān)閉以0.0.0.0啟動(dòng)響應(yīng)網(wǎng)絡(luò)請(qǐng)求Docker 場(chǎng)景必須見(jiàn)第 3 節(jié)從源碼結(jié)構(gòu)看該入口把桌面版的功能搬到了網(wǎng)頁(yè)狀態(tài)機(jī)中clear_state()負(fù)責(zé)清空global_state中的points點(diǎn)操控歷史與mask區(qū)域遮罩重置為全 1 矩陣等編輯狀態(tài)工具函數(shù)集中在 gradio_utils/ImageMask、draw_points_on_image、get_latest_points_pair等用于在瀏覽器側(cè)渲染控制點(diǎn)與遮罩。需要注意源碼中推理設(shè)備寫(xiě)死為device cuda即 Gradio 路徑預(yù)期在有 NVIDIA GPU 的環(huán)境本地 CUDA 環(huán)境或第 3 節(jié)的 Docker 鏡像下運(yùn)行。7. 致謝、許可與引用致謝本代碼基于 NVIDIA 的 StyleGAN3 開(kāi)發(fā)部分代碼取自 StyleGAN-Human 項(xiàng)目對(duì)應(yīng)倉(cāng)庫(kù)內(nèi)的 stylegan_human/ 目錄。許可DragGAN 算法代碼為 CC-BY-NC源自 StyleGAN3 的代碼為 NVIDIA Source Code License任何使用與衍生版本必須保留 AI Generated 水印功能。引用如需在論文或文章中引用本項(xiàng)目README 給出的 BibTeX 為inproceedings{pan2023draggan, title{Drag Your GAN: Interactive Point-based Manipulation on the Generative Image Manifold}, author{Pan, Xingang and Tewari, Ayush, and Leimk{\u}hler, Thomas and Liu, Lingjie and Meka, Abhimitra and Theobalt, Christian}, booktitle {ACM SIGGRAPH 2023 Conference Proceedings}, year{2023} }8. 小結(jié)一條完整的部署路徑綜合以上各節(jié)在當(dāng)前倉(cāng)庫(kù)中跑起 DragGAN 的標(biāo)準(zhǔn)路徑是conda env create -f environment.yml conda activate stylegan3 pip install -r requirements.txtMac/CPU 機(jī)器按第 2.2 節(jié)剔除 CUDA 依賴(lài)并設(shè)置PYTORCH_ENABLE_MPS_FALLBACK1python scripts/download_model.py下載 8 個(gè)官方 StyleGAN2 權(quán)重到checkpoints/StyleGAN-Human 與 LHQ 權(quán)重手動(dòng)下載放入同目錄GPU 桌面環(huán)境執(zhí)行sh scripts/gui.shWindows 為scripts/gui.bat或直接python visualizer_drag_gradio.py無(wú)本地 GPU 環(huán)境時(shí)用docker build . -t draggan:latestdocker run --gpus all -p 7860:7860 -v $PWD:/workspace/src -it draggan:latest bash容器內(nèi)執(zhí)行cd src python visualizer_drag_gradio.py --listen打開(kāi)共享鏈接。編輯真實(shí)照片時(shí)先用倉(cāng)庫(kù)自帶的 PTI 工具鏈stylegan_human/run_pti.py完成 GAN 反演再加載潛碼與權(quán)重進(jìn)入 GUI 即可。所有涉及的腳本與配置均可在倉(cāng)庫(kù)中直接查閱scripts/download_model.py、scripts/download_models.json、scripts/gui.sh、Dockerfile、environment.yml、visualizer_drag.py 與 visualizer_drag_gradio.py?！久赓M(fèi)下載鏈接】DragGANOfficial Code for DragGAN (SIGGRAPH 2023)項(xiàng)目地址: https://gitcode.com/GitHub_Trending/dr/DragGAN創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考