Hvis du arbejder med VFX og er nysgerrig efter at tage dine generative billedworkflows til det næste niveau, er ComfyUI et must-have. Dens nodebaserede tilgang, modularitet og den kraft, som FLUX tilføjer Dette gør det til et ideelt miljø til at udforske alt fra high-fidelity text2img til komplekse pipelines med ControlNet, IP-Adapter eller LoRA-træning. ComfyUI til VFX: Installations- og FLUX-arbejdsgange forklaret.
I denne guide finder du på en organiseret måde alt, hvad du behøver: hvad en arbejdsgang er i ComfyUI, hvordan du gemmer og deler den, hvordan du installerer FLUX trin for trin, hvilken hardware du har brug for, og en klar forklaring af de mest anvendte flows (Txt2Img, Img2Img, Inpainting, LoRA, ControlNet, NF4, IPAdapter og latent skalering). Du vil også se alternativer som FP8, NF4 eller GGUF til at reducere VRAM.Ressourcer til brug af Flux i skyen og en Windows-optimeret ComfyUI-installation med praktiske tips.
Hvad er en arbejdsgang i ComfyUI?
En arbejdsgang er den visuelle repræsentation af den genereringsproces, du opbygger ved at forbinde noder. Du kan forestille dig det som et Lego-lignende bræt af brikkerHver node udfører en funktion (indlæsning af modeller, kodning af tekst, sampling, afkodning osv.), og forbindelserne beskriver den sti, som informationen følger, indtil det endelige billede er opnået.
Økosystemet er enormt: stillbilleder, video, lyd og endda 3D De sameksisterer takket være open source-fællesskabet. Ulempen er, at der er en læringskurve, fordi det er vigtigt at forstå, hvad hver komponent gør, og hvordan man kombinerer dem effektivt for at undgå flaskehalse eller inkonsistente resultater.
For at komme hurtigt i gang er det bedst at se på officielle og grundlæggende flows (text2img og img2img) og derefter gå videre til mere komplekse noder. Community-dokumentation og officielle ComfyUI-eksempler De opdateres ofte, så det er nemt at genoptage eller gennemgå arbejdsgange, der ændrer sig med nye versioner.
En vigtig detalje: ComfyUI kan integrere arbejdsgangen i selve det endelige billede (PNG) som metadata. Dette giver dig mulighed for kun at dele billedet og hente hele grafen. trække den tilbage til brugerfladen.
Sådan lærer du og udvikler dig med arbejdsgange
Mit råd er at starte med simple eksempler offentliggjort i wiki-lignende ressourcer og fællesskabsgallerier. En logisk progression er: Txt2Img, Img2Img og derefter ControlNet eller LoRAEfterhånden som du forstår input, output og hvordan planlæggere påvirker sampling, vil det blive naturligt at inkorporere vejledningsnoder, masker og yderligere betingelser.
Hvis du vil se forskellige topologier, findes der arkiver med offentlige flows og sider med reproducerbare eksempler, hvor du kan downloade billeder med metadata eller .json-filer. Det er god praksis at importere, køre som den er, og derefter iterere gennem parametre at forstå virkningen af hver blok uden at ødelægge helheden.
På cloudplatforme finder du også prækonfigurerede miljøer til at køre pipelines uden at kæmpe med lokale afhængigheder. Fordelen er, at de forudindlæser tunge noder og modellerDet er dog tilrådeligt at tjekke tilgængelige versioner og VRAM for at sikre, at resultaterne lever op til forventningerne.
Gemme, importere og eksportere arbejdsgange i ComfyUI
ComfyUI understøtter to primære lagringsmetoder: billede med metadata (PNG) eller JSON-fil af grafen. Den første er den mest bekvemme til deling i fora; den anden giver dig eksplicit kontrol over filen, hvilket er nyttigt til versionsstyring.
For at importere skal du blot trække PNG- eller Json-filen til brugerfladen eller bruge genvejen Ctrl (Command) + O. For at eksportere kan du gemme det genererede billede eller bruge menuen Eksporter til JSON-filen.Vær forsigtig, hvis du komprimerer eller overfører billeder: Nogle komprimeringsmetoder og bestemte kanaler fjerner metadata, hvilket kan medføre, at du mister den integrerede arbejdsgang.
På grund af den konstante udvikling af ComfyUI, Ikke alle ældre JSON-filer fungerer i nyere versioner.Hvis noget går galt, skal du åbne flowet, udskifte forældede noder eller geninstallere afhængigheder med deres kompatible version; brug af ComfyUI-Manager gør det meget hurtigere at opdage og løse manglende komponenter.
FLUX i ComfyUI: hvad det er, og hvorfor det er vigtigt
FLUX.1 er en familie af modeller fra Black Forest Labs med fokus på konvertering af tekst til billede med høj kvalitet. Dens hybridarkitektur med cirka 12 milliarder parametre Den er optimeret til hurtig overholdelse, håndtering af komplekse scener og generering af læselig tekst i billedet, en opgave hvor andre modeller ofte vakler.
En anden fordel: dens alsidighed. Fra fotorealisme til kunstneriske stilarterFLUX.1 skiller sig ud for sin visuelle konsistens og detaljer, inklusive gengivelsen af hænder, et klassisk svagt punkt i generativ grafik. Det er ikke overraskende, at den sammenlignes med løsninger som Stable Diffusion eller Midjourney og kommer i top med hensyn til brugervenlighed og kvalitet.
Black Forest Labs blev grundlagt af Robin Rombach, en nøglefigur i kernen af Stability AI. Hvis du vil se nærmere på det, dens officielle hjemmeside er på blackforestlabs.ai.
FLUX.1 distribueres i tre varianter: Pro, Udvikler og HurtigPro tilbyder den højeste kvalitet til professionelle miljøer; Dev er designet til ikke-kommerciel brug med en fremragende balance; Schnell fokuserer på hastighed og lethed og er open source under Apache 2.0-licensen.
Hardwarekrav efter FLUX-version
Til FLUX.1 Pro anbefales det NVIDIA RTX 4090-type GPU med 24 GB VRAM32 GB RAM og en hurtig SSD. Den bruger FP16 for at undgå problemer med udpakning, og det er bedst at bruge tekstkoderen i FP16 for maksimal kvalitet.
I FLUX.1 Dev, en RTX 3080/3090 med 16 GB VRAM Den fungerer godt med 16 GB RAM og omkring 25 GB diskplads. Den understøtter FP16 og endda FP8 i nogle tilfælde, afhængigt af din GPU.
For FLUX.1 Schnell, RTX 3060/4060 med 12 GB VRAM 8 GB RAM og 15 GB lagerplads er tilstrækkeligt. Den er designet til hastighed, hvilket giver afkald på noget af den ydeevne, der er lavere end i Pro/Dev-versionerne.
Hvis du har lidt hukommelse, tilbyder fællesskabet alternativer som FP8, NF4 eller GGUF, der De reducerer den nødvendige VRAM betydeligt, med konfigurationer fra 6 til 12 GB afhængigt af flowet.
Installation af FLUX på ComfyUI: vigtige trin
Først og fremmest skal du sørge for at bruge den seneste version af ComfyUIFLUX-integrationer kræver noder og funktioner, der opdateres ofte.
Download tekst- og CLIP-encoderne: clip_l.safetensors og en af T5 XXL-filerne, enten t5xxl_fp16.safetensors (hvis du har masser af VRAM/RAM) eller t5xxl_fp8_e4m3fn.safetensors (hvis du har et strammere budget). Placer dem i mappen ComfyUI/models/clip/. Hvis du brugte SD3 Medium, har du muligvis allerede disse filer..
VAE: download ae.safetensors og flyt den til ComfyUI/models/vae/. Omdøb den til flux_ae.safetensors, hvis du vil finde den nemmere. Denne VAE forbedrer den endelige afkodning og det er nøglen til kvalitet.
UNET: vælg mellem flux1-dev.safetensors eller flux1-schnell.safetensors efter din hukommelse, og placer den i ComfyUI/models/unet/. Med dette har du fundamentet til at køre FLUX flows. lokalt.
En praktisk guide til FLUX-arbejdsgange i ComfyUI
Txt2Img med FLUX
Start med at indlæse komponenterne: UNETLoader, DualCLIPLoader og VAELoaderCLIPTextEncode-noden koder din prompt; EmptyLatentImage opretter det indledende latente billede; BasicGuider styrer processen ved at kombinere betinget logik med FLUX's UNET.
Vælg sampler med KSamplerSelectDen genererer støj med RandomNoise og definerer sigma-rampen med BasicScheduler. SamplerCustomAdvanced forener alt: støj, guide, sampler, sigmaer og latent. Endelig konverterer VAEDecode det latente signal til et billede. og med SaveImage gemmer du resultatet.
Img2Img med FLUX
Pipelinen tilføjer et startbillede: IndlæsBillede + Billedskala Størrelsen justeres, og VAEEncode sætter den til latent. Prompten kodes med CLIPTextEncode, og dens styrke justeres med FluxGuidance. ModelSamplingFlux styrer ændring af afstand og dimensionerKSamplerSelect, RandomNoise og BasicScheduler håndterer samplingen. SamplerCustomAdvanced fletter betingelsen med det latente input, og VAEDecode producerer outputtet.
LoRA med FLUX
For at forfine stil eller funktioner, tilføj LoraLoaderModelOnly sammen med UNETLoader, DualCLIPLoader og VAELoader. Efter at have kodet teksten og anvendt FluxGuidance, opretter du det latente billede med EmptyLatentImage, definerer sampling med ModelSamplingFlux og kører SamplerCustomAdvanced. Med VAEDecode får du billedet, der allerede er påvirket af LoRATypisk eksempel: realism_lora.safetensors på flux1-dev.
ControlNet med FLUX
To meget nyttige tilfælde for VFX: dybde og skarpe kanter. For dybde, forbehandl med MiDaS-dybdekortforprocessorIndlæs dybdekontrolnettet og anvend det med ApplyFluxControlNet. Brug XlabsSampler til at generere den betingede latente bølgeform, og derefter VAEDecode producerer billedet.
For Canny, brug CannyEdge-forbehandlingsprogram, indlæs Canny ControlNet og gentag skemaet: ApplyFluxControlNet → XlabsSampler → VAEDecode. Denne ekstra kontrol giver præcision over form og komposition..
Indmaling med FLUX
Indlæs UNET, VAE og CLIP, og forbered positive og negative prompts. LoadAndResizeImage viser billedet og maskenOvergangen udjævnes med ImpactGaussianBlurMask. InpaintModelConditioning kombinerer konditionering, billede og maske. Efter konfiguration af sampler, støj og sigmaer rekonstruerer SamplerCustomAdvanced det maskerede område. VAEDecode integrerer patchen konsekvent med resten.
FLUX NF4
Med NF4-kvantisering reduceres hukommelsen. Indlæs komponenter med CheckpointLoaderNF4 og definerer højde/bredde med primitive noder. ModelSamplingFlux sætter parametre; EmptySD3LatentImage opretter det latente billede; BasicScheduler og RandomNoise organiserer støjreduktionen. SamplerCustomAdvanced genererer det latente signal, og VAEDecode oversætter det til et billede.Til skalering gør UltimateSDUpscale, sammen med UpscaleModelLoader og en ekstra positiv prompt, hele forskellen.
IP-adapter med FLUX
Når du vil betinge ved hjælp af et referencebillede, skal du bruge LoadFluxIPAdapter og ApplyFluxIPAdapter sammen med clip_vision_l.safetensors. Skaler referencebilledet med ImageScale, forbered prompts, og kør XlabsSampler. Med VAEDecode kan du se outputtet påvirket af æstetik eller funktioner. fra guidebilledet.
LoRA-træner til FLUX
For at træne en LoRA direkte i ComfyUI inkluderer arbejdsgangen: FluxTrainModelSelect, OptimizerConfig og TrainDatasetGeneralConfigInitFluxLoRATraining initialiserer, FluxTrainLoop udfører trin, og FluxTrainValidate genererer periodiske valideringer.
Med VisualizeLoss sporer du tabet; ImageBatchMulti og ImageConcatFromBatch De grupperer valideringer; FluxTrainSave gemmer checkpoints, og FluxTrainEnd lukker processen. Hvis du vil, kan du uploade resultatet til Hugging Face med UploadToHuggingFace og dele det.
Flux Latent Opskalering
For at skalere i detaljer, definer størrelsen med SDXL Tom Latent Størrelsesvælger+ og kæder LatentUpscale og LatentCrop sammen. Med masker skabt af SolidMask og FeatherMask blander LatentCompositeMasked det skalerede latente med originalen. InjectLatentNoise+ forbedrer detaljerne før VAEDecodeOg en finjustering med ImageSmartSharpen+ fuldender processen. Beregningsnoder som SimpleMath+ hjælper med at justere proportioner.
Alternative versioner: FP8, NF4 og GGUF for at sænke VRAM
Hvis du mangler ressourcer, har du muligheder. FP8-tjekpunkterne fra Comfy.org og forfattere som Kijai. tillader dig at bruge FLUX med en enkelt fil i ComfyUI/models/checkpoints/. Det anbefales at omdøbe eller opdele i mapper for at skelne mellem dev- og schnell-varianter.
Med NF4 (bitsandbytes), installer plugin'et ComfyUI_bitsandbytes_NF4 og brug flux1-dev-bnb-nf4-v2 i modeller/kontrolpunkter. Denne version forbedrer detaljerne sammenlignet med den første iteration.
City96's GGUF-kvantisering, sammen med plugin'et ComfyUI-GGUFsænker barren yderligere: Download FLUX GGUF-modellen, t5-v1_1-xxl-encoder-gguf-encoderenFilerne `clip_l.safetensors` og `ae.safetensors` skal placeres i deres respektive mapper. Der er praktiske anvendelsesmuligheder med 6 GB VRAM.
Brug af FLUX.1 i skyen og andre ressourcer
Hvis du foretrækker ikke at installere noget, kan du prøve FLUX i Kramende ansigtsrum: FLUX.1-dev y FLUX.1-schnell. Også i Repliker, Mystic.ai o fal.ai. Disse er nyttige muligheder til validering af prompter og konfigurationer før du downloader lokale modeller.
For inspiration og færdige arbejdsgange, se Officielle eksempler på ComfyUI og workflowgallerier som f.eks. OpenArt. Husk at mange billeder indeholder metadataså du kan trække dem ind i ComfyUI for at hente grafen.
Mere materiale: samlinger af LoRA til FLUX som RealismeLora eller samlinger i XLabs-AIControlNet til FLUX som kollektioner y Union; IP-adapter en XLabs-AIFor at træne LoRA med lav VRAM, prøv fluxgym eller Replicate-træneren fra Ostris; Der er en DreamBooth-guide til FLUX.1-udvikler i diffusorernes lager.
Installer ComfyUI på Windows 11 med solid ydeevne
Hvis du ønsker en ren installation, er dette en gennemprøvet metode. Det fungerer rigtig godt med NVIDIA 40/50-serien af kort og det hjælper dig med at undgå typiske fejl.
1) Installer NVIDIA-appen og Studio-driveren fra nvidia.comGenstart. 2) CUDA-værktøjskasse fra udvikler.nvidia.com (valgfrit, men nyttigt for at undgå advarsler med Triton, hvis du ikke bruger venv). 3) ffmpeg Fra BtbN-arkivet skal du tilføje C:\ffmpeg\bin til stien. 4) Git til Windows fra git-scm.com5) Python 3.12 x64 fra python.org, med py-starter for alle brugere og tilføj til miljøvariabler.
5.5) Hvis du vælger venv, skal du oprette den med python -m venv CUVenv og aktiver den med CUVenv\Scripts\activate.bat. Derfra skal du køre alle relevante pip- eller git-kommandoer i venv. Dit opstartsscript kan aktivere miljøet og køre ComfyUI i ét stræk.
6) Klon ComfyUI med git klon https://github.com/comfyanonymous/ComfyUI.git D:\CU7) Gå til D:\CU og kør pip install -r requirements.txt. 8) Hvis pip advarer om scripts uden for stien, skal du tilføje Python Scripts-stien til systemvariablerne og genstarte. 9) Installer PyTorch CUDA 12.8 Installer torch ved hjælp af `pip install torchvision torchaudio --index-url https://download.pytorch.org/whl/cu128`. Hvis noget virker forkert, skal du afinstallere torch og geninstallere det ved hjælp af den samme kommando.
9 bis) Start ComfyUI med python main.py og åbn 127.0.0.1:8188. 10) Installer Triton til Windows med pip install -U triton-windows. 11) Sæt fart på opmærksomheden med Sage Attention 2.2: Download det kompatible hjul CU128/Torch2.8 til CP312, installer det med pip og start ComfyUI med flaget –use-sage-attention.
12) Installer ComfyUI-Manager: Kør i ComfyUI/custom_nodes git klon https://github.com/ltdrdata/ComfyUI-Manager comfyui-manager13) Opret en boot .bat-fil med linjerne: cd D:\CU og python main.py –use-sage-attention. Ved opstart vil Manager tage lidt tid første gang.; kontroller at fanen Manager vises i brugergrænsefladen.
14) Placer skabelonerne i de korrekte mapper (checkpoints, clip, unet, vae) og åbn dine flows. Hvis en arbejdsgang bringer sin egen Sage-node, kan du udelade den, hvis du allerede starter med flaget.Tips: Undgå at have ressourcekrævende programmer åbne, konfigurer Windows' virtuelle hukommelse, hvis du er ved at løbe tør for hukommelse, og tjek diskussioner om ydeevne i ComfyUI-arkivet. Hvis du modtager hukommelsesadvarsler, bør du overveje at bruge FP8-varianten med én fil.
Hvis du foretrækker en manual, der kan downloades, er der en nyttig PDF på dette link. Nogle vejledninger er blevet revideret for at forenkle installationen og foreslå venvNår du bruger venv, skal du huske altid at køre pip og git i miljøet.
Brugstips, kompatibilitet og bedste praksis
Importer flows ved at trække PNG'er med metadata eller JSON, og tjek nodeversioner med Manager. Undgå komprimering, der sletter metadata, når du deler billeder.Hvis en JSON-fil går i stykker i en ny version, skal forældede noder udskiftes eller kompatible versioner installeres.
Der er rapporter om højt strømforbrug i nyere ComfyUI-builds for at arbejde med flere FLUX LoRA'er; Test GGUF eller specifikke læssere For at minimere VRAM. Start med depth eller Canny i ControlNet for at etablere en stabil compositing-rig.
Når du implementerer i skyen, skal du kontrollere VRAM- og udførelseskøerne. Lokalt gør en hurtig SSD og opdaterede drivere hele forskellen.Dokumentér din pipeline efter sektioner: modelindlæsning, konditionering, sampling, afkodning og efterbehandling. Dette vil gøre fejlfinding nemmere, når noget går i stykker.
Med alt ovenstående kan du nu opbygge en virkelig robust VFX-pipeline med ComfyUI: Forstår du, hvad en arbejdsgang er, og hvordan man gemmer den uden at miste metadata?Du kan installere FLUX og dens varianter (Dev, Schnell og FP8, NF4, GGUF-muligheder), du ved, hvordan du kører de vigtigste arbejdsgange i den daglige praksis (Txt2Img, Img2Img, Inpainting, ControlNet, LoRA, IPAdapter og Upscale), og du har en optimeret Windows-installation med Triton, Sage Attention og ComfyUI-Manager for at holde systemet i orden, stabilt og hurtigt.