Zoeken op website

LTX-2 Brengt Open-Source Audio-Visuele Generatie die Eindelijk Op Gelijksnelheid Komt met Sora en VEO

Het afgelopen jaar is videoproductie een van de meest veelbelovende toepassingen van AI-technologie geweest. Met de verspreiding van OpenAI’s Sora, Google’s VEO en Kling AI-video’s op sociale media, is AI-videoproductie tegenwoordig praktisch onvermijdelijk in het moderne online landschap. Dit heeft veel gevolgen op de lange termijn, maar het nut van deze technologie mag niet worden onderschat of genegeerd.

Open-source technologieën zijn echter al geruime tijd achtergebleven bij deze propriëtaire modellen. Hoewel ze video van hoge kwaliteit in verschillende stijlen konden genereren met een goede naleving van prompts, zoals bij Wan2.2, ontbrak het aan de gekoppelde audiogeneratie. Terwijl Wan’s Sound-to-Video-modellen een stap in de juiste richting zetten, was de moeilijkheidsgraad bij het gebruik van deze modellen gewoon te hoog om ze daadwerkelijk te kunnen gebruiken voor iets zoals contentcreatie. Deze grote beperking heeft deze open-source technologieën ervan weerhouden om een breder, niet-technisch publiek en de zakelijke wereld te bereiken.

Dat staat allemaal op het punt te veranderen met LTX-2. Een echte stap voorwaarts voor open-source videoproductie, LTX-2 is ongetwijfeld de krachtigste technologie voor videoproductie die ooit als open source is vrijgegeven. Simpel gezegd: „LTX-2 is een DiT-gebaseerd audio-video fundatiemodel dat is ontworpen om gesynchroniseerde video en audio binnen één enkel model te genereren.” Deze krachtige combinatie, samen met efficiënt modelontwerp waardoor het mogelijk is om op consumentengebaseerde GPU's te draaien, maakt LTX-2 tot een formidabel hulpmiddel voor het creëren van video.

In deze handleiding zullen we stap voor stap bekijken hoe LTX-2 werkt terwijl we de architecturale workflow verkennen, en daarna laten we zien hoe je LTX-2 kunt uitvoeren op Linux-Console.net Gradient met behulp van ComfyUI.

Belangrijkste punten

  • LTX-2 is een echte stap vooruit voor videoproductie en verenigt audio- en videomodellering in één enkele pijplijn
  • LTX-2 is eenvoudig te gebruiken op Gradient AI met NVIDIA GPU's
  • LTX-2 is nu gratis beschikbaar om te gebruiken op Hugging Face

LTX-2: Hoe het werkt

LTX-2 is een geïntegreerd video-audio generatiemodel. In de kern bestaat het uit een asymmetrische dual-stream transformer die individuele video- en audiostreams bevat, die gekoppeld zijn aan "bidirectionele audio-video cross-attentionlagen met temporele positionele embeddings en cross-modality AdaLN voor gedeelde tijdstapconditionering." (Bron). Deze unificatie maakt een efficiëntere generatie van beide streams mogelijk, met een grotere capaciteitstoewijzing voor videoproductie dan voor audioproductie.

We kunnen de architectuur van het model hierboven zien. In de praktijk worden ruwe video- en audiosignalen gecodeerd in modaliteit-specifieke latente tokens via causale VAE's, terwijl tekst wordt verwerkt via een verfijnde embeddings-pijplijn. Een dual-stream diffusie-transformer maakt vervolgens gezamenlijk de ruis uit de audio- en videolatenten, waarbij gebruik wordt gemaakt van bidirectionele audiovisuele cross-attentie en tekstconditionering om gesynchroniseerde audio-visuele output te genereren.

Om dit mogelijk te maken, heeft het Lightricks-team verschillende ontwikkelingen op het gebied van computer vision en audiogeneratietechnologie gemaakt. Opmerkelijk is dat het LTX-2-paper vier belangrijke bijdragen voor deze release vermeldt:

-Efficiënte Asymmetrische Dual-Stream Architectuur: het op transformers gebaseerde backbone met modaliteit-specifieke streams die verbonden zijn via bidirectionele cross-attentie en cross-modality AdaLN voor gedeelde timestep-conditionering.

  • Tekstverwerkingsblokken met denksymbolen: ze ontwikkelden ook een nieuw tekst-ontwikkelingsmodule die gebruikmaakt van multi-token voorspelling om begrip van prompts en semantische stabiliteit te verbeteren.
  • Compacte neurale audiorepresentatie: om audio te verwerken, hebben ze een efficiënte causale audio Variational AutoEncoder (VAE) ontwikkeld die een hoogwaardige, eendimensionale latente ruimte genereert, geoptimaliseerd voor training en inferentie op basis van diffusie.
  • Modality-Aware Classifier-Free Guidance: Een nieuw bimodaal configuratieschema dat onafhankelijke controle over crossmodale begeleidingsschalen mogelijk maakt, wat de audiovisuele afstemming aanzienlijk verbetert

Al met al vormen deze het meest efficiënte open-source videomodel dat beschikbaar is, dat video- en audiogeneratie combineert in één enkele pipeline.

Demo: LTX-2 met ComfyUI op GPU Droplet

Nu we hebben gekeken hoe het model werkt, kunnen we beginnen met de demo. Om te beginnen, log in op Linux-Console.net Gradient en maak een GPU Droplet aan. We raden een NVIDIA H100 of H200 GPU aan voor het draaien van LTX-2, maar het zou ook voldoende moeten werken op de NVIDIA A6000. Zodra je Droplet is opgestart, krijg je er toegang toe via SSH op de terminal van je lokale computer.

De GPU Droplet instellen

Volg de instructies in deze handleiding om je GPU Droplet op te zetten als je dit nog niet eerder hebt gedaan. Je gebruikt vervolgens SSH om toegang te krijgen tot de GPU Droplet op je lokale machine met VS Code of Cursor. Houd zowel het terminalvenster als het verbonden VS Code/Cursor-venster open voor later.

Het opzetten van ComfyUI & het downloaden van de modellen

Gebruik het terminalvenster dat verbonden is met de GPU Droplet en navigeer naar de map van uw keuze. Plak daar vervolgens de volgende code om ComfyUI op de GPU Droplet te installeren, de vereiste modellen voor LTX-2 te downloaden, en daarna ComfyUI uit te voeren en ermee te werken via VS Code/Cursor’s eenvoudige browser:

git clone https://github.com/Comfy-Org/ComfyUI
cd ComfyUI
python3 -m venv venv
source venv/bin/activate
pip install -r requirements.txt
cd models/text_encoders
wget https://huggingface.co/Comfy-Org/ltx-2/resolve/main/split_files/text_encoders/gemma_3_12B_it.safetensors
cd ../checkpoints
wget https://huggingface.co/Lightricks/LTX-2/resolve/main/ltx-2-19b-dev-fp8.safetensors
cd ../latent_upscale_models
wget https://huggingface.co/Lightricks/LTX-2/resolve/main/ltx-2-spatial-upscaler-x2-1.0.safetensors
cd ../loras
wget https://huggingface.co/Lightricks/LTX-2/resolve/main/ltx-2-19b-distilled-lora-384.safetensors
cd ../custom_nodes
git clone https://github.com/Lightricks/ComfyUI-LTXVideo
cd ComfyUI-LTXVideo/
pip install -r requirements.txt
cd ../..
python main.py

Zodra dit is voltooid, neem je de uitgevoerde URL (standaard is http://127.0.0.1:8188) en gebruik je de Simple Browser-functie van VS Code/Cursor om er toegang toe te krijgen in de browser van je lokale machine.

LTX-2 uitvoeren

Om nu de LTX-2 workflow uit te voeren, kunnen we naar de linkerkant van het venster navigeren om toegang te krijgen tot het sjabloonpictogram in de zijbalk. Klik erop en zoek vervolgens naar en selecteer het sjabloon "LTX-2 Text to Video". Hiermee is onze setup voltooid. Als we nu op uitvoeren klikken, krijgen we de standaardvideo van een pop die zingt over regen. We kunnen geen video delen op dit platform, maar hier is een gif van de video zonder geluid.

Vanaf hier kunnen we op het promptvenster klikken om de uitvoervideo te bewerken en ook de videogrootte/duur aan te passen. We raden aan om met al je ideeën te experimenteren. Het model is uitstekend in het creëren van video's met geluid, dus zorg ervoor dat je prompts opneemt met "geciteerde" spraak, geluidseffecten en muziek.

Voor het genereren van video’s vanuit afbeeldingen ga je terug naar het sjabloonselectiemenu en zoek je het sjabloon “LTX-2 Image to Video”. Je kunt vervolgens elke afbeelding die je hebt gemaakt of in het echte leven hebt genomen invoeren en deze animeren met een prompt. Bijvoorbeeld, we kunnen een stilstaande afbeelding van een strandscène laten veranderen in een volledige videoanimatie met brekende golven, roepende meeuwen en een winderig strand. Hier is een voorbeeld daarvan:

Uit onze experimenten blijkt duidelijk dat, althans voor deze eerste release van LTX-2, de tekst-naar-video mogelijkheden de beeld-naar-video mogelijkheden ver overstijgen. Dit is een beetje jammer, maar we verwachten dat dit in toekomstige iteraties van het model zal worden verbeterd, wat het LTX-2 team van Lightricks heeft beloofd.

Afsluitende Gedachten

LTX-2 is misschien wel het meest indrukwekkende model waarmee we in de videosfeer hebben kunnen experimenteren. Zelfs meer dan VEO-3 en Sora 2 zijn we onder de indruk van de snelheid en toegankelijkheid van het open-source model. We moedigen iedereen aan om dit model vandaag nog op Gradient uit te proberen!

Bedankt dat je samen met de Linux-Console.net-community hebt geleerd.