VOCAVID

STEP-BY-STEP GUIDE

Vom ersten Upload
bis zum finalen Film.

Diese Anleitung führt durch einen vollständigen VocaVid-Durchlauf. Die Reihenfolge ist bewusst praktisch: erst Struktur und Timing, dann Look und Bewegung, anschließend Schnitt und Reels.

Vor dem ersten Projekt

VocaVid läuft lokal auf Python 3.11 oder neuer. Zusätzlich werden eine laufende ComfyUI-Instanz, passende Workflow-Dateien und ffmpeg benötigt. Für Whisper und die Generierung empfiehlt sich eine CUDA-fähige GPU.

Tipp: Erst ComfyUI starten und prüfen, ob die benötigten Modelle und Custom Nodes in den Workflows verfügbar sind. Dann VocaVid mit python -m VocaVid serve starten und unter http://127.0.0.1:8000 öffnen.

1. Neues Projekt anlegen

  1. „New Project“ öffnenAuf dem Dashboard ein neues Musikvideo-Projekt anlegen.
  2. Projekt benennenEin klarer Titel hilft später beim Finden von Kdenlive-Datei, MP4 und Reel-Exports.
  3. Grundformat festlegenAuflösung, FPS und Transition Handles passend zum gewünschten Endformat wählen.

2. Werte und Ausgangsmaterial füllen

  1. WAV und Lyrics hochladenDie WAV-Datei ist die zeitliche Grundlage. Die Lyrics im SUNO-Stil mit Abschnittsmarkern wie [Verse], [Chorus] oder [Bridge] ergänzen.
  2. Stil definierenGenre, Bildsprache, Stimmung und wiederkehrende Motive beschreiben. Das ist die kreative Leitplanke für Scene Plan und Prompts.
  3. Referenzen setzenWenn Figuren oder ein wiederkehrender Look wichtig sind, passende Referenzbilder ergänzen. Avatar-Defaults können global vorbereitet und pro Projekt angepasst werden.
  4. Segmentgrößen wählenFür Verse und Refrains getrennt festlegen, wie viele Lyrics-Zeilen in einer Szene zusammenkommen sollen.

3. Automatisch segmentieren — und bei Bedarf korrigieren

  1. „Analyze + Split“ startenVocaVid richtet die Lyrics mit Whisper am Song aus und baut daraus die ersten Rendersegmente.
  2. Timing prüfenZeilen mit niedriger Transkriptionssicherheit gezielt ansehen. Wenn Whisper nicht sauber genug liegt, nutzt VocaVid einen nachvollziehbaren Timing-Fallback.
  3. Manuell nachziehenIm erweiterten Tabellenmodus Start- und Endzeit einer Zeile korrigieren, Zeilen anders gruppieren oder Segmente anpassen.
  4. Instrumentals bewusst setzenFür Intro, Break oder Übergang im manuellen Timing-Editor einen Interlude anlegen. Diese Passagen werden zu eigenen, renderbaren Szenen.

Erst Timing und Segmentierung sauber machen. Jede spätere Szene, jeder Clip und der finale Schnitt orientiert sich daran.

4. Scene Plan und Prompts

  1. Scene Plan erzeugenMit „Scene Plan“ entsteht der rote Faden über den ganzen Song. Bei längeren Songs übernimmt VocaVid Kontext zwischen den Batches.
  2. Plan redigierenWiederkehrende Orte, Figuren, Farben und symbolische Motive festziehen, bevor Bilder erzeugt werden.
  3. Bild-Prompts generierenFür die gewählten Segmente Image Prompts erzeugen. Einzelne Prompts dürfen und sollen bei Bedarf manuell geschärft werden.
  4. Motion Prompts generierenDanach Image-to-Video-Prompts erzeugen: Kamerabewegung, Tempo, Aktion und die gewünschte Energie der Szene.

5. Bilder, Avatare und Clips

  1. Bilder generierenDie Basisbilder für die ausgewählten Storyboard-Karten erzeugen und in der Vorschau vergleichen.
  2. Avatare nur dort erzeugen, wo sie tragenTypisch sind Refrains, Hooks oder wiederkehrende Auftritte. Avatar-Varianten helfen, die gleiche Figur über mehrere Szenen konsistent zu halten.
  3. Bildquelle wählenPro Segment entscheiden, ob der Clip vom Basisbild oder von der Avatar-Variante ausgehen soll.
  4. Clips generierenDie ausgewählten Szenen als Video rendern. Der globale Render-Queue bleibt dabei sichtbar.
  5. Prüfen und schützenGute Videos mit OK markieren. Geschützte Clips werden bei späteren Batch-Aktionen nicht überschrieben. Schwache Stellen gezielt erneut generieren.

6. Finalisieren, Kdenlive und MP4

  1. Storyboard vollständig durchgehenReihenfolge, Medienquelle, Timing und OK-Status ein letztes Mal prüfen.
  2. „Assemble Final“ ausführenVocaVid erstellt aus den freigegebenen Clips ein editierbares Kdenlive-Projekt mit Video- und Audiospuren sowie Übergängen.
  3. Kdenlive-Projekt öffnenFür den letzten Feinschnitt, eigene Titel, Farbkorrektur oder manuelle Übergänge steht die .kdenlive-Datei bereit.
  4. MP4 rendernMit „Render MP4“ den finalen Export erzeugen. Liegt bereits eine MP4 vor, öffnet VocaVid die Vorschau.

7. Reels aus dem fertigen Video

  1. „Make reels“ öffnenNach dem MP4-Export in den Reel-Workflow wechseln.
  2. Analyse startenWhisper-Ausrichtung und Beat-/Energie-Analyse schlagen vertikale, musikalisch interessante Ausschnitte vor.
  3. Kandidaten prüfenDie besten Stellen als Vorschau rendern und den Bildausschnitt sowie den gewählten Moment beurteilen.
  4. Finale Reels exportierenFreigegebene Kandidaten als vertikale Exporte ausgeben — bereit für Shorts, Reels oder TikTok.