Netflix veröffentlicht VOID: Open-Source-KI entfernt Objekte aus Videos inklusive physikalischer Effekte
Netflix hat VOID (Video Object and Interaction Deletion) als Open-Source veröffentlicht – ein KI-Framework, das Objekte aus Videos entfernt und dabei physikalische Kollisionseffekte im Restbild anpasst. Basis: CogVideoX, Gemini 3 Pro und Metas SAM2. Apache-2.0-Lizenz.
Netflix VOID: KI-gestützte Videobearbeitung mit physikalischer Konsistenz
Netflix hat gemeinsam mit der Universität INSAIT Sofia das Framework VOID (Video Object and Interaction Deletion) als Open Source veröffentlicht. Das System entfernt Objekte aus Videos und berücksichtigt dabei auch physikalische Wechselwirkungen – wenn ein entferntes Objekt mit einem anderen kollidiert hätte, korrigiert VOID auch den Bewegungsablauf des verbleibenden Objekts.
Die technische Pipeline kombiniert mehrere Modelle: Googles Gemini 3 Pro analysiert die Szene und identifiziert betroffene Bereiche, Metas SAM2 segmentiert die zu entfernenden Objekte pixelgenau, und Alibabas Video-Diffusionsmodell CogVideoX – feinabgestimmt auf synthetische Daten aus Googles Kubric und Adobes HUMOTO – generiert das bereinigte Video. Ein optionaler zweiter Durchlauf nutzt optischen Fluss zur Korrektur von Formverzerrungen.
Code, Paper und eine interaktive Demo sind unter Apache-2.0-Lizenz auf GitHub, arXiv und Hugging Face verfügbar. Die kommerzielle Nutzung ist damit explizit erlaubt.
Quelle: The Decoder