LTX by Lightricks

LTX-2 — это открытая, следующая генерация мультимодального AI-модели, разработанная для видео с синхронизированным аудио и созданием изображений, представляющая собой комплексное решение для творческих процессов. Она может работать на потребительских GPU и объединяет высококачественную визуализацию, согласованный звук и многофункциональные режимы производительности в одной платформе. LTX-2 способна генерировать, улучшать и перерабатывать визуальные материалы более эффективно. В отличие от большинства моделей, она рассматривает звук и визуализацию в едином производственном процессе для синхронизированного движения, диалогов, атмосферы и музыки. Модель разработана для работы с реальными производственными процессами, напрямую соединяясь с монтажными студиями, инструментами для вещания, игровыми движками и VFX-пайплайнами. Она поддерживает как быстрые предварительные просмотры, так и готовые к доставке 4K-выходы. Модель предоставляет творческий контроль через текстовые, визуальные, глубинные и видео-референсные входы, а также предлагает многоключевую настройку, 3D-логику камеры и варианты тонкой настройки. Как открытый инструмент, LTX-2 позволяет исследователям, предприятиям и независимым создателям настраивать модель под свои нужды. Ее области применения включают постпродакшн, препродакшн, анимацию, восстановление и другие, предлагая решения для автоматизации отслеживания движения, ротоскопирования, замены фонов и других задач, тем самым сокращая время и затраты на производство при сохранении качества. В будущих релизах будет предоставлен открытый доступ к весам модели и коду обучения. Ее гибкость и возможности настройки делают ее идеальной для студий, исследовательских команд и независимых разработчиков.