Do not index
Do not index
canonical-url
Publish
Publish
Lightricks, el creador de aplicaciones detrás de LTX Studio, Facetune y Videoleap, acaba de presentar su primer modelo de generación de vídeo basado en IA: LTX Video 0.9.
El modelo es de código abierto y la empresa afirma que es capaz de generar cinco segundos de vídeo con IA en solo cuatro segundos 😮.
LTX Video Innovación
LTX Video se considera un «generador de vídeo en tiempo real» que se diseñó a partir de los comentarios de los usuarios de LTX Studio, una plataforma que permite crear un proyecto de varios clips a partir de una sola indicación.
Velocidad de generación inigualable
LTXV puede generar un vídeo de 5 segundos en sólo 4 segundos, con una resolución de 768x512 y 24 fotogramas por segundo. Este extraordinario rendimiento se consigue utilizando sólo 20 pasos de difusión.
Este resultado se ha conseguido utilizando una GPU Nvidia H100 y una resolución de 768 x 512. El modelo funcionará con una Nvidia RTX 4090 estándar, pero tardará algo más de cuatro segundos en crear el vídeo.
Arquitectura optimizada
El modelo utiliza una arquitectura de transformador de difusión (DiT) con sólo 2.000 millones de parámetros. Está optimizado para ejecutarse de forma eficiente en GPU de consumo como la RTX 4090, utilizando precisión bfloat16 para una gestión óptima de la memoria.
Puntos fuertes de LTXV
- Genera 121 imágenes por secuencia de 5 segundos
- Eliminación de los problemas habituales de morphing de objetos
- Excelente coherencia de movimiento
Visión Open Source
Zeev Farbman, CEO de Lightricks, subraya la importancia del enfoque de código abierto: «En un contexto en el que muchas tecnologías de IA se están convirtiendo en propietarias, creemos que ha llegado el momento de contar con un modelo de vídeo de código abierto sobre el que investigadores y desarrolladores puedan construir en todo el mundo y ayudar a definir el futuro de la IA de vídeo».
Al elegir el código abierto, Lightricks da prioridad a la adopción y la innovación, no a la monetización. Quieren fomentar un ecosistema colaborativo, con un planteamiento similar al del modelo Llama for languages de Meta.
Poder ejecutar un modelo de este tipo en un PC es un gran paso adelante para la IA de vídeo y nos lleva a un punto en el que podría integrarse en juegos o herramientas de edición de vídeo para renderizar y previsualizar en tiempo real».
Yaron Inger, CTO de Lightricks, cree que la capacidad de generar vídeos más rápido que su tiempo de reproducción abre el camino a nuevas aplicaciones en juegos, compras interactivas y aprendizaje.
Está claro que este nuevo modelo podría redefinir los estándares de la creación de vídeo asistida por IA.
¿Cómo se utiliza LTX Video?
LTXV en ComfyUI
LTXV ya está disponible e integrado en ComfyUI con funcionalidades específicas
- Nuevo nodo «LTXVideo
- Creación de vídeo a partir de un texto o una imagen.
- Interfaz de usuario optimizada accesible a través de ComfyUI Manager
Mientras esperamos un tutorial completo, aquí tienes los pasos a seguir para instalar y usar LTX Video en ComfyUI :
- Actualiza comfyUI a la última versión.
- Descarga ltx-video-2b-v0.9.safetensors en la carpeta
models/checkpoints.
- Asegúrate de que t5xxl_fp16 ya está en tu carpeta
models/clip(y si no, descárgalo allí).
- Descarga el flujo de trabajo desde la página de ejemplos de ComfyUI LTX
LTXV en línea
También se puede acceder a LTXV a través de fal.ai, que ofrece generación de vídeo a partir de un texto o a partir de una imagen.
Written by
