Table of Contents
- ¿Qué es el Inpainting?
- Los orígenes del Inpainting
- El Inpainting en la era de la IA
- ¿Cómo se utiliza el Inpainting?
- Interfaces de Inpaiting
- SDXL Inpainting Demo
- Inpainting con Fooocus
- Inpaiting con Automatic1111 o Forge
- Inpainting con ComfyUI
- Los principales ajustes del Inpaiting
- Fuerza del ruido
- Zona por (re)generar
- Contenido oculto
- ¿Cómo funciona el Inpainting?
- El Inpainting y el proceso de difusión
- Codificación y descodificación
- Pérdida de percepción
- Optimización y tratamiento posterior
- Ejemplos de aplicaciones Inpaiting
- Revivir el pasado en imágenes
- Arqueología y conservación
- Mejora visual
- Creación sin límites
- Magia en la pantalla
- Visualización vanguardista
.png?table=block&id=5ae59860-ab2b-4dc3-8fcc-9f6896ec64e4&cache=v2)
Do not index
Do not index
canonical-url
Publish
Publish
El inpainting es hoy una técnica esencial en el mundo de la inteligencia artificial (IA) y la generación de imágenes. Este método, que consiste en modificar o restaurar partes de imágenes utilizando el contexto circundante para generar los píxeles que faltan, facilita increíblemente la corrección de imperfecciones, la eliminación de elementos no deseados o el relleno creativo de espacios vacíos.
Es evidente que Stable Diffusion no se queda atrás en este aspecto. De hecho, el modelo de difusión de Stability AI no se limita a rellenar los píxeles que faltan, sino que interpreta el contexto y la composición de la imagen para producir resultados que parecen intencionados y armoniosos, como si hubieran formado parte de la imagen original desde el principio.
Esta guía del Inpainting con Stable Diffusion nos llevará a través de los fundamentos de esta técnica, explorando cómo funciona, qué la distingue de otros métodos de manipulación de imágenes y las muchas formas en que puede aplicarse para enriquecer la creación y la interacción con las imágenes digitales.
¿Qué es el Inpainting?
Utilizando el contexto que proporcionan las zonas intactas de la imagen, este método se basa en algoritmos avanzados para predecir y generar píxeles perdidos de forma coherente, con el objetivo de devolver la imagen a su estado original o modificar su contenido según las necesidades
Los orígenes del Inpainting
Esta técnica tiene sus raíces en la restauración de obras de arte, donde los conservadores utilizan diversos materiales para rellenar huecos en pinturas y esculturas dañadas. En el ámbito digital, el inpainting utiliza datos en lugar de materiales físicos, pero el objetivo sigue siendo el mismo: recrear las partes que faltan preservando la armonía del conjunto.
A diferencia de los métodos tradicionales de manipulación de imágenes, que pueden requerir una minuciosa intervención manual, el inpainting automatiza el proceso de reconstrucción y se distingue por su capacidad de comprender e interpretar el contexto visual circundante para producir resultados que se integran de forma natural en la imagen. Esta comprensión contextual significa que no sólo pueden repararse imágenes dañadas, sino que pueden eliminarse o modificarse elementos específicos, como objetos no deseados, sin dejar rastros evidentes de alteración.
El Inpainting en la era de la IA
El Inpainting puede lograrse utilizando diversos enfoques algorítmicos, desde técnicas basadas en la difusión, que propagan la información de las zonas intactas a las zonas que deben restaurarse, hasta métodos basados en el aprendizaje profundo, que aprenden de los ejemplos para predecir el contenido que falta.
Stable Diffusion, en particular, utiliza modelos de difusión condicional para ofrecer una flexibilidad y precisión notables en el proceso de inpainting, permitiendo a los usuarios especificar con detalle los cambios deseados mediante descripciones de texto (prompts).
Con la llegada de la IA generativa y los modelos de difusión, el inpainting se perfila como una técnica de manipulación de imágenes potente y versátil, que ofrece amplias posibilidades de restauración, modificación y creación de imágenes digitales. Su integración con Stable Diffusion supone un importante paso adelante, al poner estas sofisticadas capacidades al alcance de un amplio abanico de usuarios.
¿Cómo se utiliza el Inpainting?
Utilizar el Inpainting con Stable Diffusion requiere tanto una interfaz para definir la imagen original y la zona que se va a generar, como un flujo de trabajo específico para ejecutar el difusor.
También hay modelos (puntos de control) optimizados para tareas de inpaiting en lugar de para la simple generación de texto a imagen, pero desde SDXL la diferencia entre el modelo estándar y su versión de inpaiting es muy pequeña.
Juntos veremos cómo utilizar una interfaz estándar dedicada al Inpainting, y cómo varias interfaces completas como Automatic1111 o Fooocus integran herramientas de Inpaiting.
El propósito de este artículo no es describir cómo configurar un flujo de trabajo para el inpainting con un modelo de difusión, pero si te interesa el tema, te recomiendo esta documentación sobre inpainting con difusión en HuggingFace
Interfaces de Inpaiting
SDXL Inpainting Demo
La interfaz de demostración SDXL Inpaiting te permite probar el Inpainting con Stable Diffusion de forma rápida y gratuita. Es una solución en línea fácil de usar, ideal para quienes desean probar la técnica sin instalar nada o simplemente modificando una imagen.
A continuación se explica cómo utilizar esta interfaz para eliminar un detalle no deseado de una imagen:
- Cargue o descargue la imagen en el área prevista para ello.
- Utilice la herramienta de dibujo para definir el área a regenerar.
- Incluya una breve descripción del resultado esperado en la solicitud.
- Haz clic en Inpaint! y espera unos segundos
La misma técnica puede utilizarse para añadir elementos a la imagen o modificarla.
Debajo del campo de prompt, también puede visualizar parámetros adicionales para la generación de inpaiting pulsando en Advanced Settings :
- La CFG Scale, que determina la importancia de la indicación.
- El número de pasos de inferencia (steps).
- La fuerza (strenght) de la eliminación de ruido, que permite seguir más o menos de cerca la imagen original (véase más abajo)
- Un prompt negativo que detalle lo que no desea generar (consulte también nuestra guía de indicaciones negativas)
- La elección del Programador a utilizar para la inferencia.
Pero incluso con estos ajustes avanzados, esta interfaz de demostración sigue siendo bastante limitada: sólo funciona con imágenes cuadradas, sólo permite una generación a la vez y no tiene todas las opciones necesarias para lograr un inpaiting perfecto (ver los ajustes clave más abajo)
Si quieres hacer inpainting de alta calidad y usar esta herramienta más en serio, tendrás que usar una interfaz más avanzada. Aquí tienes algunas que te puedo recomendar:
Inpainting con Fooocus
Fooocus es una interfaz minimalista pero potente para utilizar Stable Diffusion. Para mí, es la solución ideal para familiarizarse con Stable Diffusion y obtener rápidamente resultados de calidad sin pasar horas aprendiendo y dominando numerosos parámetros.
Fooocus incluye el inpainting entre sus herramientas para generar imágenes a partir de una imagen de referencia (Input image). La interfaz facilita el dibujo de una máscara para la generación y ofrece opciones adaptadas a distintos usos del repintado (corregir detalles, añadir elementos, etc.)
Las principales ventajas del inpainting en Fooocus son su facilidad de uso, la utilización de un modelo optimizado y una generación que se centra en la zona enmascarada para obtener un resultado más detallado. La configuración avanzada también te permite ajustar las opciones si las predeterminadas no te convienen.
Consulta nuestro Tutorial completo sobre Inpainting con Fooocus para aprender en detalle cómo utilizarlo
Inpaiting con Automatic1111 o Forge
La interfaz Webui de Automatic1111 y su nueva variante Forge siguen siendo una interfaz popular y muy completa para utilizar Stable Diffusion. Obviamente incorpora el inpainting e incluso ofrece numerosas opciones y configuraciones para sacar el máximo partido a esta técnica
Basic Inpainting se utiliza desde la pestaña img2img, en la sección Inpaint, donde puede cargar su imagen, dibujar una máscara y definir los parámetros de inpainting
Automatic1111 no tiene la sencilla interfaz de Fooocus y, por lo tanto, es un poco más complicado de dominar, pero sigue siendo una excelente opción para generar imágenes e hacer inpainting con Stable Diffusion. Además de los numerosos parámetros de configuración, Automatic1111 también ofrece una opción de Skecth Inpaiting, así como la opción de descargar la máscara como archivo en lugar de dibujarla en la interfaz.
→ Próximamente: el guige completo de inpainting en Automatic1111
Mientras tanto, puede consultar el Manual de Automatic1111 en espanol, que ya explica los fundamentos del inpaiting en esta interfaz
Inpainting con ComfyUI
ComfyUI es una interfaz gráfica de usuario (GUI) potente y modular para Stable Diffusion ,que presenta una interfaz basada en nodos que permite a los usuarios construir flujos de trabajo de imágenes encadenando diferentes bloques o nodos
La integración de Inpainting en ComfyUI utiliza la misma lógica modular, ofreciendo varios métodos para retocar específicamente áreas de la imagen.
Utilizando diferentes flujos de trabajo de ComfyUI, es posible elegir entre el repintado con un modelo estándar de Stable Diffusion, el repintado con un modelo diseñado específicamente para, el repintado ControlNet para una alta fuerza de eliminación de ruido sin sacrificar la consistencia de la imagen, y un método automático para corregir las caras en las imágenes.
OpenArt.ai, por ejemplo, ofrece este flujo de trabajo básico para Inpaiting, que puedes descargar para empezar a usar el inpaiting en ComfyUI.
Los principales ajustes del Inpaiting
Además de los parámetros de generación estándar, el Inpainting con Stable Diffusion también tiene tres ajustes clave que pueden influir enormemente en el resultado
Tenga en cuenta que no todas las interfaces le permiten cambiar los tres parámetros: algunas los aplican automáticamente (con mayor o menor éxito).
Fuerza del ruido
El parámetro más importante en el Inpainting con Stable Diffusion es la intensidad de la eliminación de ruido. Este valor determina el grado de modificación de la zona enmascarada: cuanto mayor sea el valor, mayores serán los cambios. Un valor demasiado alto puede dar lugar a resultados incoherentes con el resto de la imagen, mientras que un valor demasiado bajo puede producir una imagen borrosa. Por lo tanto, es esencial encontrar el equilibrio adecuado para obtener resultados óptimos.
Zona por (re)generar
La mayoría de las soluciones de inpaiting con Stable Diffusion ofrecen dos opciones: procesar toda la imagen o centrarse sólo en la zona enmascarada. La primera opción es ideal para mantener la coherencia general, sobre todo en correcciones menores. La segunda opción, que recupera y procesa la zona enmascarada a mayor resolución antes de reintegrarla en la imagen, es preferible para detalles finos que requieren especial atención, como rostros u objetos pequeños .
Contenido oculto
El contenido enmascarado determina lo que el modelo utiliza como punto de partida para generar el contenido en la zona enmascarada de la imagen, que puede variar desde no cambiar nada (manteniendo el contenido original bajo la máscara) hasta sustituir la zona por un color medio o ruido aleatorio, ofreciendo diferentes bases sobre las que el modelo puede construir.
¿Cómo funciona el Inpainting?
El Inpainting y el proceso de difusión
Stable Diffusion utiliza una arquitectura de red neuronal convolucional (CNN) basada en el modelo U-Net, que se adapta especialmente bien a tareas de segmentación y reconstrucción de imágenes como el inpainting.
A diferencia de los enfoques convencionales de inpainting, que añaden ruido aleatorio a toda la imagen en el espacio latente antes del denoising, el inpainting con Stable Diffusion introduce ruido sólo en la zona enmascarada. Este proceso selectivo permite concentrar los esfuerzos de reconstrucción donde son necesarios, optimizando la calidad y la coherencia de la imagen resultante.
Codificación y descodificación
La imagen de entrada, con el área enmascarada rellena de ruido, se codifica primero mediante una serie de capas convolucionales. El codificador extrae características a distintos niveles de granularidad, desde los detalles más finos hasta las estructuras generales de la imagen.
A continuación, el descodificador utiliza estas características para reconstruir la imagen paso a paso, utilizando capas convolucionales transpuestas para aumentar progresivamente la resolución de la imagen y afinar los detalles.
Pérdida de percepción
A continuación, una función de pérdida perceptual (Percuptual Loss) guía el proceso de reconstrucción midiendo la diferencia entre la imagen generada y la imagen original. Se trata de una combinación de varios correctores que se combinan para guiar la generación. Los correctores específicos incluidos en la función de Pérdida Percuptual pueden variar, pero suelen incluir :
- Pérdida de reconstrucción: minimiza la diferencia entre los píxeles de la imagen generada y los de la imagen original
- Pérdida por similitud perceptiva: en cuenta la percepción visual humana basándose en modelos preentrenados para evaluar la similitud visual entre imágenes
- Pérdida de regularización: Evita el sobreajuste y favorece la generación de imágenes realistas
Optimización y tratamiento posterior
El algoritmo también utiliza un método de optimización de gradiente para minimizar la función de pérdida y ajustar los parámetros de la red neuronal.
Por último, la imagen generada puede someterse a un tratamiento posterior para mejorar la calidad y la coherencia, como afinar los contornos o eliminar artefactos.
Ejemplos de aplicaciones Inpaiting
Gracias a su capacidad de reconstrucción y creación, el inpainting tiene aplicaciones en campos muy diversos, lo que demuestra su versatilidad. He aquí algunos ejemplos concretos de cómo el inpainting está revolucionando nuestro enfoque de la manipulación de imágenes.
Revivir el pasado en imágenes
Restauración de fotografías antiguas
Las fotografías antiguas, a menudo dañadas por el tiempo, cuentan historias preciosas de nuestra historia personal y colectiva. inpainting restaura estas imágenes, rellenando los huecos causados por roturas, pliegues o desvanecimientos, devolviendo a la vida recuerdos desvanecidos sin alterar su esencia original.
Arqueología y conservación
Conservación del patrimonio
En el campo de la arqueología y la conservación, el Inpainting digital ofrece un método no invasivo para visualizar el estado original de objetos antiguos y yacimientos arqueológicos. Al rellenar partes que faltan de artefactos o frescos murales a partir de fragmentos existentes, los conservadores pueden ofrecer reconstrucciones precisas que enriquecen nuestra comprensión del pasado.
Mejora visual
Retoque fotográfico profesional
En fotografía profesional, el inpainting se utiliza para eliminar elementos no deseados o añadir detalles que faltan a una composición. Ya sea para eliminar un objeto que distrae de un paisaje o para añadir elementos que mejoren el impacto visual de un retrato, el inpainting abre nuevas vías a la creatividad fotográfica.
Creación sin límites
Diseño gráfico y publicidad
El inpainting tiene una notable aplicación en el diseño gráfico y la publicidad, donde la creación de imágenes únicas y llamativas es primordial. Los diseñadores pueden utilizar el inpainting para fusionar elementos de varias imágenes en una única composición coherente, o para generar conceptos visuales totalmente nuevos, ampliando los límites de la imaginación.
Magia en la pantalla
Cinematografía y efectos visuales
En el sector del cine y los efectos visuales, el inpainting ayuda a restaurar o modificar escenas, permitiendo corregir errores o añadir elementos de posproducción. Ya sea para borrar cables y soportes visibles en una escena de acción o para realzar un paisaje con elementos fantásticos, el inpainting se ha convertido en una herramienta inestimable para los creadores de contenidos visuales.
Visualización vanguardista
Diseño de moda y productos
En el sector de la moda y el diseño de productos, el inpainting permite a los diseñadores visualizar cambios en el diseño antes de la producción. Ajustando colores, texturas o añadiendo elementos a las imágenes prototipo, los diseñadores pueden experimentar con distintas ideas de forma eficaz y rentable.
Al aprovechar el poder de esta tecnología, tanto profesionales como aficionados pueden trascender los límites tradicionales de la edición de imágenes, abriendo la puerta a una infinita gama de posibilidades y descubrimientos creativos.
En la encrucijada de la inteligencia artificial y la creación de imágenes, el inpainting es un método valioso para la edición digital.
Además de su aplicación práctica para borrar o modificar elementos no deseados de las imágenes, el inpainting nos invita a reflexionar más ampliamente sobre nuestra relación con la imagen. No sólo nos permite restaurar fotografías dañadas, sino también reconstruir nuestra memoria visual colectiva. En el ámbito creativo, ofrece a artistas y diseñadores una herramienta adicional para expresar su visión, completando o transformando escenas según su imaginación.
La creciente accesibilidad de herramientas como Stable Diffusion está democratizando el inpainting, poniéndolo al alcance de un amplio público de usuarios. Esta accesibilidad es un avance significativo, que abre el camino a nuevas formas de creatividad y expresión artística. También pone de relieve la importancia de comprender las herramientas digitales que utilizamos y su impacto en nuestra percepción de las imágenes.
El inpainting es, por tanto, una importante adición al abanico de herramientas a disposición de profesionales y aficionados a la imagen, que enriquece el campo de la edición de imágenes al ofrecer la posibilidad de corregir, restaurar y repensar visualmente nuestro mundo. Con un uso meditado y responsable, el inpainting seguirá añadiendo valor a nuestras interacciones con las imágenes digitales.
Written by
