Stable Diffusion 3.5
Stable Diffusion 3.5 est la dernière version des modèles de génération d'images développée par Stability AI, marquant un retour remarqué de l'entreprise pionnière de l'IA open source.
Cette suite de modèles optimisés excelle dans la fidélité aux prompts et la personnalisation, offrant des performances de haut niveau tant sur les infrastructures professionnelles que sur le matériel grand public.
Fidèle à sa philosophie d'accessibilité, stable Diffusion 3.5 est partagé avec une licence communautaire permettant un usage gratuit pour la recherche et les petites entreprises.
SD 3.5
Qu’est-ce que Stable Diffusion 3.5 ?Comment utiliser Stable Diffusion 3.5 ?Taille d’imagesPerformances & Besoin MatérielImages créées avec Stable Diffusion 3.5Stable Diffusion 3.5 en détailsLes différentes modèlesLes Forces de SD 3.5Licences et droits d’utilisationArticles et Tutoriels Stable Diffusion 3.5
Dernières nouvelles
Stable Diffusion 3.5 ControlNets
27/11/24 - Stability AI publie 3 ControlNets puissant pour stable Diffusion 3.5 Large.
→ Découvrir les nouveaux ControlNets SD3.5
Publication de SD3.5 Medium
29/10/24 - Comme prévu, stability a aprtagé la version Medium de Stable Diffusion 3.5
→ Plus d’info sur SD3.5M
Qu’est-ce que Stable Diffusion 3.5 ?
Stable Diffusion 3.5 est la nouvelle génération de modèles d'IA texte-image lancée par Stability AI le 22 octobre 2024. Ce n'est pas un modèle unique, mais une famille de plusieurs modèles conçus pour différents besoins.
Ces nouveaux modèles sont plus personnalisables, performants et polyvalents que leurs prédécesseurs.
Ils excellent dans la création d'images diverses, représentant mieux la variété du monde réel, sans nécessiter de prompts détaillés. De plus, ils sont capables de générer un large éventail de styles artistiques, de la photographie à l'art 3D.
Comment utiliser Stable Diffusion 3.5 ?
Stable Diffusion 3.5 n’est actuellement pas supporté par Forge ou Automatic1111 et l’interface reccomandée pour l’utiliser localement est donc ComfyUI qui propose même des workflow d’exemples pour s’y mettre facilement.
Demo en ligne
Pour tester et utiliser directement SD3 en ligne, vous pouvez utiliser la demo de fal.ai ou celle de Replicate.
Si vous souhaitez installer et utiliser Stable Diffusion 3.5 avec ComfyUI, suivez ces étapes :
- Mettez à jour ComfyUI
- Téléchargez Stable Diffusion 3.5 Large ou Stable Diffusion 3.5 Large Turbo dans votre dossier models/checkpoint.
- Téléchargez clip_g.safetensors, clip_l.safetensors, et t5xxl_fp16.safetensors dans votre dossier models/clip
- Faites glisser le Workflow dans ComfyUI et générez des images !
Taille d’images
- 1:1 – 1024 x 1024
- 5:4 – 1152 x 896
- 3:2 – 1216 x 832
- 16:9 – 1344 x 768
Performances & Besoin Matériel
Stable Diffusion 3.5 requiert une configuration légèrement supérieure à SDXL. Il est donc recommandé de disposer d’une carte graphique (GPU) disposant d’au moins de 12GB de VRAM. Il n’y a pas encore beaucoup de retour de l’a communauté sur les optimisations possibles pour l’utiliser avec moins de mémoire ou sur des configuration alternative comme une carte AMD ou un processeur Apple Silicon.
Avec une NVIDIA RTX4090 (24GB), la génération d’une image avec Stable Diffusion 3.5 Large prend environ 20 secondes (20 steps).
La version Turbo est évidemment plus rapide et l’image est générée en 10 secondes avec seulement 4 steps.
Images créées avec Stable Diffusion 3.5
Voici quelques exemples d’images générées avec Stable Diffusion 3.5
Stable Diffusion 3.5 en détails
Les différentes modèles
- Stable Diffusion 3.5 Large: Il s'agit d'un modèle à 8 milliards de paramètres qui excelle dans l'adhésion rapide et la production d'images de haute qualité, ce qui le rend adapté aux utilisateurs professionnels.
Avec une résolution d’image allant jusqu’à 1 mégapixel, Il est idéal pour créer des images vivantes et des ressources numériques pour les campagnes de marketing et les cas d'utilisation similaires en entreprise
- Stable Diffusion 3.5 Large Turbo: C’est une Version distillée du modèle Large qui produit rapidement des images de haute qualité en seulement quatre étapes.
Le réduction du nombre d’étape réduit considérablement le temps de génération sans compromettre la qualité de l'image. Il est donc très efficace pour les flux de travail de génération rapide.
- Stable Diffusion 3.5 Medium: C’est version n’a que 2,5 milliards de paramètres mais avec son architecture MMDiT-X et des méthodes d'apprentissage améliorées, il peut produire efficacement des images d'une résolution comprise entre 0,25 et 2 mégapixels.
Il est conçu pour fonctionner « prêt à l'emploi » sur du matériel grand public tout en proposant un bon équilibre entre la qualité des images, la vitesse de génération et la facilité de personnalisation.
Les Forces de SD 3.5
Stable Diffusion 3.5 Large apporte plusieurs améliorations techniques à la génération d'images par IA, grâce à son architecture de 8 milliards de paramètres.
Qualité d'image supérieure
Il produit des images en 1 mégapixel d'une qualité exceptionnelle, surpassant les modèles Stable Diffusion précédents.
Meilleure adhérence aux prompts
Le modèle interprète les prompts complexes avec une plus grande précision.
Performance efficace
Il est optimisé pour fonctionner sur du matériel grand public standard
Styles polyvalents
Capable de produire une large gamme de styles visuels, de la 3D à la photographie en passant par la peinture et l'art abstrait.
Diversité et adaptation
Génère des images représentatives du monde réel, avec différents style, couleurs de peau et caractéristiques, sans nécessiter de prompts extensifs.
Licences et droits d’utilisation
Stability AI a publié Stable Diffusion 3.5 sous sa nouvelle Licence Communautaire, qui est plus permissive que lors de la publication de la précédente version.
Cette licence permet en effet une utilisation gratuite dans deux cas principaux :
- Pour la recherche et les utilisations non commerciales.
- Pour les utilisations commerciales par des individus ou des entreprises dont le chiffre d'affaires annuel est inférieur à 1 million de dollars.
La licence s’applique sans restriction sur le nombre d’images ou médias générés à l’aide de stable Diffusion 3.5
Les utilisateurs conservent également la propriété des médias qu'ils génèrent avec les modèles, sans implications restrictives de licence.
Pour les organisations dont le chiffre d'affaires annuel dépasse 1 million de dollars, une licence Enterprise payante est nécessaire pour l'utilisation commerciale et doit être demandée et négociée avec Stability AI.
Stability AI encourage également la création, la distribution et la monétisation des travaux dérivés (fine-tuning, LoRA, optimisations, applications,…), à condition que les utilisateurs fournissent une copie de la licence communautaire et affichent de manière visible "Powered by Stability AI" sur les interfaces ou la documentation associées.
Cette nouvelle approche de licence vise à soutenir la communauté open-source tout en permettant à Stability AI de monétiser l'utilisation de ses modèles par les grandes entreprises