DALL-E (ou DALL·E), prononcé , est un programme d'intelligence artificielle générative, qui produit des images à partir de descriptions textuelles.
Microsoft a implémenté le modèle dans l'outil Image Creator de Bing et prévoit de l'implémenter dans son application Designer..
DALL-E utilise une version à de paramètres. du modèle de langage GPT-3. pour interpréter les entrées (commandes) en langage naturel, et générer les images demandées.. Il peut créer des images d'objets réalistes ou des objets qui n'existent pas dans la réalité....
Spécificité
Depuis les , de nombreux réseaux de neurones ont pu générer des images réalistes. La spécificité de DALL-E est de pouvoir les générer à partir d'invites en langage naturel, qu'il « comprend », et « il échoue rarement ».
Code source
OpenAI n'a pas publié de code source pour l'un ou l'autre modèle, bien qu'une « démo contrôlée » de DALL-E soit disponible sur le site Web d'OpenAI, où la sortie d'une sélection limitée d'exemples d'invites peut être visualisée.
Des alternatives , formées sur de plus petites quantités de données, comme DALL-E Mini, ont été publiées par d'autres.
Selon la , l'un des principaux objectifs d'OpenAI était de « donner aux modèles de langage une meilleure compréhension des concepts quotidiens que les humains utilisent pour donner un sens aux choses »..
Histoire
Son nom est un mot-valise évoquant à la fois WALL-E, un robot fictif popularisé dans le film du même nom en 2008-2009, et le peintre Salvador Dalí.
vignette|Image créée par en 2022 à partir du texte (un Shiba Inu portant un béret et un col roulé noir).
DALL-E a été révélé par OpenAI le .
En 2020, OpenAI constate que ..
L'image GPT a montré que le même type de réseau de neurones peut aussi être utilisé pour générer des images avec une haute fidélité. Selon OpenAi () : .
En , OpenAI a annoncé (affirmant qu'il pouvait produire des images photoréalistes à partir de descriptions textuelles), ainsi qu'un éditeur permettant de simples modifications de la sortie. Lors de l'annonce, le logiciel était encore en phase de recherche, avec un accès limité à des utilisateurs bêta présélectionnés. Le modèle pouvait encore faire de graves erreurs, y compris des erreurs qu'aucun humain ne ferait..
Selon Stable Diffusion, DALL-E créait déjà environ deux millions d’images par jour lors de la phase tests. Quand la plate-forme a atteint un million d’utilisateurs (mi-) Emad Mostaque a estimé que le seuil d'un milliard d’images par jour devrait être atteint « plutôt tôt que tard », surtout quand la possibilité de faire des animations sera activée. Peter Welinder, vice-président des produits et des partenariats d’OpenAI, a estimé lors du MIT Technology Review en que DALL-E pourrait même un jour prochain dépasser ChatGPT 3 en intérêt.
Une concurrence existe ou émerge, avec notamment DALL-E Mini, puis Craiyon (générateur d’images de moindre qualité mais gratuit) ou Midjourney et Stable Diffusion (qui sont eux de meilleure qualité). Google développe aussi, secrètement Imagen..
La société mère de DALL-E, OpenAI, s'attend à ce que l'art assisté par intelligence artificielle croisse très rapidement en volume et en créativité.
CLIP DALL-E a été développé et annoncé au public en collaboration avec CLIP ().
CLIP est un modèle à part entière dont le rôle est de « comprendre et hiérarchiser » sa production.
Les images générées par DALL-E sont organisées par CLIP, qui présente les images de la plus haute qualité pour une invite donnée.
CLIP est un système de reconnaissance d'images. qui a été entrainé à comprendre et classer ces images à partir de plus de de paires d'images et de texte extraits d'Internet (plutôt que sur un ensemble de données organisé d'images étiquetées comme ImageNet). CLIP associe les images à des légendes entières.
CLIP a été entraîné pour prédire quelle légende (parmi une « sélection aléatoire » de possibles) était la plus appropriée pour une image, lui permettant ensuite d'identifier des objets dans des images en dehors de son ensemble de formation.
Architecture
Le modèle baptisé (GPT) a d'abord été développé par OpenAI, en 2018., en utilisant l'architecture Transformeur. La première itération, GPT, a été mise à l'échelle pour produire GPT-2 en 2019. ; et en 2020, il a été de nouveau mis à l'échelle pour produire GPT-3, avec de paramètres.
Le modèle de DALL-E est une implémentation multimodale de GPT-3 avec de paramètres qui « échange du texte contre des pixels », entraînés sur des paires texte-image provenant d'Internet.
Il utilise l' (Zero-shot learning : c'est-à-dire sans recours à des données d'apprentissage préalableL’apprentissage en mode zero-shot est une technique d’intelligence artificielle. Elle permet à un modèle d’effectuer une tâche sans avoir besoin de données d’entraînement spécifiques à cette tâche. DALL-E l'utilise pour générer des images à partir de descriptions textuelles, sans avoir été entraîné spécifiquement à cette tâche, utilisant son modèle de langage pré-entraîné sur des paires texte-image provenant d’Internet pour apprendre à associer des mots à des pixels. pour générer une image à partir de la description et des indices qui lui sont directement fournis en consigne.).
DALL-E génère plusieurs images en réponse aux invites.
Performance 300px|gauche|vignette|Exemple d'images générées par DALL-E au départ des consignes suivantesLes consignes ont été données en anglais :
. : une bibliothèque médiévale au clair de lune ; une bibliothèque médiévale au clair de lune (même consigne) ; un codex sur une table dans une bibliothèque médiévale ; un moine copiste au travail éclairé par une bougie ; la silhouette d'un moine cistercien partiellement cachée derrière un rideau ; gros plan sur la manche d'un moine cistercien tenant une dague à la main ; clair-obscur d'un moine cistercien allongé sur le sol ; clair-obscur d'un poignard sur le sol ; silhouette d'un moine cistercien portant un codex dans un couloir sombre.
DALL-E génère des images dans des styles variés, allant de l'imagerie photoréaliste aux peintures et emoji.
Il permet également de « manipuler et réorganiser » des objets dans ses images.
Une capacité notée par ses créateurs était le placement correct des éléments de conception dans de nouvelles compositions sans instruction explicite : .
Alors que DALL-E présentait une grande variété de compétences et de capacités, lors de la sortie de sa démo publique, la plupart des reportages se sont concentrés sur un petit sous-ensemble d'images de sortie « surréalistes » ou « excentriques ».
Plus précisément, la sortie de DALL-E pour la requête « une illustration d'un bébé radis daikon dans un tutu promenant un chien » a été mentionnée dans des articles de ., NBC., Nature., et d'autres publications... Sa production pour « un fauteuil en forme d'avocat » a aussi été notée..
DALL-E « remplit les blancs » et déduit de nombreux détails appropriés sans invites spécifiques ( a noté qu'une invite à dessiner un pingouin portant un pull de Noël a donné des images de pingouins ne portant pas seulement des pulls, mais aussi des chapeaux de Père Noël, thématiquement liés. ; et Engadget a noté qu'à l'invite , Dall a produit une image où les ombres étaient placées de manière appropriée.
DALL-E a généré des capacités de raisonnement visuel suffisantes pour résoudre les matrices de Raven (tests visuels souvent administrés aux humains pour mesurer l'intelligence)..
DALL-E a une compréhension des tendances visuelles et de conception ; selon , . Engadget a également noté sa capacité inhabituelle à . DALL-E a été décrit, avec d'autres « IA étroites » comme AlphaGo, AlphaFold et GPT-3 comme .
DALL-E a été décrit comme « remarquablement robuste à de tels changements » et fiable dans la production d'images pour une grande variété de descriptions arbitraires.
Sam Shead, journaliste pour CNBC, a qualifié ses images de « décalées » et a cité Neil Lawrence, professeur d'apprentissage automatique à l'université de Cambridge, qui l'a décrit comme une .
Shead a aussi cité Mark Riedl (professeur agrégé à la ). Selon ce dernier, DALL-E a montré qu'il mélangait « de manière cohérente des concepts », ce qui est un élément clé de la créativité humaine. La démo de DALL-E a été remarquable pour produire des illustrations beaucoup plus cohérentes que les autres systèmes Text2Image vus ces dernières années. Riedl, à la BBC s'est aussi dit « impressionné par ce que le système pouvait faire ».
Aspects éthiques et moraux, et impacts sociétaux
Au début des , OpenAI et divers chercheurs cherchent à « analyser les impacts sociétaux » que peut générer DALL-E et/ou le programme GPT-3, par exemple s'ils sont détournés pour produire de faux textes et de fausses images ou vidéo pouvant donner l'impression d'une vérité ou au moins d'une parfaite plausibilité et cohérence. et « le potentiel de biais » de ce logiciel avant de le publier pour un usage général..
Transition vers GPT Image (2025)
DALL-E quitte ChatGPT en Mars 2025, remplacé par son concurrent également développé par OpenAI, le modèle GPT Image 4-o.
DALL-E, de moins en moins utilisé, reste toujours accessible via Microsoft Copilot.
Notes et références
Voir aussi Articles connexes
Liens externes
Un forum consacré aux images créées par DALL-E 2, sur Reddit.
Catégorie:Logiciel libre sous licence MIT Catégorie:Traitement automatique du langage naturel Catégorie:Intelligence artificielle dans l'art et la culture Catégorie:Linguistique informatique Catégorie:Intelligence artificielle Catégorie:Logiciel sorti en 2021 Catégorie:Page comportant une illustration générée par une IA Catégorie:OpenAI Catégorie:Nommé d'après Salvador Dalí