Cet article sur l’IA propose un modèle de diffusion latente pour la 3D (LDM3D) qui génère à la fois des données d’image et de carte de profondeur à partir d’un vecteur de texte donné.

Dans le domaine de l’intelligence artificielle générative, la vision par ordinateur a fait d’énormes progrès ces dernières années. Stable Diffusion a transformé la production de contenu en création d’images en proposant un logiciel gratuit pour produire des images aléatoires RVB haute résolution à partir d’invites de texte. Cet article propose un modèle de diffusion latente 3D (LDM3D) basé sur la diffusion stable v1.4. Contrairement au modèle précédent, la figure 1 montre comment LDM3D peut produire des cartes de profondeur et des données d’image à partir d’une invite de texte donnée. Les utilisateurs peuvent créer des représentations RGBD complètes des invites de texte, leur donnant vie dans une perspective dynamique à 360 degrés. Leur modèle LDM3D a été optimisé sur un ensemble de données d’environ 4 millions d’ensembles comprenant une image RVB, une carte de profondeur et une description.

Une partie de l’ensemble de données LAION-400M, un grand ensemble de données de sous-titrage d’image de plus de 400 millions d’appariements de légendes d’image, a été utilisée pour créer cet ensemble de données. Le modèle d’estimation de profondeur DPT, qui fournit des estimations de profondeur relative très précises pour chaque pixel de l’image, a été utilisé pour générer les cartes de profondeur utilisées pour le réglage fin. L’utilisation des cartes de profondeur appropriées était essentielle pour créer des vues à 360 degrés réalistes, immersives et permettant aux utilisateurs de découvrir leurs invites de texte de manière très détaillée. Des chercheurs d’Intel Labs et de Blockade Labs ont créé DepthFusion, une application qui exploite des images brutes RVB 2D et des cartes de profondeur pour calculer une vue à 360 degrés à l’aide de TouchDesigner, démontrant ainsi les capacités de LDM3D.

DepthFusion a le potentiel de changer complètement la façon dont les gens interagissent avec les documents numériques. Le cadre flexible appelé TouchDesigner permet la création d’expériences multimédias interactives et immersives. Leur logiciel utilise les capacités créatives de touchdesigner pour produire de superbes panoramas à 360 degrés qui décrivent clairement les invites de texte. Avec l’aide de DepthFusion, les utilisateurs peuvent désormais découvrir leurs invites textuelles d’une manière auparavant inimaginable, qu’il s’agisse d’une description d’une forêt sereine, d’une ville animée ou d’un monde de science-fiction. Cette technologie pourrait révolutionner divers secteurs, notamment les jeux, le divertissement, le design et l’architecture.

Ils ont fait trois contributions différentes dans l’ensemble. (1) ils proposent LDM3D, un nouveau modèle de diffusion qui, en lumière guidée par le texte, génère des images RGBD (images RVB avec des cartes de profondeur correspondantes). (2) Ils ont construit DepthFusion, un logiciel qui utilise des images RGBD produites par LDM3D pour offrir des expériences visuelles immersives à 360 degrés. (3) Ils évaluent l’efficacité de leurs images RGBD produites et de leurs films immersifs à 360 degrés grâce à des études approfondies. L’étude présente LDM3D, un modèle de diffusion avancé qui produit des images RGBD à partir de signaux textuels. Ils ont également construit DepthFusion, un logiciel qui utilise l’imagerie RGBD produite à partir de TouchDesigner pour fournir des expériences de visualisation immersives et interactives à 360 degrés afin de démontrer davantage les capacités de LDM3D.

Les résultats de cette étude pourraient changer fondamentalement la façon dont les gens interagissent avec les matériaux numériques, transformant tout, du divertissement et des jeux à l’architecture et au design. Les contributions de ce travail ouvrent de nouvelles opportunités pour la recherche en IA générative multi-affichage et en vision par ordinateur. Ils s’intéressent à la manière dont ce domaine peut être développé davantage et souhaitent que la communauté bénéficie des travaux proposés.

scanner le papier. N’oubliez pas de rejoindre 21k + ML Sub RedditEt canal de discordeEt Et Courriel, où nous partageons les dernières nouvelles sur la recherche en IA, des projets d’IA sympas, et plus encore. Si vous avez des questions concernant l’article ci-dessus ou si nous avons oublié quelque chose, n’hésitez pas à nous envoyer un e-mail à [email protected]

🚀 Découvrez les outils d’IA de 100 dans le club d’outils d’IA