Extended Cut : NVIDIA Maxine étend le montage vidéo et présente la recherche sur les conférences virtuelles 3D

Les professionnels, les équipes, les créateurs et bien d’autres peuvent exploiter la puissance de l’IA pour créer des effets audio et vidéo de haute qualité, même en utilisant des microphones et des webcams standard, à l’aide de Nvidia Maxine.

La combinaison de SDK accélérés par GPU et de microservices natifs du cloud permet aux utilisateurs de déployer des fonctionnalités d’IA qui améliorent les effets audio, vidéo et de réalité augmentée sur les plates-formes et services de communication en temps réel. Maxine étendra également ses fonctionnalités de montage vidéo, permettant aux équipes d’atteindre de nouveaux sommets dans les communications vidéo.

En plus de ça Recherche NVIDIA Démo cette semaine segraphier La conférence montre comment l’intelligence artificielle peut faire passer la visioconférence au niveau supérieur avec des fonctionnalités 3D.

Comprend l’extension NVIDIA Maxine pour le montage vidéo

La connectivité sans fil a permis aux gens de rejoindre des réunions virtuelles depuis plus d’endroits que jamais auparavant. Habituellement, la qualité audio et vidéo souffre considérablement lorsque l’appelant est en déplacement ou dans un endroit avec une mauvaise connectivité.

Les fonctionnalités avancées en temps réel de Maxine, telles que la suppression du bruit de fond, l’hyper-résolution et le contact visuel, permettent aux utilisateurs distants d’améliorer leurs expériences interpersonnelles.

De plus, Maxine peut désormais être utilisée pour le montage vidéo. Les partenaires NVIDIA transforment ce flux de travail professionnel avec les mêmes fonctionnalités Maxine qui élèvent la barre pour la visioconférence. L’objectif lors du montage d’une vidéo, qu’il s’agisse d’une présentation promotionnelle ou d’un webinaire, est d’impliquer autant de publics que possible. Avec Maxine, les professionnels peuvent profiter des fonctionnalités d’intelligence artificielle qui améliorent les signaux audio et vidéo.

Avec Maxine, l’orateur peut détourner le regard de l’écran pour indiquer des notes ou du texte tandis que son regard reste comme s’il regardait directement la caméra. Les utilisateurs peuvent également enregistrer des vidéos dans une résolution inférieure et améliorer la qualité ultérieurement. De plus, Maxine permet aux gens d’enregistrer des vidéos dans de nombreuses langues différentes et d’exporter la vidéo en anglais.

Les fonctionnalités de Maxine qui seront publiées au début de cette année incluent :

• traducteur: Il traduit du chinois simplifié, du russe, du français, de l’allemand et de l’espagnol vers l’anglais tout en déplaçant l’image de l’utilisateur pour lui montrer qu’il parle anglais.
• ligne audio : Permet aux utilisateurs d’appliquer les propriétés vocales de l’orateur et de les mapper à la sortie audio.
• Fidélité audio supérieure: Améliore la qualité audio en augmentant la résolution temporelle du signal audio et en étendant la bande passante. Il prend actuellement en charge le sous-échantillonnage de 8 000 Hz à 16 000 Hz et également de 16 000 Hz à 48 000 Hz. Cette fonctionnalité est également mise à jour avec plus de 50 % de temps de réponse en moins et jusqu’à 2 fois plus de productivité.
• Client Maxime : Apporte les capacités d’IA des microservices de Maxine aux sessions de visioconférence sur PC. L’application est optimisée pour le streaming à faible latence et utilisera le cloud pour toutes les exigences de calcul GPU. Le client léger sera disponible sur Windows cet automne, avec une prise en charge supplémentaire du système d’exploitation à suivre.

Maxine peut être déployée dans le cloud, sur site ou en périphérie, ce qui signifie que des communications de haute qualité sont accessibles depuis pratiquement n’importe où.

Porter la visioconférence vers de nouveaux sommets

De nombreux partenaires et clients font l’expérience d’une vidéoconférence et d’un montage de haute qualité avec Maxine. Deux fonctionnalités de Maxine – Eye Contact et Live Portrait – sont désormais disponibles dans les versions de production de Microsoft NVIDIA IA Entreprise plate-forme logicielle. Eye Contact simule un contact visuel direct avec une caméra en estimant et en faisant correspondre le regard de l’utilisateur avec la caméra. Un portrait en direct anime un selfie d’une personne à travers une diffusion vidéo en direct.

société de logiciels la description Il vise à faire de la vidéo un élément essentiel de la boîte à outils de chaque communicateur, avec des documents et des diapositives. Avec NVIDIA Maxine, les professionnels et les débutants utilisant Descript peuvent accéder à des fonctionnalités d’IA qui améliorent le flux de travail du contenu vidéo.

« Grâce à la fonctionnalité NVIDIA Maxine Eye Contact, les utilisateurs n’ont plus à se soucier de l’enregistrement de scripts ou d’effectuer des relectures vidéo fastidieuses », a déclaré Jay LeBoeuf, responsable du développement commercial et de l’entreprise chez Descript. « Ils peuvent maintenir une présence parfaite à l’écran tout en clouant leur script à chaque fois. »

embrasser camouflage L’application vise à élargir l’accès à de superbes vidéos en tirant parti du matériel et des appareils que les gens possèdent déjà. Pour ce faire, il donne aux utilisateurs un plus grand contrôle sur leur image et met en œuvre un pipeline de traitement puissant et efficace pour les effets vidéo et la transformation. Grâce aux technologies activées par NVIDIA Maxine, Camo peut fournir aux utilisateurs un moyen plus simple de réaliser une création vidéo époustouflante.

« L’intégration de NVIDIA Maxine dans Camo n’a jamais été aussi facile, et cela nous a permis d’obtenir des GPU RTX hautes performances pour les utilisateurs dès la sortie de la boîte », a déclaré Aidan Fitzpatrick, fondateur et PDG de Reincubate. « Avec Maxine, l’équipe a pu avancer plus vite et avec plus de confiance. »

Liens rapides Cri 8 Il s’agit d’une puissante plate-forme de production vidéo pour créer des productions professionnelles au niveau de la marque, des événements en direct virtuels et mixtes. L’interface facile à utiliser combine une conception intuitive avec tous les outils nécessaires pour créer, éditer et personnaliser une production d’aspect professionnel. Cre8 intègre la technologie NVIDIA Maxine pour augmenter le débit et la qualité de la sortie vidéo, offrant un contrôle complet de l’opérateur.

« Quicklink Cre8 offre désormais la plate-forme de production vidéo la plus avancée de la planète », a déclaré Richard Reese, PDG de Quicklink. « Grâce à NVIDIA Maxine, nous avons pu ajouter des fonctionnalités avancées, notamment le cadrage automatique, le débruitage vidéo, la suppression du bruit et de l’écho. , et simulation de contact. Oeil. »

Entreprise basée à Los Angeles gemelo.ai Il fournit une plate-forme pour créer des jumeaux d’IA qui peuvent élargir la gamme de voix, de contenu et d’interactions des utilisateurs. Avec la fonctionnalité Maxine Live Portrait, l’équipe de gemelo.ai peut débloquer de nouvelles opportunités pour un contenu étendu et personnalisé et des interactions individuelles.

« Le réalisme du portrait en direct change la donne, ouvrant de nouveaux mondes de possibilités pour nos jumeaux IA », a déclaré Paul Jasky, PDG de gemelo.ai. « Nos clients peuvent désormais concevoir et déployer des jumeaux numériques incroyablement photoréalistes avec les superpuissances d’une évolutivité illimitée dans la production de contenu et l’interactivité sur les applications, les sites Web et les expériences de réalité mixte. »

Une étude NVIDIA montre comment la vidéo 3D améliore la communication immersive

En plus d’alimenter les fonctionnalités avancées de Maxine, NVIDIA AI améliore la communication vidéo avec la 3D. NVIDIA Research a récemment publié une papier Montre comment une IA peut exécuter un système de visioconférence 3D avec un équipement de capture minimal.

Les systèmes de téléprésence 3D sont généralement coûteux, nécessitent un grand espace ou un studio de production, utilisent une bande passante élevée et diffusent de la vidéo volumétrique, ce qui limite l’accessibilité de la technologie. NVIDIA Research a partagé une nouvelle méthode, travaillant sur un nouvel encodeur basé sur VisionTransformer, qui prend l’entrée vidéo 2D d’une webcam standard et la convertit en une représentation vidéo 3D. Au lieu d’exiger que les données 3D soient transmises entre les participants à la conférence, l’IA permet aux exigences de bande passante d’un appel de rester les mêmes dans une conférence 2D.

La technologie prend la vidéo 2D d’un utilisateur et crée automatiquement une représentation 3D appelée champ de rayonnement neuronal, ou NeRF, en utilisant le rendu volumétrique. En conséquence, les participants peuvent diffuser des vidéos 2D, comme dans la visioconférence traditionnelle, tout en décodant des présentations 3D de haute qualité qui peuvent être visionnées en temps réel. Et avec Maxine Live Portrait, les utilisateurs peuvent donner vie à leurs photos 3D.

La visioconférence 3D assistée par l’IA peut réduire considérablement le coût de la capture 3D, fournir une représentation 3D haute définition, accueillir des images ou des avatars photoréalistes et permettre un contact visuel mutuel lors de la visioconférence. Des projets de recherche connexes montrent comment l’IA peut contribuer à améliorer les communications et les interactions virtuelles, ainsi qu’à éclairer les futures technologies de visioconférence NVIDIA.

Voir le système en action ci-dessous. Les participants au SIGGRAPH peuvent visiter Stand technologies émergentesoù les groupes pourront regarder la démo en direct en même temps sur un écran 3D conçu par la société basée à New York Regarder dans le verre.

disponibilité

En savoir plus sur Nvidia Maxinedésormais disponible sur NVIDIA IA Entreprise.

Voir plus de recherches sur Projet de visioconférence 3D.

Image présentée avec l’aimable autorisation de NVIDIA Research.