La startup AI Runway a lancé une application pour apporter l’intelligence artificielle vidéo à la vidéo pour les utilisateurs

Crédits image : piste

pisteune startup IA qui a contribué au développement de Stable Diffusion, un générateur d’images IA, a lancé son premier application mobile Hier pour donner aux utilisateurs l’accès à Gen-1, son modèle d’IA vidéo à vidéo. L’application n’est actuellement disponible que sur les appareils iOS.

Avec la nouvelle application, les utilisateurs pourront enregistrer une vidéo depuis leur téléphone et créer une vidéo AI en quelques minutes. Ils peuvent également convertir n’importe quelle vidéo qu’ils ont dans leur bibliothèque en utilisant des invites de texte, des images ou des préréglages de style.

Les utilisateurs peuvent choisir dans le menu de préréglages de Runway comme « Cloudscape » ou transformer leur vidéo pour qu’elle ressemble à un dessin d’argile, un dessin au fusain, une aquarelle, du papier origami et plus encore. Ils peuvent également télécharger une photo ou écrire une idée dans la zone de texte.

L’application générera ensuite quatre aperçus parmi lesquels les utilisateurs pourront choisir. Une fois qu’ils ont choisi le produit qu’ils aiment le plus, il leur faudra quelques minutes pour produire le produit final. Nous avons testé l’application nous-mêmes et avons constaté que cela prenait environ 60 secondes ou plus. Parfois, il faut 2 minutes pour créer.

Bien sûr, comme avec tout générateur d’IA, les résultats ne sont pas parfaits et semblent souvent déformés ou étranges. En général, le concept de générateurs vidéo AI peut sembler idiot et peut-être même fantaisiste. Mais à mesure que la technologie se développe et s’améliore au fil du temps, elle peut être utile aux utilisateurs. Par exemple, les créateurs de contenu peuvent pimenter leurs publications sur les réseaux sociaux.

Quoi qu’il en soit, nous avons trouvé l’application mobile Runway facile à utiliser et généralement amusante à bricoler.

Voici un exemple que nous avons trouvé en utilisant Extrait de Michael Scott de « The Office ». L’invite de texte que nous avons saisie était un « mannequin réaliste ».

(Attention : le résultat est terrifiant.)

Crédits image : Runway (tiré du clip Office)

Nous avons également essayé « l’animation 3D », qui s’est avérée très bien.

Crédits image : Runway (tiré du clip Office)

Il y a certainement d’autres mises en garde en plus des problèmes et des visages déformés.

Si les utilisateurs veulent la version gratuite, il y a une limite de 525 crédits et ils ne peuvent télécharger que des vidéos de cinq secondes. Chaque seconde de la vidéo utilise 14 points.

Le co-fondateur et PDG Cristobal Valenzuela a déclaré à TechCrunch qu’à l’avenir, Runway prévoit d’ajouter la prise en charge des vidéos de longue durée. Il a ajouté que l’application continuera à s’améliorer et à lancer de nouvelles fonctionnalités.

« Nous nous concentrons sur l’amélioration de l’efficacité, de la qualité et du contrôle. Dans les semaines et les mois à venir, vous verrez toutes sortes de mises à jour, des livrables plus longs aux vidéos de meilleure qualité », a déclaré Valenzuela.

Notez également que l’application ne produit pas de nudité ou d’œuvres protégées par le droit d’auteur, vous ne pouvez donc pas créer de vidéos imitant le style de la célèbre IP.

La nouvelle application mobile de Runway propose deux forfaits premium : Standard (143,99 $ par an) et Pro (344,99 $ par an). Le plan Standard vous offre 625 crédits/mois et d’autres fonctionnalités premium comme la vidéo 1080p, des projets illimités, et plus encore. Le plan Pro offre 2 250 crédits/mois et les 30+ outils Runway.

Crédits image : piste

Un mois après que Runway a publié sa version Gen-1, lancée en février, Runway a publié sa version Gén 2 modèle. Sans doute une avancée par rapport aux modèles de texte à image Stable Diffusion et DALL-E, Gen-2 est un créateur de texte à vidéo, afin que les utilisateurs puissent créer des vidéos à partir de zéro.

Valenzuela nous a dit que Runway commençait lentement à publier un accès bêta fermé pour la deuxième génération.

L’application prend actuellement en charge le modèle Gen-1, mais Gen-2 sera bientôt disponible avec les autres outils d’IA de Runway, tels que le générateur d’image à image.

Meta et Google ont lancé des générateurs de texte en vidéo, appelés respectivement Make-A-Video et Imagen.

Runway a développé plusieurs logiciels de montage vidéo alimentés par l’IA depuis son lancement en 2018. La société dispose d’une variété d’outils différents. Éditeur vidéo Webtelles que l’interpolation d’image, la suppression de l’arrière-plan, les effets de flou, une fonctionnalité qui nettoie ou supprime le suivi du son et du mouvement, parmi bien d’autres.

Les outils ont aidé les influenceurs et même les studios de cinéma/TV à réduire le temps passé à éditer et à créer des vidéos.

Par exemple, fichier L’équipe des effets visuels Derrière « Everything Everywhere at Once », la technologie Runway a été utilisée pour aider à créer la scène du film où Evelyn (Michelle Yeoh) et Joy (Stephanie Hsu) sont dans un multivers où elles sont transformées en rock mouvant.

De plus, l’équipe graphique derrière « The Late Show with Stephen Colbert » de CBS a utilisé Runway pour réduire les heures de montage à seulement cinq minutes, Selon le directeur artistique Andrew Bonita.

Runway exploite également Runway Studios, sa division de divertissement et de production.