Microsoft lance trois nouveaux modèles d'IA Phi-3.5, battant leurs homologues de Google et OpenAI
Ne se reposant pas sur les lauriers de son partenariat avec OpenAI, Microsoft a lancé trois nouveaux systèmes d'IA appartenant à la famille de langages et de modèles multimédia Phi.
Les trois nouveaux projets de la série Phi 3.5 incluent le grand modèle de langage de base Phi-3.5-mini-instruct avec 3,82 milliards de paramètres, le puissant Phi-3.5–MoE-instruct avec 41,9 milliards de paramètres et le Phi-3.5-vision- instruction avec 4,15 milliards de paramètres Conçu pour l’analyse d’images et de vidéos. Tous les trois sont disponibles sous la marque Microsoft sur la plateforme Hugging Face sous licence MIT – et peuvent être téléchargés, modifiés, modifiés et utilisés commercialement sans restrictions. Lors des tests, il s'est avéré aussi bon, et parfois meilleur, que des concurrents comme Google Gemini 1.5 Flash, Meta Llama 3.1 et même OpenAI GPT-4o.
Phi-3.5 Mini Instruct est optimisé pour les environnements avec des ressources informatiques limitées. Il s'agit d'un modèle léger avec 3,8 milliards de paramètres. Il est conçu pour exécuter des instructions et prend en charge un contexte de 128 000 caractères. Le modèle traite de tâches telles que la création de code, la résolution de problèmes mathématiques et la pensée logique. Malgré sa petite taille, le Phi-3.5 Mini Instruct est assez compétitif dans les tâches multilingues et multipoints. Dans le test RepoQA, qui est utilisé pour évaluer la « compréhension du code contextuel long », il surpasse Llama-3.1-8B-instruct, Mistral-7B-instruct et autres.
Phi-3.5 MoE (Mixture of Experts) combine plusieurs modèles de types différents, chacun spécialisé dans sa propre tâche. Son architecture comporte 42 milliards de paramètres actifs et 128 000 contextes de support, ce qui lui permet d'être utilisé dans des applications très demandées – il convient de noter que la documentation de Hugging Face ne parle que de 6,6 milliards de paramètres actifs. Le Phi-3.5 MoE fonctionne bien en mathématiques, en génération de code et en compréhension des requêtes multilingues, et surpasse souvent les modèles plus grands dans certains tests, notamment RepoQA ; Il surpasse également le GPT-4o mini au test MMLU (Massive Multi-Task Language Understanding) en sciences naturelles, ingénierie, sciences humaines et sociales à différents niveaux d'expertise.
Phi-3.5 Vision Instruct combine des capacités de traitement de texte et d'image. Il convient à la reconnaissance d'images et de symboles, à l'analyse de graphiques et de tableaux et à la création de résumés vidéo. Vision Instruct, comme les autres modèles Phi-3.5, prend en charge une longueur de contexte de 128 000 jetons, ce qui lui permet de gérer des tâches visuelles multi-images complexes. Le système est formé sur des ensembles de données synthétiques et filtrés accessibles au public, en mettant l'accent sur des ensembles de données de haute qualité avec une densité logique élevée.
Phi-3.5 Mini Instruct a formé 3,4 billions de codes à l'aide de 512 accélérateurs Nvidia H100-80G en 10 jours ; Le modèle d'architecture hybride Phi-3.5 MoE a été formé sur 4,9 billions de jetons à l'aide de 512 appareils Nvidia H100-80G en 23 jours ; Vision Instruct a formé 500 milliards de codes à l'aide de 256 accélérateurs d'IA Nvidia A100-80G en 6 jours. L'ensemble du trio Phi-3 est disponible sous la licence MIT, qui permet aux développeurs d'utiliser, modifier, fusionner, publier, distribuer, sous-licencier ou vendre librement des copies des produits. La licence contient une clause de non-responsabilité : les modèles sont fournis « tels quels » sans aucune garantie – et Microsoft et les autres détenteurs de droits d'auteur ne sont pas responsables des réclamations, dommages ou autres responsabilités pouvant découler de l'utilisation des modèles.
