Le JDN publie en exclusivité la première édition de ce classement mensuel réalisé par notre partenaire Witbe qui mesure la qualité d’utilisation en France de Google Meet, Cisco WebEx et autres.
Avec la crise du covid-19 et le recours massif au télétravail, le recours aux services de visioconférence a naturellement explosé en France. Mais avec quelle facilité d’utilisation? Pour le savoir, le JDN publiera désormais chaque mois un classement mensuel des performances des services de visioconférence. Ce palmarès est produit exclusivement pour le JDN par Witbe, Expert français du suivi de la qualité de service numérique.
Les applications sélectionnées? Cisco WebEx, Google Meet, Microsoft Teams et Zoom. Les critères analysés? Disponibilité de l’outil, temps pour créer une réunion, temps d’accès à une réunion pour les invités et qualité du signal vidéo. Pour réaliser ces mesures, Witbe teste un scénario de visioconférence sur chaque solution toutes les 20 minutes pendant une semaine, le premier du mois (lire la méthodologie de classification dans son intégralité). Voici les résultats de la première édition:
Avec des résultats globaux supérieurs à la moyenne, Zoom prend la tête de cette première édition. «Des organisateurs aux invités, l’expérience utilisateur de Zoom est standardisée en termes de performances, ce qui nous semble être une bonne stratégie produit», reconnaît Mathieu Planche, PDG de Witbe (voir infographie). L’éditeur californien est celui qui affiche la meilleure qualité vidéo, à la fois du point de vue de l’organisateur et de l’invité. Sur ce point, Zoom est le seul des quatre acteurs analysés à éviter la pixellisation, et à ne retransmettre aucun macro-pixel dans son flux vidéo.
« Cisco est limité à un seul serveur frontal, contre huit serveurs pour Google »
«L’absence de macro-pixels chez Zoom s’explique probablement par la mise en œuvre de techniques avancées de traitement d’image», estime Mathieu Planche. Sur ce terrain, Google Meet prend la deuxième place avec 17% d’images vidéo pixelisées, Microsoft Teams troisième (34%) et Cisco WebEx quatrième et dernier (42%). L’apparition des macro-pixels s’explique principalement par la perte d’une partie de l’image vidéo (ou des paquets). « L’infrastructure mise en place par Cisco est limitée à un serveur interface unique pour prendre en charge la visioconférence car elle représente huit serveurs chez Google. Ce qui pourrait expliquer ce différentiel », analyse Mathieu Planche.
Google se porte également bien en termes de performances d’accès. La création d’une réunion sur l’application de conférence vidéo de Mountain View nécessite en moyenne 530 millisecondes, contre 1,8 seconde pour les équipes, 2,1 secondes pour Zoom et 5 secondes pour WebEx. D’autre part, et étonnamment, Google Meet se classe à la dernière place sur le front des performances d’accès côté invité, avec un temps de connexion moyen de 5,6 secondes, alors que ses concurrents en moyenne 2-3 secondes. . Un chiffre qui pourrait provenir des choix d’applications.
Equipes pénalisées sur disponibilité
Même s’il est pixelisé, le flux vidéo de Cisco Cependant, il reste celui avec le moins de flou: 9%, contre 27% pour Zoom, 30% pour Teams et 31% pour Meet. Un flou diminue évidemment l’expérience utilisateur qu’un blocage complet ou une vidéo momentanément figée. Le principal intérêt de cet indicateur? Il indique la qualité de l’encodage vidéo. «Plus une vidéo est encodée de manière agressive pour la rendre plus légère et mieux traverser les réseaux, plus elle risque d’être floue», résume Mathieu Planche.
Au final, Google Meet occupe la dernière place du classement de la qualité vidéo. Une position qui ne peut pas être expliquée par les mesures évoquées précédemment, mais plutôt par la définition d’image proposée par défaut par l’outil: 360p. Il est possible de passer à 720p, mais witbe a décidé de conserver les paramètres par défaut pour les quatre joueurs, et donc de facto conserver la définition de 360p proposée par Google.
En dernière place du classement, Teams est le seul éditeur en lice à enregistrer un taux de disponibilité côté invité inférieur à 100%, à 81%. Sur un total de 575 scénarios exécutés au total par Witbe for Teams, 53 sessions n’ont pas pu se connecter à la réunion. «En analysant ces sessions (via le fichier HAR, ndlr), nous avons constaté que ces erreurs s’expliquaient par des problèmes de communication entre l’application et le serveur Teams», indique Mathieu Planche. «Si Teams corrige ce problème et atteint 100% de disponibilité comme les autres plates-formes, son score global passera de 47 à 81.» Dans le cas où les indicateurs des trois autres joueurs ne progressent pas suffisamment en parallèle, Microsoft pourrait alors remonter à la deuxième place du classement.
