Video Quality Monitor
Certainement la solution la plus puissante et la plus souple pour la mesure de qualité vidéo, de qualité audio et de synchronisation audio/vidéo (lipsync) à partir de fichiers vidéo et audio, de sources HDMI (Set-Top Boxes...), SDI, flux IP (UDP, RTP, HTTP, HTTPS, HLS, MPEG-DASH, RTSP, RTMP, NDI®) ou de la capture du bureau.
Mesure et surveillance de qualité vidéo perçue, qualité audio perçue, loudness, effet de bloc, flou, contraste, platitude, gels d'images, rebuffering, images noires, bruit, éclat, temps de zapping, temps de démarrage de la vidéo, silences, saturations, cadence d'images (frame rate) réel, débit vidéo réel, débit audio réel, stabilité vidéo et modulation de contraste.
avec des métriques de qualité vidéo perçue dédiées pour HEVC (H.265), MPEG-4/AVC (H.264) et MPEG-2
VQM peut également mesurer la synchronization entre audio et vidéo (lipsync) grâce à des signaux de tests audio/vidéo qui peuvent être paramétrés
VQM peut même enregistrer des coordonnées GPS pour mesurer la qualité vidéo en fonction de la localisation lors de tests terrain 5G, 4G, 3G ou Wifi
VQM est scriptable. VQM peut contrôler des décodeurs (Set-Top Boxes). Et bien plus...
Note:
- Si vous cherchez une solution similaire pour des signaux audio/vidéo en temps réel (streaming IP, HDMI, SDI, etc.) mais avec référence, essayez "Full Reference Video Quality Monitor".
- Si vous cherchez une solution similaire pour des fichiers audio/vidéo mais avec des métriques avec référence complète, essayez "Video Quality Analyzer".
En 2016, 2017, 2019 et 2023, Video Quality Monitor a reçu ces trophées:
Video Quality Monitor (VQM) est une solution précise et pratique pour mesurer et surveiller la qualité vidéo, la qualité audio et la synchronisation entre audio et vidéo (lipsync) perçue par les utilisateurs finaux (QoE: Quality of Experience) à partir de fichiers audio/vidéo, de sources HDMI (Set-Top Boxes...), SDI, flux IP (UDP, RTP, HTTP, HTTPS, HLS, MPEG-DASH, RTSP, RTMP, NDI®) ou de la capture du bureau.
Grâce à l'intelligence artificielle (AI) et plus précisément au machine leaning, VQM produit des notes de qualité vidéo perçue exprimées sur une échelle MOS (Mean Opinion Score) et corrélées avec le jugement humain de la qualité vidéo. Les métriques de qualité vidéo perçue intégrées dans VQM sont dédiées aux formats d'encodage vidéo HEVC (H.265), MPEG-4/AVC (H.264) et MPEG-2. Ces métriques de qualité vidéo ont été optimisées pour produire des notes de qualité hautement corrélées avec des jugements humains recueillis lors de tests subjectifs d'évaluation de qualité réalisés dans des conditions d'observation normalisées (ITU BT.500 et ITU BT.710).
VQM permet de mesurer et surveiller la qualité vidéo perçue et la qualité audio perçue à partir de:
- fichiers audio vidéo, sans référence
- source live: HDMI, SDI, streaming IP (en UDP, RTP, HTTP, HTTPS, HLS, MPEG-DASH, RTMP, RTSP ou NDI®), capture du bureau Windows, en temps réel, sans référence
- services de streaming (comme youtube, dailymotion ou n'importe quel autre) utilisant n'importe quel navigateur web ou lecteur vidéo
VQM mesure/détecte/surveille en temps réel:
- la qualité vidéo (MOS)
- la qualité audio (MOS)
- la synchronisation entre audio et vidéo (lipsync)
- l'effet de blocs (en anglais: blockiness ou blocking effect), le flou (en anglais: blur ou blurring), le contraste, le gel d'images (en anglais: jerkiness ou image freezing), le rebuffering, les images noires, les silences, les saturations, la cadence d'images (frame rate) réel, le débit vidéo réel, le débit audio réel
- l'intensité sonore (loudness) conformément aux recommandations internationales ITU BS 1770-2 et EBU R128
- la perte de signal audio ou vidéo
VQM est utile pour:
- le test, la validation et la surveillance de services de télévision
- le test et la validation de décodeurs TV (STB: Set Top Boxes) et d'autres équipements audio/vidéo
- la qualification de systèmes de vidéo-conférence
- la surveillance de processus d'encodage basés fichiers (ex: encodage pour la VOD)
- la mesure de l'impact du rebuffering sur la qualité vidéo perçue (le rebuffering arrive quand une vidéo en streaming est mise en pause le temps de recevoir davantage de données)
- la qualification et comparaison de caméras vidéo grâce à la métrique de bruit de caméra
- la qualification et comparaison d'écrans grâce à la métrique d'éclat (bloom)
- la qualification et comparaison d'écrans et de caméras vidéo grâce à la métrique de modulation de contraste (Contrast Modulation (CM))
VQM peut aussi:
- déclencher des alertes par email et SNMP quand des problèmes surviennent
- mesurer la qualité vidéo et/ou la qualité audio en fonction de la position (avec données GPS: latitude, longitude, altitude, nombre de satellites) pour les tests terrain 5G/4G/3G/Wifi
- générer des cartes géographiques de la qualité vidéo et/ou de qualité audio en fonction de la position GPS
- mesurer le temps de zapping
- sauvegarder des échantillons vidéo lorsque des problèmes arrivent (de quelques images avant le problème, jusqu'à quelques images après le problème)
- détecter de scènes complexes dans de longues vidéos (pour préparer des vidéos complexes pour tester des encodeurs vidéo)
- mesurer la synchronisation entre audio et vidéo (lipsync)
- traiter des vidéos HDR (High Dynamic Range) et extraire des caractéristiques comme l'espace colorimétrique et les valeurs MaxFALL et MaxCLL
VQM prend en charge plusieurs types de sources vidéo: fichiers, cartes de capture (HDMI, SDI, Composite, etc.), périphériques de capture externes, capture du bureau et streaming en UDP, RTP, HTTP, HTTPS, HLS (HTTP Live Streaming), MPEG-DASH, RTSP, RTMP ou NDI®. VQM inclut à la fois des métriques de qualité vidéo sans référence, paramétriques et hybrides. Cela signifie que lorsque vous souhaitez mesurer la qualité vidéo perçue d'une vidéo dégradée, vous devez simplement fournir cette vidéo. Pour les métriques paramétriques et hybrides, la vidéo doit être dans un format compressé.
Pour la surveillance d'encodage basé fichier (ex: encodage pour la VOD): VQM peut traiter plusieurs fichiers en parralèle. Ceci est particulièrement intéressant pour traiter un nombre important de fichiers (en utilisant le Watch Folder par exemple). VQM peut même tester la "décodabilité" audio et vidéo à la vitesse de 40x (sur un simple PC) et compter le nombre d'échantillons audio et de frames vidéo décodées. Et si ces valeurs sont différentes des valeurs attendues (en se basant sur les informations de l'en-tête du fichier), VQM peut vous envoyer des alertes.
Démarrage de VQM
Au démarrage, VQM affiche une fenêtre montrant un cadre de prévisualisation de la vidéo testée (la vidéo que l'on souhaite mesurer). Pour commencer à utiliser VQM, vous allez généralement utiliser le "mode offline", cliquer sur le bouton "Browse..." (Parcourir) afin de sélectionner un fichier vidéo et de le charger.
Mais VQM peut aussi mesurer en temps réel la qualité d'une vidéo capturée en direct: c'est le "mode online". Dans ce cas, VQM peut traiter en temps réel une source audio/vidéo live à partir d'une carte de capture audio/vidéo HDMI ou SDI (ou un périphérique de capture externe), à partir d'un flux IP (en UDP, RTP, HTTP, HTTPS, RTSP, RTMP ou NDI®) ou à partir de la capture du bureau Windows.
VQM prend en charge les encodeurs les plus courants (HEVC (H.265), MPEG-4/AVC (H.264), MPEG-4/SP, MPEG-2, ...) et les conteneurs les plus utilisés: AVI, MP4, TS, MOV, WMV, Raw YUV, PS, ES, ...
Chargement des vidéos
Lorsqu'une vidéo est chargée, sa première image est affichée. Les paramètres de ses flux vidéo et audio sont également affichés: codec, dimensions des images (frames), cadence temporelle (frame rate), nombre de frames, durée, fréquence d'échantillonnage audio, durée audio, etc.
Pour le monitoring de qualité en temps réel, le mode "online" permet de choisir une source vidéo/audio live entre une carte de capture HDMI ou SDI (ou un périphérique de capture externe), un flux IP (en UDP, RTP, HTTP, HTTPS, RTSP, RTMP ou NDI®) ou la capture du bureau Windows (pour traiter une fenêtre YouTube par exemple).
L'interface graphique de VQM affiche également beaucoup d'autres informations durant la mesure. En fait, tous les paramètres dont vous pourriez avoir besoin sont affichés et peuvent être modifiés.
Mesurer la qualité vidéo perçue
Durant la mesure de qualité vidéo, plusieurs fenêtres peuvent être affichées: frame de la vidéo mesurée, formes d'ondes audio et spectre, courbes de qualité, courbe de débit vidéo et courbes de débit audio.
En parallèle de la mesure de qualité, les débits vidéo et audio instantanés sont également mesurés pour chaque frame/chaque segment audio. Pour les sources audio/vidéo live (HDMI, SDI, flux IP, capture du bureau) la cadence d'images (frame rate° est également mesurée en temps réel.
La mesure de qualité utilise le multithreading. Donc plus avez de coeurs CPU, plus VQM travaille rapidement.
Serveur web
Lorsque vous avez fait sélectionné une métrique de qualité, chargé une vidéo, lancé sa mesure de qualité et attendu jusqu'à ce qu'elle se termine, la note de qualité vidéo perçue est affichée, exprimée en MOS (la signification des valeurs MOS est complètement expliquée dans l'aide).
Les rapports de mesure sont alors disponibles dans l'interface web. En effet, VQM inclut son propre serveur web. Nul besoin d'installer un serveur séparé (comme Apache): le serveur web de VQM est déjà complètement intégré à l'application.
Ce serveur web vous permet de vous connecter de n'importe où et d'obtenir les résultats de mesure, des statistiques, des courbes et même des rapports d'analyse de qualité (dans plusieurs formats, dont le format HTML afin de vous permettre de le copier/coller ou de le charger dans votre traitement de texte préféré, comme Microsoft Word par exemple).
Le serveur web de VQM permet également de transférer (upload) des fichiers vidéo vers VQM afin de les traiter. Une fois traités, les résultats sont disponibles via ce même serveur web. Ainsi, VQM est une solution de mesure de qualité audio/vidéo perçue qui peut être installée dans le nuage (cloud).
Résultats
Pour les résultats de mesure "offline": Dans le menu principal, le premier lien permet d'afficher la liste des vidéos traitées. Dans cette liste, chaque vidéo est représentée par un numéro unique, sa campagne de test, (qui permet de regrouper plusieurs résultats), son nom de fichier, son chemin complet, la description de ses flux vidéo et audio (codec, dimensions, frame rate, durée, etc...), sa note de qualité et des statistiques sur la qualité (min, max, écart-type).
Pour chaque vidéo, plusieurs liens permettent d'afficher:
- les courbes de qualité
- les courbe de débit
- les courbes d'effet de bloc, de flou, de contraste, de platitude, de gel d'image et de bruit .
Pour les résultats de surveillance "online": Les courbes (de qualité, de débit, d'effet de bloc, de flou, de contraste, de gel d'image, les durées de rebuffering etc.) peuvent être dessinées entre deux dates et heures choisies par l'utilisateur. Les courbes peuvent aussi être dessinées en temps réel, permettant de voir à distance l'activité de surveillance de VQM.
Courbes
Dans l'interface web, toutes les courbes sont interactives: si vous sélectionnez une portion de la courbe, cela zoomera sur cette sélection. Et si vous cliquez sur un point de la courbe, cela placera ce point au centre de la courbe et zoomera d'un facteur 2. Si la frame correspondant au centre de la courbe est une frame caractéristique, alors cette frame sera affichée sous la courbe.
Si vous avez plusieurs versions d'un même contenu vidéo, alors vous pouvez dessiner toutes leurs courbes sur la même figure, afin de comparer les effets de différents encodeurs ou différents débits sur un contenu vidéo donné.
Vous pouvez aussi obtenir des représentations graphiques de la qualité perçue en fonction du débit. Ceci vous permet de déterminer le débit qui est nécessaire pour obtenir un niveau de qualité donné.
Audio
VQM peut aussi mesurer:
- la qualité audio (basée sur l'estimation de la bande passante, les ruptures de signal audio, les saturations et sur les silences)
- l'intensité sonore (loudness) conformément aux recommandations internationales ITU BS 1770-2 et EBU R128
- le débit audio
Comme les mesures sont effectuées sur les signaux décodés, VQM prend en charge les principaux formats audio. Pour utiliser un format particulier, il vous suffit d'installer le décodeur approprié.
Dans l'interface principale, un bouton permet de remettre à zéro le compteur de ruptures de signal audio.
Loudness
VQM peut mesurer l'intensité sonore (loudness) conformément aux recommandations internationales ITU BS 1770-2 et EBU R128. Cette mesure d'intensité sonore calcule 5 valeurs différentes :
- Momentary loudness (notée "M" dans le "mode EBU"): valeur instantée de l'intensité sonore.
- Short term loudness (notée "S" dans le "mode EBU"): valeur moyenne de l'intensité sonore sur 3 secondes
- Medium term loudness: valeur moyenne de l'intensité sonore sur 15 secondes
- Gated loudness: valeur moyenne de l'intensité sonore sur 15 secondes, en ignorant les valeurs qui sont sous deux seuils (le premier seuil est absolu et égal à -70 LKFS, le second seuil est relatif et égal à la moyenne des valeurs d'intensité sonore restantes après le premier seuillage moins 10 LKFS).
- Integrated loudness (notée "I" dans le "mode EBU"): valeur moyenne de l'intensité sonore sur toute la durée du signal audio.
L'intensité sonore peut être calculée à la fois dans le mode "online" et dans le mode "offline". Ceci permet de surveiller (monitoring) l'intensité sonore en temps réel mais aussi de mesurer l'intensité sonore à partir de signaux capturés (comme des enregistrements audio vidéo).
Comme les autres données mesurées, toutes les valeurs d'intensité sonore mesurées sont sauvées et peuvent être retrouvées grâce à l'interface web.
VQM peut aussi déclencher des alertes si l'intensité sonore est supérieure à seuil défini par l'utilisateur.
Enfin, les durées d'intégration pour les mesures "short term", "medium term" et "gated" peuvent être modifiées par l'utilisateur (même si les valeurs proposées par l'EBU sont recommandées).
Scripts et émulation de télécommande TV
VQM permet également d'exécuter des scripts. Grâce aux scripts, vous pouvez programmer VQM pour une multitude de tâches différentes. Par exemple, vous pouvez faire que VQM surveille automatiquement plusieurs chaînes TV ou plusieurs flux IP.
VQM peut aussi simuler une télécommande TV en envoyant des codes infrarouges ou des commandes HTTP au décodeur TV (Set Top Box ou STB).
Ceci permet, par exemple, de contrôler des décodeurs TV afin de les tester et de les valider.
Chaque script contient des actions permettant de contrôler les fonctions de VQM.
L'exécution de scripts est disponible à la fois pour les modes online et offline.
GPS
VQM peut utiliser une antenne GPS USB (comme un récepteur bu-353s4) pour enregistrer les positions durant la mesure de qualité vidéo et/ou de qualité audio.
Chaque mesure est alors associée à sa position GPS (latitude, longitude, altitude, nombre de satellites reçus, horloge GPS).
VQM peut alors générer des cartes indiquant la qualité vidéo et/ou audio en fonction des positions parcourues.
La carte ci-jointe montre la qualité vidéo durant la lecture d'une vidéo en 4K par 4G dans une voiture circulant autour de la ville de Nantes. On peut noter une zone (en rouge, en haut) très mal couverte par l'opérateur testé.
Mettez VQM dans un sac à dos ou dans une voiture et mesurez votre qualité vidéo en fonction de votre localisation!
Génération de signaux de tests (mire) et mesure de synchronisation entre audio et vidéo (lipsync)
VQM peut générer des signaux de tests audio/vidéo (mires) et les utiliser pour mesurer la synchronisation entre audio et vidéo (lipsync).
L'utilisateur peut définir plusieurs paramètres des signaux de tests générés:
- la durée du fichier (en nombre de frames)
- la résolution des frames
- le nombre de frames par seconde
- le taux d'échantillonnage audio
- le nombre de canaux audio
Vous pouvez même insérer votre propre logo dans un signal de test.
VQM sauve alors le signal de test audio/vidéo en fichier AVI contenant des frames non compressées YUV 4:2:2 et des échantillons audio non compressés (PCM) sur 16 bits.
Les flux audio et vidéo contiennent des marqueurs de synchronisation qui sont conçus pour être robustes face à des dégradations d'encodage audio et vidéo.
Donc vous pouvez encoder ce fichier en utilisant les codecs audio/vidéo que vous souhaitez tester. Et vous pouvez passer ce signal de test audio/vidéo au travers de n'importe quel système ou chaîne de diffusion que vous devez tester.
Grâce aux marqueurs de synchronisation précis à l'échantillon près et à la frame près, VQM peut mesurer le "skew" qui est le décalage entre audio et vidéo, et l'exprimer en millisecondes, à partir d'un fichier capturé ou en temps réel à partir d'une périphérique de capture HDMI ou SDI.
Autres caractéristiques
VQM contient beaucoup d'autres atouts, parmi lesquels:
- Gestionnaire de Tâches: quand vous cliquez sur un bouton, vous ne faites pas directement une action mais en réalité vous ajoutez une tâche dans une file d'attente. Ceci vous permet de continuer à charger des fichiers et les mesurer, même si VQM travaille déjà.
- Watch Folder: il permet de détecter chaque fichier apparaissant (copié ou déplacé) dans un dossier (ou dans ses sous-dossiers). Quand un fichier est détecté, sa mesure de qualité est lancée. Le Watch Folder permet de surveiller un processus d'encodage basé fichier en utilisant VQM (pour la VOD, par exemple).
- Méthodes d'automatisation: pour faciliter l'utilisation de VQM avec un nombre important de fichiers, VQM peut charger des scripts et être utilisé en ligne de commande (avec des arguments).
- Loupe: pour explorer l'image au niveau pixel et voir les valeurs de Y, U et V pour chaque pixel, une loupe est disponible. Cette fenêtre montre le contenu de l'image dans le voisinage de la position du curseur de souris.
Inclus gratuitement: VQM Centralization Server
VQM est accompagné d'un outil gratuit appelé "VQM Centralization Server" (VQM CS).
VQM CS peut être utilisé dans deux modes différents:
- Le "mode QC" (Quality Check): VQM CS contient son propre Watch Folder qui peut détecter des fichiers média présents ou apparaissant dans des dossiers définis (et leurs sous-dossiers). Quand un fichier média est détecté, VQM CS va ordonner à une instance de VQM de traiter ce fichier, puis VQM CS recevra les résultats de mesure. Utiliser plusieurs instances de VQM, contrôlées par VQM CS, permet de traiter de grandes quantités de fichiers.
- Le "mode Centralisation": plusieurs instances de VQM peutvent être utilisées comme des sondes de mesure, pour surveiller plusieurs Set-Top Boxes ou pour surveiller plusieurs emplacements d'un réseau de diffusion vidéo, par exemple. Dans cette configuration, VQM CS permet de regrouper sur une même machine les mesures de plusieurs instances de VQM. Comme VQM, VQM CS intègre un serveur web qui permet de générer les rapports de mesure. VQM CS propose les mêmes types de rapports que VQM mais pour plusieurs sondes VQM sur le même graphe ou dans le même tableau.
Conclusion
Grâce à ses métriques de qualité évoluées, sachant à la fois opérer en mode offline et en mode online (temps réel) et pouvant contrôler un décodeur (Set Top Box) grâce à l'envoi de codes infra-rouges, VQM est définitivement la solution de référence pour la mesure et la surveillance de qualité vidéo sans référence! Très flexible, VQM saura s'adapter pour répondre à vos besoins de mesure et de surveillance de qualité vidéo perçue. Demandez une version d'évaluation dès aujourd'hui!
Si vous êtes intéressé(e) par VQM mais que vous n'en avez qu'un besoin ponctuel ou si vous n'avez pas les ressources humaines nécessaires pour utiliser pleinement une licence, merci de noter que nous proposons aussi des prestations de service basées sur l'utilisation de VQM.