Évaluation - Introduction

L’évaluation de l’utilisabilité permet de définir « le degré selon lequel un produit peut être utilisé, par des utilisateurs identifiés, pour atteindre des buts définis avec efficacité, efficience et satisfaction, dans un contexte d’utilisation spécifié » [ISO]. MultiCom s’intéresse plus particulièrement aux systèmes interactifs pour lesquels l’évaluation présente une difficulté particulière, soit dans l’espace (cas des systèmes mobiles) , dans le temps (évaluation sur un grand nombre d’utilisateurs et/ou sur une longue durée), soit dans le contexte d’utilisation (cas des systèmes critiques).

Traditionnellement l’évaluation, que ce soit en laboratoire ou in-situ, se base sur l’utilisation d’enregistrements audio-vidéo qu’il est nécessaire d’annoter puis d’analyser. Cette méthode d’évaluation a été validée par de nombreux travaux, mais elle présente certaines limites. En effet, elle est longue, fastidieuse, et peut être sujette à des erreurs d’interprétation qui risquent de rendre les résultats obtenus non reproductibles. Elle peut aussi être impossible à mettre en oeuvre si le contexte interdit l’usage de la vidéo, par exemple dans le cas des systèmes mobiles évalués en conditions réelles.

C’est pourquoi MultiCom s’intéresse à l’utilisation des traces de l’activité des utilisateurs. Ces traces ont pour origine les dispositifs eux-mêmes, l’environnement, ou encore peuvent être issues de capteurs portés par l’utilisateur. Ces traces permettent de reconstruire l’activité de l’utilisateur, et en conséquence d’évaluer les difficultés qu’il éprouve lors de l’utilisation du système interactif testé. Nous nous intéressons à l’ensemble de la chaîne de traitement de ces traces, depuis la phase de recueil, jusqu’à celle d’analyse.

Nous travaillons notamment sur le principe de la remontée d’anomalies, c’est-à-dire que l’automatisation a pour objectif de détecter les situations qui mettent en lumière un problème d’utilisabilité potentiel, mais en laissant à l’expert de soin de valider. Lorsque cela est possible, l’usage des enregistrements audio-vidéo est utilisé comme référence afin interpréter le problème détecté. Les résultats issus du traitement des traces nous permettent également d’analyser et de classifier le comportement humain, par exemple définir une typologie des visiteurs d’un Musée.

Notre objectif est d’automatiser cette chaîne de traitement afin de rendre le processus d’évaluation de l’utilisabilité plus reproductible et efficient. Il ne s’agit pas d’automatiser le processus d’évaluation en lui même, mais de l’assister le plus possible par des outils déterministes d’analyse de données, notamment pour les tâches les plus fastidieuses.