Les tests utilisateurs sont fondés sur le comportement réel des visiteurs en activité. Contrairement aux sondages qui se concentrent sur ce que nous pensons, les tests utilisateurs analysent ce que nous faisons.

Ainsi nous mesurons de façon objective les succès, échecs ou abandons pour chaque tâche effectuée. Nous savons alors dans quelle mesure le site est utilisable et quelles sont les tâches qui posent problème aux visiteurs.

Néanmoins, pour connaître les raisons possibles de ces résultats (notamment les échecs et les abandons) nous collectons des données subjectives : commentaires sur une difficulté ou un échec ainsi que la difficulté perçue de chaque tâche.

L’intérêt de ce type d’information est qu’elle est collectés dans l’action, immédiatement à la suite de l’utilisation du site. Dans ce sens, les remarques des utilisateurs diffèrent d’un sondage d’opinion hors contexte d’utilisation.

Mesures d’utilisabilité

Efficacité : taux de réussite.

Nombre de réussite sur le nombre total de participants.
Le taux d’échec et le taux d’abandon complètent cette mesure. Dans le cas d’un échec le participant à donné une réponse fausse alors qu’un abandon signifie qu’il a cliqué sur "Abandonner" conscient qu’il n’arrivait pas à effectuer la tâche

La somme des pourcentages de réussite, d’échec et d’abandon est égale à 100.

Efficience : réussite pondérée par le temps de réalisation des tâches.

Pour un même nombre de tâches réussies, l’idée est de permettre aux utilisateurs de réussir le plus rapidement possible. Le temps est considéré comme proportionnel à l’effort investi par l’utilisateur pour réaliser une tâche.

Satisfaction :difficulté perçue et du nombre de commentaires positifs.

Les utilisateurs notent de façon subjective la difficulté d’une tâche sur une échelle de 1 à 5.

Ils peuvent également laisser des commentaires soit positifs, soit négatifs. Ces informations sont fusionnées pour le calcul de la satisfaction.

Les résultats sont également détaillés pour chaque tâche.