Methodik

Beim User-Test kommt die sog. Methode des lauten Denkens zum Einsatz. Die User werden aufgefordert, ihre Gedanken während der Testsitzungen laut auszusprechen, die Anwendung also gewissermaßen zu kommentieren. Alles was ihnen positiv oder negativ auffällt, sprechen sie laut aus. Dadurch weiß man, wo die Stärken und Schwächen der Applikation liegen. Bereits während des Tests werden die wichtigsten Punkte notiert. Außerdem wird eine Audioaufnahme jeder Testsitzung angefertigt, die anschließend ausgewertet werden kann.

Beobachtung + Befragung = Höherer Erkenntnisgewinn

Die Methode des lauten Denkens hat sich in der Usability-Forschung etabliert. Es handelt sich bei ihr um eine beobachtende Methode: Man schaut und hört dem Probanden bei der Nutzung zu und erfährt dadurch etwas über die Anwendung. Um den Erkenntnisgewinn weiter zu steigern, belässt man es aber nicht bei der reinen Bebachtung, sondern befragt die Probanden auch. Im Rahmen der Nachbefragung lässt man die Testsitzung zusammen mit den Testpersonen noch einmal Revue passieren und spricht ungewöhnliche und problematische Punkte an. Dadurch wird der Informationsgewinn weiter gesteigert.

Videoaufnahmen und Personendaten runden das Bild ab

Während einer Testsitzung werden neben der Audioaufnahme (Kommentare des Probanden) auch zwei Videoaufnahmen angefertigt. Zum einen wird der Bildschirm des Testcomputers gefilmt inklusive Mausbewegungen, Mausklicks und Tastenanschläge, um die Aktionen der Probanden besser nachvollziehen zu können. Zum anderen werden die Probanden selbst aufgenommen, um das Minenspiel und die Gestik analysieren zu können. In Kombination mit den personenspezifischen Daten aus der Vorbefragung (Alter, Geschlecht, Online-Erfahrung, etc.) und den applikationsspezifischen Daten aus der Nachbefragung (Fragen zur Anwendung) entsteht so ein ganzheitliches Bild.

Quantitative Daten ermöglichen Vergleich mit Mitbewerbern

Bei den Problemen, die während der Nutzung auftreten, handelt es sich um qualitative Daten. Ein User-Test ist deshalb in erster Linie eine qualitative Methode. Es wird aber auch eine ganze Reihe quantitativer Daten ermittelt. Wichtige Maßzahlen sind z.B. die Erfolgsquote (wie viel Prozent der User können eine Aufgabe lösen), die "Time on Task" (wie lange benötigen die User für die Erledigung einer Aufgabe) oder die Fehlerquote (Anzahl der Fehler pro Aufgabe). Interessant werden diese Zahlen vor allem dann, wenn es Werte gibt, mit denen sie verglichen werden können. Das können zum einen Daten der Mitbewerber sein, deren Seiten mitgetestet wurden. Oder Daten aus einem Nachher-Test der eigenen Site, wenn die Usability-Schwächen behoben wurden. Diese Maßzahlen dienen daneben auch der Rechtfertigung von Usability-Maßnahmen und der Ermittlung des "Return on Investment" (ROI).