Bachelor Thesis: Sollte der Testleiter während des Usability Tests neben der Testperson sitzen?

Als Abschluss meines Studiums in Angewandter Psychologie an der Fachhochschule Nordwestschweiz durfte ich meine Bachelor Thesis bei der soultank AG als Praxispartner schreiben. Die Arbeit untersuchte, wie sich zwei Varianten des Usability Tests (klassischer Usability Test und Usability Walkthrough) unterscheiden. Es wurde analysiert, wie positiv oder negativ die Teilnehmer die beiden Testvarianten erlebten, wie stark sie durch den Test beansprucht wurden und wie sich die Qualität der Testergebnisse verhalten.

Der klassische Usability Test und der Usability Walkthrough

Mittels Usability Tests können mögliche Schwachstellen eines Systems direkt aus Benutzersicht ermittelt werden. Die Testperson löst realistische Aufgaben mit einem System.

  • Beim Usability Walkthrough sitzt der Testleiter neben der Testperson im gleichen Raum und begleitet diese durch den Test. Der Testleiter beobachtet und stellt Fragen zum besseren Verständnis des Benutzungserlebnisses.
  • Beim klassischen Usability Test beobachtet der Testleiter die Testperson aus einem separaten Raum bspw. durch einen Einwegspiegel. Die notwendige Kommunikation findet über eine Gegensprechanlage statt.
Testsituation
Beim Usability Walkthrough sitzt der Testleiter neben der Testperson (Bild links ), beim klassischen Usability Test berfindet sich der Testleiter in einem separaten Raum (Bild rechts).

Vor und Nachteile der beiden Testvarianten

Klassischer Usability Test

Der Vorteil des klassischen Usability Tests liegt in der höheren Standardisierung und im geringeren Einfluss des Testleiters (da sich der Testleiter in einem anderen Raum aufhält, als die Testperson). Die Nachteile liegen in der teuren Einrichtung (Labor und Einwegspiegel) und im erschwerten Eingehen auf die Befindlichkeit der Testperson.

Klassischer Usability Test im Labor
Klassischer Usability Test im Labor

Usability Walkthrough

Folgende Vorteile weist der Usability Walkthrough auf:

    • Einfacher Einsatz, kein Labor nötig, überall durchführbar
    • Testleiter kann besser auf Testperson eingehen durch persönlichen Kontakt
    • Durch Gespräch während des Tests viele zusätzliche Informationen zu den Schwachstellen eines System
Usability Walkthrough
Usability Walkthrough

Nebst den Vorteilen der Variante des Usability Walkthroughs ist zu bedenken, dass der Einfluss des Testleiters durch die grössere räumliche Nähe zur Testperson erhöht ist. Für die Durchführung des Usability Walkthroughs spielt die Erfahrung des Testleiters deshalb eine noch grössere Rolle als beim klassischen Usability Test. soultank AG möchte deshalb den Einfluss des Testleiters auf die Testpersonen und die Testergebnisse untersuchen.

Methodisches Vorgehen der Arbeit

Die Website der Klubschule Migros wurde mit 40 Testpersonen getestet (20x klassischer Usability Test, 20x Usability Walkthrough).

Folgende Variablen wurden gemessen:

  • Testerlebnis (mittels Fragebogen)
  • Beanspruchung (Pulsmessung)
  • Anzahl gefundene Usability Probleme
  • Anzahl gelöste Testaufgaben

Ergebnisse

Die Auswertung zeigte, dass der Usability Walkthrough von den Testpersonen massgeblich positiver als der klassische Usability Test erlebt wurde. Der Usability Walkthrough wurde von den Testpersonen eher als Gespräch und der klassische Usability Test eher als Test wahrgenommen.

Während der Testdauer von 30 Minuten lösten die Testpersonen beim Usability Walkthrough wesentlich mehr Testaufgaben als beim klassischen Usability Test.

Fazit

Die Auswertung der Daten zeigte, dass die Testvariante für die Ergebnisse eines Usability Tests keine Rolle spielt. Allerdings erleben die Testpersonen den Usability Walkthrough als positiver und natürlicher als den klassischen Usability Test. Ausserdem können in der gleichen Zeitdauer mehr Testaufgaben gelöst werden.

Dank

Für die hilfreiche Unterstützung und Ratschläge möchte ich mich herzlich beim gesamten Team von soultank AG und insbesondere bei Marcel Uhr bedanken.

Präsentation

Am 28.11.2014 stellte ich meine Bachelor Thesis am Last Thursday Event in Zürich vor.

Falls die Präsentation oben nicht sichtbar ist, hier der direkte Link dazu

 

Stefanie Friedli

4 Kommentare zu “Bachelor Thesis: Sollte der Testleiter während des Usability Tests neben der Testperson sitzen?

  1. Vielen Dank für die Anfrage. Entschuldige die späte Antwort, WordPress hat uns nicht über deinen Kommentar informiert. Das PDF ist zu dir unterwegs.

  2. Hallo Stefanie, spannender Bericht!
    Leider kann ich nicht auf die Prezi-Datei zugreifen. Könntest du mir die Datei oder das PDF per Mail zukommen lassen?
    Danke, Sandro

  3. Lieber Sandro, danke für dein Interesse. Ich werde dir den Link und das pfd per Mail zustellen.

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert.