Einführung ins Usability Testing

Der Beschluss, an einem Prototypen oder Produkt zum ersten Mal einen Usability Test durchzuführen beginnt oft mit der Frage, was der User eigentlich erwartet. Diskussionen darüber, was User brauchen, mögen oder ablehnen, sind innerhalb des zuständigen Teams oft langwierig und selten zielführend. Stattdessen sollte man Prototypen direkt am User testen, bevor mit der tatsächlichen Produktentwicklung begonnen wird.


Im Rahmen von Usability Tests kann man User der Zielgruppe bitten, Features oder Teile eines Produktes zu benutzen, um deren Effektivität zu testen. Der Gewinn ist für die User ein Endprodukt, was besser an ihre Bedürfnisse angepasst ist. Die Entwickler sparen Zeit und Geld. Werden Tests vor Beginn der Entwicklung an Prototypen durchgeführt, spart man sich unter Umständen die Umsetzung und das anschließende Redesign eines Flops. Testet man bereits existierende Produkte, kann man herausfinden, welches Problem Kunden genau lösen wollen, anstatt blind zu raten.


Usability Tests lassen sich nach verschiedenen Kategorien unterscheiden: sie können moderiert (durch einen Testleiter) oder unmoderiert (der Proband bearbeitet die Fragestellung selbstständig mit Hilfe eines Skripts) und remote (bzw. online von einem beliebigen Ort aus) oder im Labor stattfinden. Dabei hat natürlich jede Form des Usability Testing seine eigenen Vor- und Nachteile.

Planung eines Usability Tests

Um sicherzustellen, dass alle Tests in der vorgesehen Zeit durchgeführt werden können, ist es sinnvoll, einen Zeitplan aufzustellen. Diese sieht je nachdem, wie viele Tage für die Tests vorgesehen sind unterschiedlich aus. Auf jeden Fall sollte aber genau geplant werden, was genau an welchem Tag (oder Vor- bzw. Nachmittag) passieren soll. Dabei muss unbedingt darauf geachtet werden, sich nicht nur auf die Durchführung der Tests und die Analyse der Daten zu konzentrieren. Auch für die Planung des Tests und die Rekrutierung der Probanden muss ausreichend viel Zeit eingeplant werden. Insbesondere die Rekrutierung gestaltet sich häufig zeitaufwändiger als erwartet.


Als zweiter Schritt ist festzulegen, was genau der Untersuchungsgegenstand ist. Falls nicht sowieso das Klären einer bestimmten Frage der Grund für den Usability Test ist, kann man sich hier an den Product Goals orientieren. Werden alle Product Goals erreicht? Falls nicht helfen Usability Tests, zu erkennen, warum nicht. Am besten wird das Ziel der Untersuchung mittels eines Product Statements und einer zu überprüfenden Hypothese definiert. Dabei sollte das Problem Statement einen möglichen Grund für das auftretende Problem beinhalten. Die Hypothese soll dann einen Vorschlag zu Verbesserung machen, welchen es zu testen gilt.


Schließlich müssen Metriken festgelegt werden, welche die Testergebnisse messbar machen. Eine gute Metrik ist vergleichbar, anwendbar und messbar und macht die Testergebnisse somit so quantifizierbar wie möglich. Beispiele sind die Bewertung des Produkts auf standardisierten Skalen oder die Anzahl von Fehlern beim Versuch, das Product Goal zu erreichen.

Vorbereitung des Tests

Usability Tests basieren darauf, dass User versuchen, mit einem Produkt oder auf einer Website einen bestimmten Task zu erledigen. Um sicherzustellen, dass es sich bei diesen Tasks um ein realistisches Szenario handelt, sollte man sie aus den User Goals ableiten. User Goals sind die “größeren Ziele”, die der Hauptgrund für die Nutzung des Produktes sind. Normalerweise haben User ein solches Ziel im Kopf, jedoch ohne genaue Vorstellung davon, welche Schritte nötig sind, um es zu erreichen.


Abgeleitet aus den User Goals können anschließend die Tasks, welche im Rahmen des Tests bearbeitet werden sollen, festgelegt werden. Um zu überprüfen, wie effizient User das Ziel erreichen, müssen alle möglichen Wege zum Ziel Schritt für Schritt festgehalten werden. So kann später die vom User genommene Route mit dem idealen Weg verglichen werden.


Damit die Teilnehmer während dem Test einen Anhaltspunkt dafür haben, was von ihnen erwartet wird, ist es nötig, ein Skript zu schreiben. Dieses soll den Ablauf des Usability Tests erklären, das Setting veranschaulichen und den Testpersonen die nötige Anleitung zur Teilnahme geben. Vorgegeben wird dabei idealerweise ein breit definiertes Ziel (“Buchen Sie auf der Website einen Urlaub mit Flug, Übernachtung und Aktivitäten für zwei Tage.”) oder einen Task, ohne dabei aber den Weg zum Ziel vorzugeben (“Kaufen Sie ein paar schwarze Herrenschuhe.”). Wichtig ist, die Tasks so zu formulieren, dass die Aufgabenstellung die User nicht beeinflusst, oder unabsichtlich die Lösung für das Problem verrät.


Der letzte Schritt vor dem Durchführen des Tests ist die Rekrutierung von Probanden. Da wir zum Thema Rekrutierung bereits letzte Woche einen Artikel veröffentlicht haben, hierzu nur zwei kurze Anmerkungen:

• Je genauer die Testpersonen der Zielgruppe entsprechen, desto wertvoller sind die gesammelten Ergebnisse
• Von allen Schritten der Vorbereitung kann die Rekrutierung der zeitaufwändigste sein, deshalb sollte man zeitig mit der Suche nach Probanden beginnen

Testing Sessions vorbereiten (und moderieren)

Obwohl der Ablauf der Testing Session nach der obigen Vorbereitung klar sein und ein Skript vorliegen sollte, schadet es nicht, sich nochmals auf die Durchführung vorzubereiten. Dazu gehört, vor Beginn des Tests noch einmal zu überprüfen, ob sämtliches benötigtes Equipment funktioniert. Hierzu gehören neben Kameras, Micros und für den Test benötigten PCs auch das zu testende Produkt bzw. der Prototyp.


Testleiter sollten sich vor dem Test Best Practices (z.B. das Stellen von offenen Nachfragen) sowie zu vermeidende Verhaltensweisen (z.B. unabsichtliches Beeinflussen der Teilnehmer) oder unabsichtliche Hilfestellung beim Lösen der Tasks ins Gedächtnis rufen. Finden die Tests unmoderiert und remote statt, muss man sich natürlich kaum Gedanken um das Verhalten der Versuchsleiter machen. Umso wichtiger ist es jedoch, sicherzustellen, dass die Technik funktioniert. In diesem Fall muss insbesondere Software zum Aufzeichnen des Bildschirms der Teilnehmer sowie zur Audio-Aufnahme getestet werden.


Direkt vor Beginn des Tests ist es hilfreich, den Teilnehmern entweder mündlich oder per Pop-Up einige Hinweise zu geben:

• Es handelt sich nicht um einen (Leistungs-) Test. Getestet werden nicht die Teilnehmer, sondern das Produkt – das Ziel ist dabei einzig das Sammeln von Insights.
• Falls Teilnehmer auf Probleme stoßen, ist es sehr hilfreich für die Produktentwicklung, wenn sie ihr Problem laut durchdenken.
• Falls nötig sollte man Teilnehmer dazu anhalten, nicht über den Inhalt des Tests, das untersuchte Produkt oder die gestellte Aufgabe zu sprechen.

Analyse und Kommunikation der Ergebnisse

Liegen die Befunde als Audio- oder Video-Datei vor – was bei Thinking Aloud Tests und remote Usability Testing im Allgemeinen der Regelfall ist – ist es eine Überlegung wert, ein Transkript anzufertigen. Textdateien haben eine Reihe von Vorteilen im Vergleich zu Audio/Video: sie sind einfacher zu verschicken, zu markieren und analysieren, zu überfliegen und durchsuchbar.


Für die Auswertung von Usability Tests oder Think Aloud Tests gibt es viele verschiedene Möglichkeiten. Um Zugehörigkeiten oder Zusammenhänge zu Erkennen helfen Affinity Diagrams. Cause-Effect Diagrams helfen, Ursachen für Probleme zu erkennen. Ein weiterer Ansatz ist es, verschiedene Arten von Findings auf verschiedenfarbige Post-Its zu schreiben und über räumliches Sortieren und Clustering nach Zusammenhängen und weiterführenden Erkenntnissen zu suchen. In jedem Fall sollten bei der Analyse die meist verbreiteten Arten von Cognitive Bias im Hinterkopf behalten werden, um Misinterpretationen soweit wie möglich zu vermeiden.


Die Kommunikation der finalen Erkenntnisse hängt stark davon ab, wem die Ergebnisse präsentiert werden sollen. Von einer knappen E-Mail mit den wichtigsten Punkten und dem Rahmen der Studie über eine PowerPoint Präsentation bis hin zum detaillierten Report ist quasi alles denkbar. Je nachdem, was das Gegenüber erwartet oder vorhat mit den Ergebnissen zu tun, kann die eine oder andere Art passender sein. Ganz unabhängig von der Art der Präsentation ist es aber immer sinnvoll Screenshots, Zitate, “Beweisbilder” oder wenn möglich Highlight-Videos einzubinden.




Im Usability und UX Testing gewonnene Erkenntnisse bilden die Grundlage für Produktdesign mit Fokus auf den Endnutzer. Interesse an weiteren Informationen zum Thema? Hier mehr lesen über holistisches UX Design und Empathie im UX Design!