Heuristische Evaluation als UX Methode?

Die Möglichkeit, eine heuristische Evaluation oder ein Expertenreview durchzuführen ist im Leistungssprektrum vieler Usability und UX-Dienstleister enthalten. Auch Leitfäden zum Durchführen solcher Evaluationen am eigenen Produkt sind sowohl online, als auch in entsprechender Fachliteratur zu finden. Allerdings ist der Mehrwert, der aus dieser Methode gezogen werden kann stark vom Produkt, dem durchführenden Experten und dem dem Ziel, welches das Review erreichen soll abhängig.

Was genau ist eine heuristische Evaluation?

Die heuristische Evaluation liegt im Spannungsfeld zwischen Expertenwissen im Bereich Design und dem Ansatz des User-Centered-Designs. Das Grundprinzip ist recht einfach: eine kleine Gruppe von Experten versetzt sich in die Lage eines fiktiven Nutzers und untersuchen mit dessen Sichtweise ein Produkt oder einen Prototypen. Dabei orientieren sie sich an sogenannten UX/Usability Heuristiken. Hierbei handelt es sich um Daumenregeln für das Designen nutzerfreundlicher Produkte.

Ursprünglich war die heuristische Evaluation als eine Art “Discount Usability Methode” gedacht. Sie sollte allen die Möglichkeit geben, die Usability ihrer Produkte zu verbessern. So auch kleine Teams oder Unternehmen, die sich keine Usability Tests im Labor mit echten Usern leisten können. Das Expertenreview ist also nicht direkt mit anderen Usability Testmethoden vergleichbar.

Aufbauend auf der Arbeit verschiedener Forschungsgruppen (z.B. Nielsen und Norman, die zu diesem Zeitpunkt noch nicht zusammen arbeiteten) wurden bereits in den 90ern verschiedene Heuristiken und Evaluationsleitfäden zur Verbesserung der Mensch-Computer-Interaktion entwickelt. Diese wurden im Laufe der Zeit mehrfach überholt und erweiter. Teilweise werden sie aber auch bis heute unverändert zur heuristischen Evaluation digitaler Produkte eingesetzt.

Ablauf des Expertenreviews

Bevor mit der Evaluation eines Produktes begonnen wird, müssen einige Rahmenbedingungen gegeben sein. Um einen angemessen hohen Anteil der Usability Probleme eines Produktes aufzudecken (ca. 60-75%) sollten 3-5 Experten für die Durchführung des Reviews gewonnen werden. Zudem muss aus dem Pool verfügbarer Heuristiken ein zu verwendendes Set ausgewählt werden. Schließlich muss das Nutzungsszenario klar festgelegt werden. Hierzu gehören das zu testende Produkt/der Prototyp, Kunden Personas, der Kontext der Nutzung und schließlich die genaue Definition der durchzuführenden Tasks.

Die beteiligten Experten gehen die Tasks getrennt voneinander Schritt für Schritt durch, während sie versuchen, sich so gut wie möglich in den Enduser hinein zu versetzen. Dabei werden Probleme auf Basis der gewählten Heuristiken identifiziert und abhängig von ihrer Schwere gewichtet. Probleme und daraus folgende Handlungskonsequenzen sowie zu Korrigierendes werden festgehalten.

Schließlich werden die Ergebnisse aller beteiligten Experten gesammelt, verglichen und als Bericht zusammengefasst. Aus der Summe der Reviews lassen sich im Idealfall Key Issues identifizieren und in einer Diskussion innerhalb des Entwicklungsteams Lösungsansätze finden.

Vorteile heuristischer Evaluation

Wird sie zum richtigen Zeitpunkt eingesetzt und korrekt ausgeführt, hat die heuristische Evaluation folgende Vorteile:

• Heuristische Evaluation ist in der Regel ein relativ schlanker Prozess und lässt sich gut mit anderen Methoden zur Verbesserung von UX und Usability vereinen
• Der Einsatz bestimmter Heuristik-Sammlungen kann helfen, Probleme zu identifizieren, welche sonst nicht aufgefallen wären
• Wird die Evaluation von eigenen Experten durchgeführt, treten Probleme bezüglich der Dokumentation von Usertests und damit verbunden Datenschutzprobleme gar nicht erst auf
• Die heuristische Evaluation gilt als schnelle, günstige Art, Feedback für Designer und Produktentwickler zu generieren, welche bereits früh im Designprozess eingesetzt werden kann

Dabei der letzte Punkt aus heutiger Sicht fraglich. Dass eine heuristische Evaluation schnell durchführbar ist, stimmt. Allerdings ist sie nur dann wirklich gǘnstig, wenn in der Firma eine entsprechend große Anzahl an UX Experten vorhanden ist. Die Frage, ob ein Expertenreview heutzutage tatsächlich billiger ist, als ein User Test steht außerdem im Raum. Während das Testen von Usern im Usability Labor – welches die heuristische Evaluation ursprünglich ablösen sollte – teuer ist, gibt es heute weitere Möglichkeiten wie remote Tests. Auch spricht nichts dagegen, schon sehr früh im Designprozess Tests mit echten Usern durchzuführen.

Nachteile heuristischer Evaluation

Wie schon aus dem vorherigen Abschnitt hervorgeht, hat das Expertenreview einige nicht zu vernachlässigende Nachteile:

• Die Evaluation funktioniert nur dann wirklich gut, wenn mehrere Experten vorhanden sind und diese die Evaluation völlig unabhängig von einander durchführen
• Während bei heuristischen Evaluationen oft kleinere Probleme auffallen, welche beim Testen mit echten Nutzern nicht aufgefallen wären, kommt es teilweise auch zu sogenannten “false positives”. Hierbei handelt es sich um identifizierte Probleme, die der reale Endnutzer nicht unbedingt als störend wahrnimmt
• Es ist fraglich, ob die zugrunde liegenden Heuristiken und best practices jemals formal getestet wurden oder überhaupt noch aktuell sind
• Im Endeffekt ist die Analyse nur so gut, wie die zugrunde liegenden Heuristiken. Schließlich wird das Produkt nur anhand dieser bewertet und nicht in der freien Interaktion getestet.
• Damit das Review wirklich gut funktioniert, reicht es nicht, wenn der Durchführende reiner UX-Experte ist. Im Idealfall kennt er Charakteristika des Projekts (wie technische Einschränkungen), sowie die Zielgruppe gut.
• Ist der Evaluierende Teil des Teams steigt die Befangenheit bei der Kommunikation der gefundenen Probleme. Im Gegensatz zu echten Usern wird der Reviewer versuchen, seine Kollegen nicht zu verärgern.

Konsequenzen für das Durchführen von Experten ReviewsWährend die heuristische Evaluation durchaus ihre Daseinsberechtigung innerhalb der UX/Usability hat, ist sich die Branche weitestgehend einig: Experten Reviews unterscheiden sich grundlegend vom User Testing. Während Experten Reviews Tests mit realen Endnutzern auf keinen Fall ersetzen können, sind die beiden jedoch gut vereinbar.

Die heuristische Evaluation ist gut geeignet, um zu überprüfen, ob der frühe Prototyp eines Produktes grundlegenden Anforderungen der Usability entspricht. Grobe, offensichtliche Fehler können so direkt vom zuständigen Team erkannt und behoben werden. Das kann beispielsweise als erster Schritt angesehen werden, bevor ein Produkt zum Testen an echte Nutzer weitergegeben wird. So müssen die Testpersonen sich nichtmehr mit offensichtlichen Problemen auseinandersetzen, sondern können die UX/Usability tiefergehend untersuchen.


Experten Review durchgeführt und als nächstes? Einen Überblick über mögliche nächste Schritte mit echten Usern gibt es hier.