10 Arten des Cognitive Bias im User Testing

Unter dem “Cognitive Bias” versteht man in vielen Gebieten der Forschung – z.B. in der Psychologie oder den Humanwissenschaften – eine Art gedankliches Vorurteil oder bestimmte vorhandene Einstellungen des Forschers. Dieser Bias kann Forschungsergebnisse beeinflussen oder sogar verfälschen. Dabei ist Cognitive Bias in alltäglichen Situationen sehr nützlich: er hilft dabei, schnell und effizient Entscheidungen zu treffen. Ursprung das Cognitive Bias liegt darin, dass man in der Regel sehr ungleichmäßig mit Informationen versorgt wird.


Tendenziell erhält das Gehirn permanent zu viele Informationen, unter welchen auch viele unbrauchbar sind. Aus diesem Grund ist die erste, natürliche Reaktion, aggressiv jede Informationen herauszufiltern, die nicht als sofort relevant aus der Masse hervorsticht. Auf der anderen Seite fehlen häufig Informationen, die zum Einschätzen der Gesamtsituation wichtig wären. In diesem Fall ist das menschliche Gehirn sehr gut darin, Lücken einfach mit passenden Informationen “aufzufüllen”. Solange diese Lückenfüller in das eigene Bild der Realität passen, ist dabei erstmal zweitrangig, ob sie tatsächlich der Wahrheit entsprechen.

Wie beeinflusst Cognitive Bias User Research?

Während diese Mechanismen im Alltag sehr nützlich sind und in der Regel auch gut zum Treffen angemessener Entscheidungen beitragen, stellen sie in der Forschung und folglich auch im Bereich User Research ein Problem dar. Hier wird Cognitive Bias eher negativ verstanden: als systematischer, unlogischer Denkfehler, welcher Urteile und Entscheidungen einschränkt und die Aussagekraft ganzer Umfragen und Beobachtungsreihen negativ beeinflussen kann.


Grob können die verschiedenen Arten von Cognitive Bias in drei Kategorien eingeteilt werden, je nachdem von welcher Seite aus Bias die Situation beeinflusst: von der Seite des Versuchsleiters/Forschers aus, von der Seite der User/Probanden oder ausgehend von der Versuchssituation.

Cognitive Bias des Versuchsleiters

Confirmation Bias: die Tendenz, ausschließlich die Informationen zu suchen, registrieren, beachten und speichern, die mit der eigenen Meinung übereinstimmen. Dieses Bestätigen eigener, vorgefestigter Annahmen ist oft keine bewusste Entscheidung. Testet man beispielsweise einen Prototypen, von dem man fest erwartet, dass er funktioniert, passiert es leicht, dass auftretende Probleme übersehen oder als unwichtig angesehen werden. Vermeiden lässt sich diese Art des Bias, indem Researcher sich eines aktiv bewusst machen: Ziel der Forschung ist nicht, ihre eigene Meinung zu bestätigen, sondern dem User aufmerksam zuzuhören. Außerdem sollten Datenpunkte, welche den eigenen Annahmen widersprechen, sorgfältig analysiert werden.


Versuchsleiter-/Rosenthal-Effekt: da man als Versuchsleiter eine bestimmte Erwartung an das Ergebnis oder den Ablauf eines Experiments hat, kommt es vor, dass diese Erwartungen unbewusst nach außen transportiert werden. Menschen sind sehr gut darin sind, sehr subtile nonverbale Hinweise wahrzunehmen. Deshalb können bereits Unterschiede im Tonfall, der Körperhaltung oder Stimmung des Versuchsleiters den Probanden Hinweise auf die erwartete Antwort geben. Hier kann es helfen, das Durchführen des Interviews zu üben und von Kollegen – oder besser Außenstehenden – Feedback über die Neutralität des eigenen Verhaltens einzuholen.


Gefärbte Formulierung: besonders bei mündlichen Interviews passiert es leicht, dass der Interviewer Fragen so formuliert, dass sie eine bestimmte Antwort nahelegen, oder die Antwort zumindest beeinflussen. Ein extremes Beispiel sind Fragen, welche mit “Finden Sie nicht auch, dass…” beginnen. Aber auch die Frage “Auf einer Skala von 1-10, wie schwierig fanden Sie es, XY zu erreichen?” beeinflusst die Befragten. Schließlich legt die Formulierung nahe, dass es schwierig war, die Frage zu lösen und lässt dem Befragten lediglich offen, einzuschätzen, wie schwierig. Fragebögen sollten auf jeden Fall unter diesem Gesichtspunkt korrekturgelesen werden, für mündliche Interviews sollte man sich im Voraus standardisierte, neutrale Formulierungen überlegen.


Framing: hierbei handelt es sich um ein Problem der Dateninterpretation. Je nachdem, wie die Aufbereitung aussieht, kann ein und dieselbe Datenlage sehr unterschiedlich aussehen. So klingen die Aussagen “30% der Befragten haben das Feature abgelehnt.” und “70% der Befragten wünschen sich das Feature.” sehr unterschiedlich. Um dieser Art des Bias vorzubeugen, hilft es, sich zu überlegen, warum man das Ergebnis als positiv bzw. negativ wahrnimmt und was der Umkehrschluss wäre.

Bias von Seite der Teilnehmer

Hawthorne-Effekt: quasi der Umkehrschluss des Rosenthal-Effekts. Sind Versuchsteilnehmer sich der Tatsache, dass sie sich in einem Experiment befinden bewusst, ändern sie ihr Verhalten. User, die beim Nutzen einer App aufgenommen werden, geben sich besonders viel Mühe, keine Fehler zu machen. Schließlich möchten sie sich nicht blamieren. Gewissermaßen wollen die Probanden beim Test “gut abschneiden”. Das kann beispielsweise dazu führen, dass sogar Hinweise und Hilfetexte gelesen werden, welche man normalerweise nicht mal überfliegen würde. Aus diesem Grund sollten Testpersonen explizit darauf hingewiesen werden, dass es keine richtige oder falsche Art gibt, den Task zu beenden. Auch eine Art “Warm-up” vor dem tatsächlichen Test, während dem Probanden sich mit dem Testobjekt vertraut machen, kann hier helfen.


Soziale Erwünschtheit: Tendenz der Probanden, das zu antworten, was auf soziale Zustimmung trifft, anstatt ihre wahre Meinung anzugeben. In Gruppensituationen (z.B. Focus Groups) versuchen Teilnehmer oft, Ablehnung und Konfrontation zu vermeiden. Auch gegenüber dem Interviewer werden teils höfliche Antworten gegeben. Enthält ein Versuch entsprechend kontroverse Fragen, sollten Teilnehmer darauf hingewiesen werden, dass es keine richtigen oder falschen Antworten gibt und einzig ihre individuelle Meinung von Interesse ist. Auch ein Hinweis auf die Vertraulichkeit der Situation kann hilfreich sein.


Prinzip des geringsten Widerstands: Tendenz der Probanden, die Antwort zu geben, mit der der Test vermeintlich am schnellsten beendet wird. Dieser Effekt hängt stark mit der sogenannten “survey fatigue” also der Ermüdung von Befragungen zusammen. Besonders wenn viele ähnliche Aufgaben oder Frageformate verwendet werden, sollten Tests und Interviews zeitlich begrenzt werden. Der Fokus sollte auf einer relativ kleinen Anzahl der wichtigsten Fragen liegen. Zusätzliche Fragen sollten weitestgehend aus dem Fragebogen eliminiert werden.

Situationsbedingte Einflüsse

Stichproben Bias: da an Befragungen und Experimenten nie die ganze Grundgesamtheit teilnehmen kann, ist das übliche Vorgehen, eine zufällige Stichprobe zu untersuchen, welche als repräsentativ angesehen wird. Manchmal kann es allerdings vorkommen, dass Teile der Usergruppe unabsichtlich aus Untersuchung ausgeschlossen werden. Stichproben Bias kann durch Selbstrekrutierung entstehen, oder vorkommen, wenn relevante Teilgruppen der Grundgesamtheit nicht bekannt sind. Um diese Art des Bias zu vermeiden, sollte die Zielgruppe und ihre Eigenschaften genau charakterisiert und entsprechend im Sample eingeschlossen werden.


Zeitlich bedingter Bias: auch die Uhrzeit oder der Wochentag, zu welchen die Usability Tests durchgeführt werden, können die Datenlage verzerren. Einerseits kann es vorkommen, dass Teile der Zielgruppe systematisch von der Testteilnahme ausgeschlossen werden (z.B. Berufstätige, wenn Tests immer unter der Woche vormittags durchgeführt werden), andererseits kann sich auch das Verhalten der Teilnehmer unterscheiden. Beispielsweise ist davon auszugehen, dass die Stimmung von Teilnehmern montags vormittags eine andere ist, als freitags kurz vor Feierabend.


Task-Selection Bias: dieser Bias ist darauf zurückzuführen, dass die meisten Probanden das Ziel einer Studie hinterfragen. So wird unter anderem davon ausgegangen, dass allein die Tatsache, dass ein Task im Rahmen eines Usability Tests gestellt wird, heißt, dass die Aufgabe in jedem Fall lösbar ist. Das bedeutet in diesem Fall, dass Probanden ausdauernder versuchen, die Lösung zu finden. Selbstständig, vor dem eigenen Endgerät, werden Tasks wesentlich schneller aufgegeben, da User nicht sicher sein können, ob sie ihr Ziel auf einer bestimmten Website o.ä. überhaupt erreichen können.

Konsequenzen für die UX/Usability – Forschung und das User Testing

Sich komplett von Cognitive Bias zu lösen, ist schwer bis unmöglich. Wie bereits erwähnt, würde man sich im Alltag ohne Cognitive Bias unnötig lang an bestimmten Entscheidungen aufhalten. Zudem treten natürlich auch nicht alle oben genannten Formen des Bias regelmäßig auf. User Researcher sollten sich ihrer eigenen mentalen Modelle und verwendeter Heuristiken bewusst werden. So fällt auf, wenn die eigene Wahrnehmung von ihnen beeinflusst wird und man kann aktiv gegen unbewusstes Verfälschen der Daten vorgehen.




User Research, Usability Testing, UX Research – gibt es da Unterschiede und wenn ja, wo liegen sie? Einen Einblick in diese Frage und entsprechende Disfferenzierungsmerkmale gibt es hier!