Tips für das Rekrutieren von Teilnehmern beim User Testing

Vereinfacht gesehen, ist beim Planen und Durchführen von User Testing Sessions auf drei Punkte zu achten:

1. Die Rekrutierung repräsentativer Tester
2. Die Definition einer repräsentativen Aufgabe mit Produkt
3. Sich selbst soweit wie möglich zurückzunehmen, und den User reden zu lassen.

Wie der erste Punkt verdeutlicht, ist User Testing ohne Probanden bzw. User natürlich unmöglich. Während es nicht weiter schwierig ist, irgendeine Gruppe von Probanden zu rekrutieren, sollte man sich einiger Rahmenbedingungen zur Rekrutierung bewusst sein.

Repräsentative User rekrutieren

Wer regelmäßig UX und Usability Tests oder User Research durchführt, merkt schnell, dass die Rekrutierung die Basis jeden weiteren Vorgehens ist. Ein systematisches Rekrutierungsprogramm mit entsprechenden Ansprache-Kanälen, Screening Fragen und Incentives festzulegen, erhöht die Effizienz ungemein. Wer effizienter rekrutiert, kann eingesparte Ressourcen in eine größere Anzahl an Tests investieren. Außerdem können passende Probanden zielgerichteter ausgewählt werden, was im Endeffekt einen positiven Einfluss auf die Qualität der erhobenen Daten hat.


Alles in Allem hat die Rekrutierung von Probanden immer ihren Preis: der Durchschnittspreis eines Usability Probanden in der Rekrutierung durch eine Agentur schwankt stark mit der Anzahl der festgelegten Chrakteristika. Bei der Rekrutierung durch die eigenen Mitarbeiter muss deren Arbeitszeit eingerechnet werden. Hier dauert es in der Regel 1-2 Stunden, einen passenden Kandidaten zu finden.

Kriteria für die Wahl repräsentativer Probanden

Bei der Rekrutierung von Teilnehmern ist es enorm wichtig, darauf zu achten, dass entweder reale User des zu testenden Produkts (oder eines Vorgängers) befragt werden, oder die Probanden den potenziellen Nutzern möglichst exakt entsprechen. Andernfalls wird sowohl das Aufdecken von Fehlern des Systems als auch das Einschätzen seiner Nützlichkeit bei realistischen Tasks schwierig.


Um diese Gruppe aus der Grundgesamtheit herausfiltern zu können, benötigt man einige Informationen über ihre Eigenschaften. Hierfür sollte der Rekrutierende sich vor Beginn der Rekrutierung einen genauen Eindruck darüber verschaffen, was das Produkt leisten soll bzw. was der Anwendungsbereich ist. So kann er sich am schnellsten eine Idee von der angedachten User Gruppe und möglichen auftretenden Hürden und Problemen verschaffen. Um die Zielgruppe weiter einzugrenzen sollte man weitere Unternehmensbereiche, die Informationen über Eigenschaften der Zielgruppe besitzen, befragen. Infrage kommen: Entwickler, Mitarbeiter im Marketing oder Mitarbeiter im Customer Support. Im Zweifelsfall kann es auch helfen, die Gruppe der User von direkten Konkurrenzprodukten zu untersuchen.

Anzahl der Teilnehmer

Die Anzahl der zu rekrutierenden Teilnehmern hängt stark von der verwendeten Testmethode sowie dem Ziel der Forschung ab. Studien, deren Ergebnisse mit statistischen Testverfahren untersucht werden, benötigen zweistellige Teilnehmerzahlen in jeder Bedingung der Studien. Eine Daumenregel ist hier, dass die Berechnung statistischer Signifikanz ab ca. 20 Teilnehmern pro Bedingung sinnvoll ist. Generell ist bei quantitativen Verfahren von größeren Stichproben auszugehen.


Ist das Ziel, eine qualitative oder explorative Untersuchung durchzuführen, ist es im Gegensatz dazu nicht sinnvoll, mit möglichst vielen Probanden zu testen. Hier wird damit gerechnet, dass fünf Probanden pro Test völlig ausreichend sind. Diese sollten 80% der auftretenden Probleme des Produkts aufdecken können. Mit jedem weiteren Tester nimmt der Mehrwert der Untersuchung stärker ab, da tendenziell immer wieder dieselben Fehler entdeckt werden. Aus diesem Grund ist es sinnvoll, den Test am Produkt nach fünf Teilnehmern zu beenden und gegebenenfalls weitere Tests mit einer weiterentwickelten Version des Produkts durchzuführen.


Sind im Rahmen einer Testreihe an einem Produkt mehrere verschiedene Tests geplant, sollte unbedingt mit unterschiedlichen Probandengruppen getestet werden. Auch wenn verschiedene Tasks getestet werden sollen, oder der Test aus irgendeinem anderen Grund sehr lang dauern wird, sollte man sich überlegen, den Test in mehrere kleine Tests zu splitten und mit verschiedenen Probanden zu testen. So beugt man der sogenannten Survey Fatigue – und damit sinkender Datenqualität bei langen Tests – vor.

Screening

Liegen alle benötigten Informationen über Charakteristika der Zielgruppe vor, ist der nächste Schritt die Überlegung, zu welchem Anteil welche Eigenschaft in der Stichprobe vertreten sein soll. Unabhängig davon, über welchen Kanal Probanden rekrutiert werden, muss für sinnvolle Ergebnisse der Teil, welcher der vordefinierten Zielgruppe entspricht, herausgefiltert werden. Dabei sollten die Kriterien so gewählt sein, dass sie eng genug sind, um die Zielgruppe sinnvoll abzubilden, aber nicht so restriktiv, dass es schwierig wird, überhaupt passende Probanden zu finden.


Screening Fragen sollte man den Probanden natürlich stellen bevor man ihnen die Möglichkeit gibt, sich zur Studie anzumelden. Zum Beispiel indem man vor ein online Formular zur Anmeldung einen Fragebogen mit den entsprechenden Screening Fragen schaltet. Dabei ist es zielführend, die Fragen zuerst die Fragen zu stellen, welche die meisten Teilnehmer herausfiltern und die Interaktion sofort nach der entsprechenden Frage abzubrechen. So erspart man Personen, welche nicht den Kriterien entsprechen, den Aufwand einen kompletten Fragebogen auszufüllen, nur um dann von der Teilnahme ausgeschlossen zu werden.


Da es insbesondere bei Remote Tests mit Bezahlung User gibt, die an möglichst vielen Studien teilnehmen möchten, egal ob sie der Zielgruppe entsprechen oder nicht, gibt es einen weiteren Punkt zu beachten: Screening Fragen sind idealerweise so formuliert, dass Teilnehmer nicht erraten können, welche Antwort den gewünschten Kriterien entspricht und welche nicht.

Incentives

Teilnehmer für Studien zu finden, ohne ihnen irgendeine Form von Entlohnung anzubieten, ist schwer bis unmöglich. Die sogenannten Incentives helfen bei Laborstudien, die No-Show-Rate zu verringern. Beim Remote Testing werden sie benötigt, um überhaupt Teilnehmer zu gewinnen. Als Incentive kommt eigentlich jede, für die Teilnehmer attraktive, Entschädigung für die von ihnen aufgewendete Zeit infrage. Neben Verlosungen hochwertigerer Preise, Gutscheinen, oder Merchandise der Firma gehört Geld natürlich zu beliebtesten Art von Incentives.


Dabei sollten insbesondere Teilnehmer, die sich zum Einhalten des Testtermins freinehmen müssen, so gut entschädigt werden, dass sie durch die Teilnahme keinen Verlust machen. So können zu zahlende Incentives schnell teuer werden. Während Incentives für Tests, welche die Teilnehmer online von zuhause durchführen, wesentlich niedriger sind, gibt es auch hier einige Faktoren zu bedenken: beispielsweise müssen Incentives umso höher ausfallen, je schwieriger die Zielgruppe zu erreichen ist und fallen in Abhängigkeit von der Einkommensgruppe der Teilnehmer unterschiedlich aus.


Natürlich sollte die Höhe der Kompensation auch von der Dauer der Studie und der Schwierigkeit der Aufgabe abhängen. Schließlich ist darauf zu achten, dass allen Teilnehmern zusätzlich zur Auszahlung der Incentives nochmals schriftlich oder mündlich gedankt wird.

Kanäle zur Rekrutierung

• Recruitment Agenturen und Dienstleister: die Zusammenarbeit mit Agenturen, Panels oder anderen Recruitment Dienstleistern macht insbesondere dann Sinn, wenn mit einer sehr breiten Zielgruppe getestet wird oder Zeitdruck herrscht.


• Eigene Listen: wer bereits über Mailing Listen mit Personen, welche den festgelegten Kriterien entsprechen, verfügt, kann natürlich auch diese nutzen, um Teilnehmer zu rekrutieren. In Frage kommen auch bekannte User des Vorgängers des untersuchten Produkts. Weitere Unternehmens-nahe Gruppen kann man über Pop-Ups auf der Website, Aufrufe über die Social Media Präsenz oder den Newsletter erreichen.


• Weitere Kanäle: Weitere Arten, externe Teilnehmer zu erreichen sind Anzeigen in Suchmaschinen oder Social Media Portalen sowie Aufrufe in Foren und Special Interest Groups, sofern es sich um eine sehr spezielle Zielgruppe handelt.

Neben den oben genannten Punkten ist beim User Testing damit zu rechnen, das zehn Prozent der eingeladenen Probanden unbrauchbare Daten liefern. Während bei Labortests vor allem die no-show-rate ein Problem ist, spielen beim Remote Testing technische Probleme und Abbrüche des Tests eine Rolle. Aus diesem Grund sollte man entweder von Anfang an eine entsprechende Anzahl zusätzlicher Probanden rekrutieren oder sobald klar wird, dass Datensätz fehlen.


Vor allem beim iterativen Entwickeln von Produkten könnte man auf die Idee kommen, mehrere Tests mit denselben Probanden durchzuführen. Handelt es sich beim Studiendesign allerdings nicht ausdrücklich um eine Langzeitstudie, sollte das wiederholte Testen mit denselben Probanden vermieden werden. Insbesondere wenn die Lernbarkeit des Produkts eine Rolle spielt, oder Probanden einen vergangenen Prototypen kennen, sollten sie an keinen weiteren Tests teilnehmen. Selbst wenn es sich bei den Tests um zwei völlig Unabhängige Produkte handelt, sollte man vermeiden, mehr als zwei Usability/UX Tests pro Jahr mit derselben Person durchzuführen.



Gewonnene Erkenntnisse über die Zielgruppe sind in der Regel über mehrere Tests und Produktiteration hinweg anwendbar. Mit der Frage, wie man die erhobenen Daten sinnvoll organisiert haben wir uns hier auseinandergesetzt.