Chancen und Risiken der Evaluation mit Fokusgruppen online und offline

So genannte „Fokusgruppen“ – moderierte und leitfadengestützte Diskussionen mit mehreren Teilnehmenden – sind nach wie vor eher die Ausnahme, wenn Citizen-Science-Projekte ihre Arbeit evaluieren. Auch wenn die Methode ihre Tücken hat und oft unterschätzt wird, gerade in Zeiten, in denen fast alles online abzulaufen hat, birgt sie doch auch viele Chancen. So lassen sich über Fokusgruppen auch Projektteilnehmende an der Evaluation beteiligen, und man kann die Ursachen für Erfolge und Probleme des eigenen Projekts qualitativ weitaus besser verstehen als dies meist mit Fragebögen möglich ist. Häufig nutzt man einen Stimulus (z.B. ein Zitat, ein Bild, eine Problemstellung o.ä.) als Gesprächsstart für eine möglichst offene Diskussion, die trotzdem innerhalb der Leitplanken dessen abläuft was man herausfinden möchte.

Im Vergleich zu den sonst bei Evaluationen oft eingesetzten und meist schriftlichen Befragungsinstrumenten, die natürlich auch offenen ‚Warum‘-Fragen nachgehen können, erlaubt die Fokusgruppe als nahezu einzige Methode ein hohes Maß an Interaktion und Reflektion mit und unter den Teilnehmenden. Diese sind gefordert, ihre Standpunkte auch zu erklären, mit den Sichtweisen anderer in Bezug zu setzen und somit evtl. sogar die eigene Position zu hinterfragen. Erkenntnisse entstehen somit weniger dadurch, dass Forschende Fragen stellen, sondern durch die Interaktion der Teilnehmenden mit den Forschenden und mehr noch untereinander.

Fokusgruppen können dabei grundsätzlich synchron ablaufen (ganz klassisch im ‚Stuhlkreis‘ und heute auch per Messenger-Dienst) oder asynchron (beispielsweise als zeitversetzte Antworten in Online-Foren). Die Schrift-Form ist dabei ganz und gar nicht zu unterschätzen, da sie beispielsweise die Dominanz rhetorisch versierterer Teilnehmer:innen in ‚live‘-Situationen abschwächen kann. Gleichsam entstehen auch neue Ungleichgewichte, etwa durch Rechtschreibung und Wortschatz, Tippgeschwindigkeit usw.

Auch wenn die Diskussion durch gewisse Impulse wie etwa Fragen oder Aufgaben in grundlegende Bahnen gelenkt werden sollte, damit zumindest bestimmte Kernaspekte diskutiert oder Fakten berücksichtigt werden, gilt es (zumindest außerhalb der rein produktorientierten Marktforschung) zugleich immer, eine gute Balance zu finden zwischen Führung und freier Debatte. Unbedingt sollte vermieden werden, dass eine Fokusgruppe auf ein reines Frage-Antwort-Spiel verengt wird. Impulse sollten deshalb tendenziell als offene Fragen und Anregungen zur Diskussion daherkommen und eher nicht als Provokation oder Ja/Nein-Frage.

Je nach Thema verspricht manchmal eine größere Gruppe (ca. bis zu 12) und manchmal eine kleinere (nicht weniger als ca. 4) gute Resultate zu produzieren – erstere vor allem wenn man sicherstellen will, dass auch Randpositionen berücksichtigt werden; letztere eher wenn man wirklich ein großes Spektrum an Positionen einfangen will. Die Kosten einer Fokusgruppe sollten nicht unterschätzt werden, denn die reine Veranstaltung ‚live‘ ist eher einer der kleineren Kostenfaktoren. Konzeption und Testen, Teilnehmerakquise und Transkription sowie die eigentliche Datenanalyse machen zusammengenommen gerne 20- bis 50-mal mehr Arbeit als das eigentliche ‚Event‘ von oft kaum mehr als einer Stunde.

Tiefenbohrungen statt Sondierung

Als Evaluations-Werkzeug kommen Fokusgruppen gerne zum Einsatz, um die ansonsten oft per Fragebogen erhobenen Ergebnisse zu vertiefen und gewissermaßen sicherzugehen, dass man in der Evaluation überhaupt die entscheidenden Fragen stellt. Erst im Diskurs offenbaren sich häufig komplexere Erfahrungen der Teilnehmer:innen und somit nicht zuletzt auch wertvolle konstruktive Kritik. Gerade deshalb ist zu überlegen, Fokusgruppen nicht nur zum Projektende (ex-post) einzusetzen, sondern mindestens ‚pre-post‘ (also vor und nach einer bestimmter Intervention bzw. zum Projektstart und -ende) oder sogar formativ während des Projekts, um noch die Chance zu haben, Änderungen an internen Prozessen vorzunehmen – was natürlich beides besonders frühzeitig geplant werden muss.

Da bei der Evaluation die Einstellungsveränderungen oft auch der Teilnehmenden oder sogar der Projektpartner selbst erfasst werden sollen, stellt sich schnell die Frage, wie man vermeidet, dass diese Teilnehmenden nicht zu sehr so antworten, wie sie glauben, dass es von ihnen erwartet wird (“Soziale Erwünschtheit”). Eine Kombination verschiedener Instrumente („Triangulation“) kann hier helfen, solche Fälle von sozialer Erwünschtheit aufzudecken und zu adressieren. In narrativen Formaten zum Beispiel geben Befragte durch Storytelling oft Hinweise, die sie nie in einen Fragebogen oder im direkten Interview mit Kollegen äußern würden. Oder man nutzt die so genannte ‚Projektion‘ und bittet Befragte, eine bestimmte Einstellung oder Erfahrung mit einer Farbe oder einem Tier zu assoziieren. So sehr diese Aussagen dann natürlich kulturspezifisch interpretiert werden müssen (ein „Rind“ in Indien oder in der Schweiz zum Beispiel), lassen sich dadurch tiefer verborgen liegende Einstellungen und Emotionen zutage fördern, die Befragte ansonsten möglicherweise nicht direkt ansprechen würden. Auch könnte es gerade im Kontext einer Evaluation Sinn ergeben, eine Fokusgruppe die Interaktion in einer anderen Fokusgruppe beobachten und diskutieren zu lassen, um so auf der Metaebene den ‚Diskurs über den Diskurs‘ näher zu betrachten.

Es gibt also viele Möglichkeiten und wenige validierte Modelle, gerade aus der Evaluation im Bereich Citizen Science. Aber sofern man frühzeitig mit der Planung beginnt, lässt sich mit einem gut gefüllten Werkzeugkasten an Evaluationsansätzen eine gute Lösung für jedes Projekt zusammenbauen. Als allererster Schritt hat sich hierbei eine gründlich durchgespielte ‚Theory of Change‘ bewährt: Indem man zunächst einmal definiert, welche Veränderungen das Projekt überhaupt erzielen will (Wissenszuwachs, Einstellungs- oder Verhaltensänderungen etc.) ergeben sich in einer so genannten ‚Results Chain‘ fast schon automatisch die Forschungsfragen und Handlungsziele sowie die Output- und Outcome-Indikatoren und Variablen, mit denen man etwa Wirkung und Effizienz wissenschaftlich solide messen kann.

Herausforderung Online-Evaluation

Viele von uns sind dieser Tage – nicht zuletzt wegen der Pandemie-Situation – buchstäblich gezwungen, Alternativen zur synchronen Live-Fokusgruppe in Erwägung zu ziehen. Was also sind die Chancen und Risiken der Onlinedurchführung?

Vorteile einer virtuellen Variante sind logischerweise die Vermeidung von Körperkontakt aus medizinischer Sicht, aber auch die Vermeidung von Reiseaufwand für die Teilnehmer:innen. Dies spart nicht nur Kosten und schont die Umwelt, sondern hat oft auch Einfluss auf die Bereitschaft potentieller Teilnehmenden zum Mitmachen. Gerade sozial benachteiligte Gruppen haben tendenziell weniger Zeit für Beteiligungsformate allgemein, so dass ein kürzeres Online-Format das Vorhaben durchaus inklusiver machen kann. Umgekehrt gibt es natürlich auch bestimmte Gruppen in der Gesellschaft, für die eine Teilnahme an Online-Formaten rein technisch schwieriger ist oder aus anderen Einstellungsgründen abgelehnt wird. Ausgleichen kann man solch eine mögliche Verzerrung beispielsweise durch zusätzliche niederschwelligere Formen, beispielsweise per Telefon. Dann allerdings fällt auch die Möglichkeit weg, digitale Moderations-Werkzeuge einzusetzen wie eine virtuelle Tafel oder ähnliches, wobei diese durchaus auch weitere technische Hürden darstellen können. Grundsätzlich sind die Gruppengrößen online eher etwas kleiner als sie in physischer Form wären (z.B. 8 statt 10 Teilnehmer:innen).

Unbedingt muss man sich bei einer Online-Gruppe besonders gründlich mit Datenschutzaspekten auseinandersetzen - etwa wenn Beiträge unbemerkt aufgezeichnet und geteilt werden. Zudem Grenze zwischen privat und öffentlich häufig schwer zu ziehen. Möglicherweise ist es auch erschwert, beispielsweise bei Formaten ohne Video, zweifelsfrei festzustellen, ob das angegebene Alter einer bestimmten Teilnehmer:in auch nur halbwegs stimmt.

Haben die Teilnehmer:innen ähnliche sozio-demographische Merkmale (Alter, Ethnizität, Herkunft, Wohnort, Berufsgruppen, Bildungsstand etc.), steigert dies oft die Vertrautheit untereinander. Hierdurch könnten Beteiligte eher bereit sein, sich zu öffnen, sowohl was das Teilen eigener Meinungen anbelangt als auch das Eingehen auf andere Standpunkte. Andererseits kann sich dadurch auch vorschnell ein künstlicher Konsens einstellen. Wird in solchen Fällen beispielsweise eine Einzelmeinung eher in den Hintergrund gedrängt, fällt es online mangels nicht-verbaler Hinweise ggf. schwerer festzustellen, ob sich die betreffende Person davon möglicherweise eingeschüchtert oder isoliert fühlt. Ohnehin geht ein hohes Maß an Körpersprache verloren, die bekanntlich einen Großteil unserer Kommunikation ausmacht und ohne die gewisse Interpretationen oder gar Missverständnisse geradezu vorprogrammiert sind. Zu diesen Ergebnissen kamen beispielsweise Tom Moore und Kolleg:innen (2015), die daraufhin einen wirklich hilfreichen Artikel zu den methodischen Herausforderungen und Lösungen bei der Digitalisierung von Fokusgruppen veröffentlicht haben, in ihrem Fall im Kontext einer Studie zur Wohnsituation von Jugendlichen in Großbritannien.

Herausforderung Inklusion

Eigentlich geht es uns in qualitativen Evaluationsansätzen ja weniger um statistisch repräsentative Stichproben, sondern um eine angemessen diverse Zusammensetzung. Das heißt aber nicht etwa (notwendigerweise) „so divers wie möglich“, sondern die qualitativen Daten sollten das Spektrum jener Perspektiven widerspiegeln, die wir auch für die Gesamtpopulation annehmen.

Im Englischen steht diese „discursive representation“ (vor allem in der qualitativen Evaluation) der “demographic proportionality” (vor allem in der quantitativen Evaluation) gegenüber. Gerade mit Blick auf die Einbeziehung breiter Bevölkerungsschichten in die Erzeugung und Anwendung von Wissen durch Citizen Science sollte klar sein, dass eine effektive Demokratie einen Diskurs voraussetzt, der eine hinreichende Bandbreite an Einzelmeinungen und ggf. auch politischen Positionen abdeckt. Dabei müssen diese Perspektiven nicht unbedingt im Verhältnis zur Anzahl derer stehen, die die jeweilige Ansicht in der Gesellschaft teilen. Solch eine ‚verhältnismäßige‘ Verteilung („Proportionality”) könnte sogar kontraproduktiv sein, weil sie Gruppen-Denken befördern oder sogar marginalisierte Positionen unterdrücken könnte.

Insofern lässt sich eine möglichst „discursive representation“ nicht dadurch sicherstellen, dass man Teilnehmende an einer Befragung oder Fokusgruppe oder an einer Reihe von Interviews allein anhand soziodemographischer Merkmale auswählt. Stattdessen sollte man bereits bei der Auswahl idealerweise zumindest Grundeinstellungen erfassen. Nehmen wir zum Beispiel eine Fokusgruppe zu verschiedenen Politikansätzen im Klimaschutz: Rein demographisch ausgewählt, könnten zufälligerweise 4 von 4 eingeladenen Vertreter:innen der ‚Altersgruppe 12-18‘ überzeugte Gegner:innen von Schulstreiks sein, was die Sicht junger Leute auf die Thematik zweifellos völlig verzerren und somit die Ergebnisse der Datensammlung nahezu wertlos machen würde (Stichwort: „Fridays for Future“).

Bedenkt man zudem, dass die gegenseitige Verständigung oder sogar die Aushandlung von Kompromissen („Deliberation“) oft ein Ziel von Beteiligungsformaten ist, hilft es auch hier wenig, wenn eine Fokusgruppe zwar ganz unterschiedliche Altersgruppen und Geschlechter und kulturelle Hintergründe und Einkommensniveaus umfasst, diese Personen aber weitgehend ähnliche Meinungen vertreten, weil sie sich beispielsweise gegenseitig kennen (z.B. oft als zwangsläufige Konsequenz von Schneeball-Stichproben). Nur bei einer gewissen Unterschiedlichkeit der Perspektiven können Teilnehmende wirklich um die ‚beste Lösung‘ ringen und/oder ein gemeinsames Verständnis von der Thematik entwickeln. ‚Co-Kreation‘ wird ansonsten oft im Keim erstickt. Dies ist grundlegend anders als beispielsweise im Journalismus, wo wir solche falsch verstandene Ausgewogenheit („false balance”) unbedingt versuchen sollten zu vermeiden.

Wann aber habe ich genügend Teilnehmende akquiriert oder genügend Fokusgruppen durchgeführt? Bei der Sammlung qualitativer Daten sprechen wir dann von einer Sättigung (“Saturation”), sobald jedes neue Ergebnis (Interview / Fragebogen etc.) weder das Spektrum noch die Tiefe der für unsere Evaluation relevanten Ideen oder Konzepte erweitert oder verändert.

Herausforderung Moderation

Erfahrungsgemäß steht und fällt die Nützlichkeit von Fokusgruppen mit der Kompetenz der Moderation. Diese muss keinesfalls nur von einem einzelnen Moderierenden ausgehen, sondern es können zum Beispiel auch zwei Moderierende mit entgegengesetzten Perspektiven oder sehr unterschiedlichen Fragestilen zum Einsatz kommen. Sogar inkognito können Moderatoren in einer Gruppe wirken, wobei dies natürlich eine ganze Reihe ethischer Fragen aufwirft. Online stellen Fokusgruppen oft ganz andere Anforderungen an die Moderierenden als ‚offline‘. Gewohnte Konventionen beispielsweise, wer wann an der Reihe ist und wie lange man jemanden ausreden lässt, sind am Bildschirm oft gänzlich anders. Vielmehr überlagern sich virtuell Reaktionen häufiger oder führen in Textform gar zu unterschiedlichen parallelen ‚Threads‘ (vgl. Moore et al., 2015).

Nicht so gut geeignet ist das Instrument oftmals für besonders kontroverse Themen, die beispielsweise emotional oder politisch aufgeladen sind, wodurch die Moderation schnell zur ‚Mediation‘ wird.

Zusammenfassend birgt die Evaluation durch Fokusgruppen also viele Potenziale, aber auch methodische Herausforderungen. Man kann Hintergründen und Eindrücken auf den Grund gehen und die Teilnehmenden sogar zur Selbstreflexion anregen. Fokusgruppen sollten nicht unterschätzt werden sondern es empfiehlt sich eine gründliche Auseinandersetzung mit der Methodik und frühzeitige Vorbereitung. 

Zur weiteren Lektüre empfiehlt sich als Einführung u.a. David Morgans Klassiker von 1993, der eine Systematisierung der Methode einläutete: eine Sammlung von Fachbeiträgen unter dem Titel “Successful Focus Groups – Advancing the State of the Art”. Morgan ist diesem Thema bis zuletzt treu geblieben mit etlichen weiteren Büchern zum Thema.

Ganz herzlich laden wir alle interessierten Leser:innen zur weiteren Diskussion in unserer Arbeitsgruppe „Evaluation“ ein. Sie steht für den Austausch unter Citizen-Science-Praktiker:innen und -Forschenden über Strategien und Methoden der Evaluation. Kontakt gerne über Prof. Alexander Gerber, der die AG zusammen mit Dr. Nicola Moczek (MfN) koordiniert.

Außerdem im Text erwähnt:

Moore, Tom et al. (2015). Online focus groups and qualitative research in the social sciences: their merits and limitations in a study of housing and youth. People, Place and Policy, 9/1, pp. 17-28. DOI: 10.3351/ppp.0009.0001.0002

Autor*innen:

Alexander Gerber: Hochschule Rhein-Waal, Lehrstuhl für Wissenschaftskommunikation [ORCID]

Denise Meyer: Hochschule Reutlingen, Projekt ParKli / Partizipative Klimaforschung [ORCID]