Über Strategien, Methoden und Praxis der Evaluation austauschen - ein Gespräch mit der AG Evaluation von Citizen Science
Über Strategien, Methoden und Praxis der Evaluation austauschen - das steht im Mittelpunkt der AG Evaluation von Citizen Science. Wir sprachen mit den sechs Gründungsmitgliedern u.a. über die verschiedenen Dimensionen von Evaluationen in Citizen-Science-Projekten, das Zusammenspiel von Begleitforschung und Evaluation und die aktuellen Themen der AG.
Die Gründungsmitglieder bringen die unterschiedlichsten Hintergründe in die Arbeitsgruppe mit ein:
Alexander Gerber forscht an seinem Lehrstuhl für Wissenschaftskommunikation unter anderen zu Methoden der Evaluation und Strategieentwicklung im Bereich Social Innovation. Sabrina Kirschke forscht zur Wirkung von Citizen Science auf Politik und Gesellschaft, vor allem im Umweltbereich und in verschiedenen regionalen Kontexten. Denise Meyer beschäftigt sich mit der Wirkung von Beteiligungsprozessen und ko-kreativen Ansätzen im Bereich Citizen Science, aktuell mit einem Fokus auf die Beteiligung von Bürger*innen bei der Entwicklung von lokalen Klimafolgeanpassungsmaßnahmen. Nicola Moczek berät Projekte im Rahmen ihrer Tätigkeit als wissenschaftliche Koordinatorin der Plattform Bürger schaffen Wissen und führt seit Jahren freiberuflich Begleitforschung zu Citizen-Science-Projekten durch. Henrike Rau forscht zu Mensch-Umwelt und Nachhaltigkeitsthemen und interessiert sich für mögliche Einflüsse von Citizen Science auf sozialwissenschaftliche und interdisziplinäre Nachhaltigkeitsforschung. Liliann Fischer arbeitet als wissenschaftliche Mitarbeiterin bei Wissenschaft im Dialog in der Impact Unit zu den Themen Wirkung und Evaluation und beschäftigt sich in ihrer Doktorarbeit an der Universität Passau mit beruflichen Selbstverständnissen in der Wissenschaftskommunikation.
Was war der Anlass zur Gründung der AG Evaluation?
Nicola Moczek: Im Rahmen unserer Umfrage stellten wir fest, dass bereits rund 60% der Projekte eine Evaluation durchführen. Gleichzeitig formulierten viele den Wunsch nach einem Austausch über mögliche Forschungsdesigns und Methoden und die konkrete Anwendung in der Praxis. Denn über die Umfrage wurde auch deutlich, wie wenig die CS-Projekte über ihre Teilnehmenden wissen und dass daher mögliche Effekte auf deren Seiten praktisch gar nicht nachvollzogen werden können (s. Veröffentlichung The Known Unkowns). Diese Bedarfe sehen wir auch durch das große Interesse an unseren Trainingsworkshops zu Monitoring und Evaluation. Darüber hinaus stellen wir fest, dass viele Ergebnisse von durchgeführten Evaluationen derzeit bei den Projekten bleiben und nicht veröffentlicht werden. Damit wir miteinander und voneinander lernen können, brauchen wir einen Raum – und den haben wir uns mit der AG geschaffen.
In welchen Dimensionen kann Evaluation gedacht werden? Wie kann man sich dem Thema nähern, z.B. als Projektinitiator*in, wenn man zuvor keine oder wenig Berührungspunkte mit dem Thema hatte?
Alexander Gerber: Evaluation sollte mehr als ein ‚Anhängsel‘ am Projekt sein. Als Projektinitiator müsste man die Aufwände zur Evaluation eigentlich immer den ‚Opportunitätskosten‘ gegenüberstellen, also etwa wie viel ineffizienter das Projekt ohne eine solche Begleitung wäre. Leider ist eine methodisch robuste Evaluation meist komplexer als viele Projekte meinen, so dass externer Rat oder eine Kooperation mit erfahrenen Partner*innen meist sinnvoll wäre, aber nach wie vor sehr selten der Fall ist. Derzeit nutzt beispielsweise nur rund eine von zwanzig CS-Evaluationen validierte Instrumente. Häufige und folgenschwere Fehler werden dabei etwa durch Diskrepanzen zwischen den vom Projekt angestrebten Zielen und den dann gemessenen Impacts gemacht. Auch systemische Wirkungen (etwa ökologische oder gesellschaftliche auf eine ganze Region) werden nahezu nie evaluiert, obwohl diese vermeintlich einer der großen Treiber für Citizen Science sein sollen.
Im Zusammenhang mit Citizen-Science-Projekten hört man auch oft von einer Begleitforschung. Welche Rolle spielt dann Evaluation und wie kann diese bestmöglich umgesetzt werden?
Henrike Rau: Begleitforschungs- und Evaluationsansätze ergänzen sich, indem sie verschiedene Aspekte des Forschungsprozesses erfassen. Begleitforschung kann wichtige Einblicke in den Prozesscharakter und Ablauf von CS-Projekten liefern und zentrale Themen wie die Beteiligung von Bürger*innen und Interaktionen zwischen Wissenschaft und Zivilgesellschaft im Verlauf derartiger Projekte abdecken. Zur Erfassung der kurz- mittel- und langfristigen Effekte und Auswirkungen von CS auf Wissenschaft und Gesellschaft braucht es jedoch Evaluationsprogramme, die sich sowohl qualitativen als auch quantitativen Aspekten widmen. Zitationsstatistiken für wissenschaftliche Endprodukte oder die Anzahl der beteiligten Bürger*innen erzählen nur einen Teil der Erfolgsgeschichte. Mittel- und langfristige Veränderungen im Wissenschaftsverständnis aller Beteiligten lassen sich hingegen sehr gut auch mithilfe qualitativer Evaluationsforschung dokumentieren.
Stichwort Partizipation: Wer kann sich an der AG beteiligen? Was sollte man mitbringen?
Denise Meyer: Grundsätzlich jede*r mit Interesse an Themen rund um die Evaluation von Citizen-Science-Projekten: Projektinitiator*innen, institutionell Forschende, Bürgerwissenschaftler*innen. Spezielle Vorkenntnisse und Erfahrungen sind dabei nicht notwendig, sondern die AG versteht sich vielmehr als eine Gruppe zum offenen Austausch über Themen und Fragestellungen der Evaluation. Wir möchten uns über Erkenntnisse und Erfahrungen austauschen, gemeinsam Fragestellungen bearbeiten, Evaluationsansätze (weiter)entwickeln und dabei miteinander und voneinander lernen. Andererseits gehen wir davon aus, dass die Citizen-Science-Projekte einen großen Beratungs- und Fortbildungsbedarf haben, den die AG nicht im Rahmen dieser überwiegend ehrenamtlichen Tätigkeit bedienen kann. Hier gilt es, die Bedarfe auszuloten und geeignete Maßnahmen zu entwickeln oder anzustoßen.
Was sollen die ersten Schritte der AG sein? Womit befasst sich die Arbeit in der Gruppe aktuell?
Sabrina Kirschke: Die AG versteht sich derzeit vor allem als Plattform für den Austausch zwischen Wissenschaftler*innen und Praktiker*innen mit Interesse an der Evaluation von Citizen-Science-Projekten. Hauptaugenmerk liegt deshalb auch vor allem auf regelmäßigen Treffen der AG-Mitglieder, die derzeit noch online stattfinden. Dabei stehen Informationen zu Veranstaltungen, Publikationen und Aktivitäten genauso auf dem Programm wie der inhaltliche Austausch zu bestimmten Themen, wie etwa Evaluationsmethoden. Mittelfristig erwartet die Gruppe gemeinsame Produkte wie beispielsweise eine gemeinsame Forschungsaktivität und Publikationen.
Werfen wir einen Blick in die Zukunft: Was wünscht ihr euch für die AG-Arbeit und im weiteren Sinne auch für das Thema Evaluation im Citizen-Science-Bereich?
Liliann Fischer: Wir wünschen uns vor allem den Austausch zwischen Wissenschaftler*innen und Praktiker*innen aus unterschiedlichen Bereichen aufrechterhalten zu können und damit neue Inspiration und Impulse für die Evaluation von Citizen-Science-Projekten zu geben. Ein Austausch mit anderen AGs ist wichtig, auch um Schnittstellen und gemeinsame Arbeitsfelder auszuloten. Besonders freuen würde es uns, wenn wir einen Beitrag zu einer fundierten und aussagekräftigen Evaluation in der Citizen Science leisten könnten und sich aus der Arbeit der AG neue Kooperationen und Projekte ergeben würden. Evaluation kann wertvolle Informationen für Citizen Science Projekte liefern, Verbesserungspotenzial aufzeigen, aber auch eine weitergehende Reflexion in der Community anstoßen. Wenn wir hier als AG Orientierung geben könnten und interessierte Leute zusammenbringen, die diese Prozesse anstoßen, wäre das ein großer Erfolg für uns.
Nicola Moczek
