Wie wirkt eigentlich Citizen Science? - Wirkungsmodelle und Ziele

Citizen Science ermöglicht die Partizipation von Bürger*innen im Forschungsprozess. Aber wie wirkt diese Teilnahme eigentlich auf die Citizen Scientists? Lernen sie etwas über das Thema des Citizen-Science-Projekts oder über wissenschaftliche Arbeitsweisen? Ändern sich ihr Interesse an wissenschaftlichen Themen oder gar ihr Verhalten durchs Mitforschen? Im ersten Beitrag unserer neuen Blogreihe legen wir mit der Erläuterung zu Wirkungsmodellen und Zielen den Grundstein unseres Einblicks in die Wirkungsforschung, auf den wir in den kommenden Beiträgen aufbauen.

 Hier geht es zur Übersichtsseite der Blogreihe!

Wirkungsmodelle und Ziele

Bei der Entwicklung eines Projekts oder auch beim Schreiben eines Finanzierungsantrags wird man häufig mit der Aufgabe konfrontiert, klare Zielsetzungen für ein Projekt formulieren zu müssen und Methoden zu beschreiben, wie man herausfinden möchte, ob diese Ziele auch erreicht wurden. Das ist bei Citizen-Science-Projekten nicht anders. Die Bürger schaffen Wissen-Umfrage zeigte etwa, dass über 60% der teilnehmenden Citizen-Science-Projekte ihre Programme in Bezug auf unterschiedliche Aspekte der Wirkung von Citizen Science evaluieren. Doch wo fängt man an? Welche Konzepte und Ressourcen gibt es, um diesen Prozess zu unterstützen?

Es kann sehr hilfreich sein, für die Entwicklung eines Projekts ein Wirkungsmodell für das konkrete Vorhaben zu formulieren. So werden auf übersichtliche Weise die Strukturen und Zusammenhänge eines Projekts deutlich. Ein Beispiel für ein solches Wirkungsmodell ist das Logikmodell. Dieses Modell unterscheidet zwischen Input, Output, Outcomes und Impact und stellt dar, wie diese zusammenhängen.

• Inputs: alle Ressourcen, die zur Umsetzung der Maßnahme benötigt werden oder vorhanden waren 
• Outputs: erbrachte Leistungen, Nutzung der Leistungen durch Zielgruppen, Zufriedenheit der Teilnehmenden
• Outcomes: neues Wissen, Fertigkeiten, Fähigkeiten, Bildung von Meinungen, Veränderungen im Handeln oder in den Lebenslagen der Teilnehmenden
• Impact: Veränderungen innerhalb der Gesamtgesellschaft

Zur Vertiefung empfehlen wir das Kursbuch Wirkung von PHINEO. Es ist kostenlos als Online-Lernangebot und eBook erhältlich.

Ein Logikmodell für Citizen Science

Im Bereich Citizen Science wurde ein Logikmodell für Projekte im Bereich Biodiversität- und Umweltforschung konkretisiert. In diesem sogenannten PPSR (Public Participation in Scientific Research) logic model (Abbildung 1) von Jennifer Shirk und Kollegen*innen wird abgebildet, wie und auf welchen Ebenen Projekte Wirkung erreichen können.

Abbildung 1: PPSR (Public Participation in Scientific Research) logic model übersetzt aus Shirk et al. 2017

Dabei lässt sich die Outcome-Ebene in verschiedene Zielbereiche aufteilen:

1. Wissenschaft: z.B. konkrete Forschungsergebnisse, Antworten auf Forschungsfragen, wissenschaftlichen Publikation zu Methoden und Ergebnissen
2. “sozio-ökologische” Systeme: Hierunter fallen etwa neue Gesetzgebungen und andere politische Maßnahmen (z.B. neue Umweltschutzzonen, Maßnahmen zur Reduzierung von Lärm oder Verbesserung der Luftqualität), aber auch etwa die Vernetzung von relevanten Stakeholdergruppen. 

Das Modell bezieht sich hier auf Projekte im Bereich Umweltschutz und Biodiversität, daher muss die Bezeichnung dieser Kategorie für andere Forschungsfelder ggfs. angepasst werden.

3. Individuen: Hierzu zählen neue oder vertiefte Kenntnisse und Fähigkeiten, aber auch Aspekte wie Motivation, Interesse und Einstellungen sowie Verhaltensänderungen.

Darüber hinaus gibt es noch andere Modelle und Frameworks, um Wirkungen von Citizen Science strukturiert zu beschreiben und zu untersuchen. Zum Beispiel:

• Das sehr komplexe CPI-Framework von Mohammad Gharesifard und Kolleg*innen (2019) soll mit mit 5 Kategorien und 22 Unterkategorien sowohl eine Analyse des Kontexts, eine Prozessevaluation und eine Impactanalyse ermöglichen. 
• Das Framework von Rebecca Jordan und Kolleg*innen (2012) fokussiert neben der Individuen- und der Programmebene vor allem auf die Wirkung auf der Community-Ebene. 
• Im Modell von Till Bruckermann und Kolleg*innen (2020) werden die angebotenen Lerngelegenheiten und die reale Nutzung von Lerngelegenheiten betont, um dann die Ursache einer Wirkung genauer beschreiben zu können. 

Modelle können also in Bezug auf die Schwerpunktsetzung des Projekts entsprechend gewählt oder angepasst werden.

Allgemein ist das PPSR-Logikmodell ein guter Ausgangspunkt, um Ziele eines Projekts zu formulieren und diese zu verorten. Um diesen Prozess zu unterstützen, eignet sich beispielsweise die Outcome-Spaces-Framework-Methode, die unsere Kolleg*innen von der Partizipativen Wissenschaftsakademie Zürich auch besonders in kollaborativen und ko-designten Projekten und Prozessen empfehlen. Basierend auf der Methodenbeschreibung in der td-net Toolbox bieten wir hier ein Arbeitsblatt an, um Ihre Überlegungen zu den Zielsetzungen Ihres Citizen-Science-Projekts zu unterstützen. In einem nächsten Schritt können diese Ziele dann in das Logikmodell eingeordnet werden. Auf diese Weise kann im Gesamtkonzept strukturiert überlegt werden, wie die Ziele erreicht werden sollen und welche Ressourcen dazu verfügbar bzw. nötig sind. Hierzu bieten wir ebenfalls ein Arbeitsblatt zur Unterstützung an (übersetzt nach Phillips et al., 2014)

Ziele formulieren  

Projektziele sollen nach den SMART-Kriterien formuliert werden (Flinkerbusch et al., 2017):

• Spezifisch
• Messbar 
• Akzeptiert 
• Realistisch
• Terminierbar

Sie sollten positiv formuliert werden und als Ergebnis, nicht als Absicht. Also eher “XY ist erreicht” statt “XY soll erreicht werden”. Zudem ist es wichtig, die Zielgruppe klar zu benennen, bei der Wirkungsziele erreicht werden sollen.

Werden die Ziele erreicht?

Nach der Zielformulierung gilt es die Zielerreichung der entsprechenden Maßnahme zu überprüfen. Dies kann verschiedene Funktionen erfüllen (Stockmann, 2002):

• Erkenntnisfunktion
• Kontrollfunktion
• Legitimationsfunktion
• Lernfunktion

Wirkungsforschung zielt vor allem darauf ab, Erkenntnisse über Wirkungen und Wirkungsmechanismen  zu gewinnen, um evidenzbasiert Wissen über diese Vorgänge zu generieren und unser Verständnis darüber zu erweitern. Evaluationen hingegen erfüllen meist auch ganz konkrete projektspezifische Funktionen, da aus den Erkenntnissen Steuerungsmaßnahmen entwickelt oder die eingesetzten Ressourcen (Input) und die Fortführung der Programme etwa gegenüber Förderträgern legitimiert werden können. 

Auch zur Überprüfung der Ziele gibt es praktische Handreichungen zur Unterstützung, zum Beispiel den User’s Guide for Evaluating Learning Outcomes from Citizen Science vom Cornell Lab of Ornithology oder den Leitfaden zur Evaluation von Projekten im Bundesprogramm Biologische Vielfalt vom Bundesamt für Naturschutz. Diese können helfen Indikatoren festzulegen, die bei einer Evaluation das Erreichen eines Ziel anzeigen, oder ein Untersuchungsdesign mit entsprechenden Erhebungsmethoden zu entwickeln (z.B. mit diesem Arbeitsblatt, übersetzt nach Phillips et. al. 2014). Hilfreich ist auch das Buchkapitel von Teresa Schaefer und Kolleg*innen (2021) Evaluation in Citizen Science: The Art of Tracing a Moving Target und für mehr Information zu Evaluationen im Bereich Wissenschaftskommunikation allgemein verweisen wir auf die Arbeit der Impact Unit von Wissenschaft im Dialog.

Wirkung auf Individuen

In dieser Blogreihe werden wir auf die Wirkung von Citizen Science auf die Individuen, in unserem Fall die Teilnehmenden, fokussieren. Deshalb zoomen wir etwas tiefer in diesen Bereich, denn er lässt sich nochmal detailierter strukturieren. Dazu bietet sich etwa das Framework von Tina Phillips und Kolleg*innen an (Abbildung 2), die verschiedene Wirkungsgebiete auf der Individuenebene unterscheiden.

Abbildung 2: Unterschiedliche Aspekte der Outcomes für Individuen übersetzt nach Phillips et al., 2018

An dieser detaillierten  Betrachtung wird deutlich, wie vielfältig die Ziele in Bezug auf die Wirkung von Citizen Science auf Individuen sein können. In unserer Blogreihe werden wir im weiteren Verlauf einen Überblick über publizierte Forschungserkenntnisse in diesen Bereichen geben und nützliche Ressourcen für eine tiefere Auseinandersetzung vorstellen. Wir werden dazu Erkenntnisse aus Reviewstudien, aus den laut unserer Scopus-Recherche am häufigsten zitierten Publikationen zu den jeweiligen Bereichen und aus ausgewählten aktuellen Publikationen aufbereiten und zweimal im Monat neue Beiträge veröffentlichen.

Literatur:

Bruckermann, T., Lorke, J., Rafolt, S., Scheuch, M., Aristeidou, M., Ballard, H.,  Bardy-Durchhalter, M., Carli, E., Herodotou, C., Kelemen-Finan, J., Robinson, L., Swanson, R., Winter, S., & Kapelari, S. (2020). Learning opportunities and outcomes in citizen science: A heuristic model for design and evaluation. In O. Levrini & G. Tasquier (Eds.), Electronic Proceedings of the ESERA 2019 Conference. The Beauty and Pleasure of Understanding: Engaging With Contemporary Challenges Through Science Education (pp. 889–898). University of Bologna.https://www.researchgate.net/publication/348325442_Learning_opportunities_and_outcomes_in_citizen_science_A_heuristic_model_for_design_and_evaluation

Gharesifard, M., Wehn, U., & van der Zaag, P. (2019). What influences the establishment and functioning of community-based monitoring initiatives of water and environment? A conceptual framework. Journal of Hydrology, 579, 124033.https://www.researchgate.net/publication/335969008_What_influences_the_establishment_and_functioning_of_community-based_monitoring_initiatives_of_water_and_environment_A_conceptual_framework

Flinkerbusch, E., & Nowack, C. (2017): Leitfaden zur Evaluation von Projekten im Bundesprogramm Biologische Vielfalt. Bundesamt für Naturschutz. https://biologischevielfalt.bfn.de/fileadmin/BfN/service/Dokumente/Evaluationsleitfaden_LNV_2017_PH5_Final__BITV_.pdf 

Jordan, R. C., Ballard, H. L. & Phillips, T. B. (2012). Key issues and new approaches for evaluating citizen-science learning outcomes. Frontiers in Ecology and the Environment, 10(6), 307–309. https://doi.org/10.1890/110280 

Mitchell, Cynthia, & Fam, Dena. (2020, April 30). Outcome spaces framework. Outcome Spaces Framework. Zenodo. http://doi.org/10.5281/zenodo.3717200 

Phillips, T., Ferguson, M., Minarchek, M., Porticella, N. & Bonney, R. (2014, Dezember). User’s Guide for Evaluating Learning Outcomes from Citizen Science. Cornell Lab of Ornithology. https://www.birds.cornell.edu/citizenscience/wp-content/uploads/2018/10/USERS-GUIDE_linked.pdf

Phillips, T., Porticella, N., Constas, M. & Bonney, R. (2018). A Framework for Articulating and Measuring Individual Learning Outcomes from Participation in Citizen Science. Citizen Science: Theory and Practice, 3(2), 3. https://doi.org/10.5334/cstp.126 

Phineo: Kursbuch Wirkung. https://www.wirkung-lernen.de

Schaefer T., Kieslinger B., Brandt M., van den Bogaert V. (2021) Evaluation in Citizen Science: The Art of Tracing a Moving Target. In: Vohland K. et al. (eds) The Science of Citizen Science. Springer, Cham. https://doi.org/10.1007/978-3-030-58278-4_25

Shirk, J. L., H. L. Ballard, C. C. Wilderman, T. Phillips, A. Wiggins, R. Jordan, E. McCallie, M. Minarchek, B. V. Lewenstein, M. E. Krasny, and R. Bonney. 2012. Public participation in scientific research: a framework for deliberate design. Ecology and Society 17(2): 29. http://dx.doi.org/10.5751/ES-04705-170229  

Stockmann, R. (2002). Was ist eine gute Evaluation? Einführung zu Funktionen und Methoden von Evaluationsverfahren (CEval-Arbeitspapiere; 9). Centrum für Evaluation. https://ceval.de/modx/fileadmin/user_upload/PDFs/workpaper9.pdf

 Hier geht es zur Übersichtsseite der Blogreihe!