Evaluierung von Citizen-Science-Projekten: Wozu und wie?

Wozu Citizen Science evaluieren?

Citizen-Science-Projekte sind geprägt von Offenheit und Diversität. Im Gegensatz zu klassischen Forschungsprojekten, die in den allermeisten Fällen von ausgewiesenen Forschungsinstitutionen wie z.B. Universitäten, Forschungsinstituten oder Museen durchgeführt werden, finden sich unter Citizen-Science-Projekten zu einem sehr großen Teil auch solche, die von „unüblichen” Forschungsakteurinnen und -akteuren geleitet werden, darunter NGOs, private Vereine aber auch von Privatleuten initiierte Projekte ohne eine wie auch immer gestaltete formale Organisation im Hintergrund. So verschieden wie die Forschungsträger in Citizen Science Projekten sind, so verschieden sind auch die Ziele, Methoden und involvierten Akteurinnen und Akteure. 

Durch die zunehmende Popularität von Citizen Science werden auch die Rufe nach speziellen (öffentlichen) Förderungen immer lauter. In einigen Ländern wie z.B. Österreich und Deutschland gibt es bereits solche Förderungen, die von Ministerien oder ausgewiesenen Forschungsförderungsorganisationen bereitgestellt werden. Diese Förderorganisationen haben natürlich gerade durch die Verwendung öffentlicher Gelder dafür Sorge zu tragen, dass damit verantwortungsvolle Forschung durchgeführt wird. Dieser Verantwortung tragen sie meist durch ein intensives Prüfverfahren Rechnung, das formale Kriterien und meist auch eine inhaltliche Begutachtung durch Expertinnen und Experten beinhaltet. In der Regel wird dieses Prüfverfahren vor der Vergabe der Gelder durchgeführt. So wird vorab bereits sichergestellt, dass öffentliche Gelder möglichst erfolgreich und effizient eingesetzt werden und vor allem nicht missbräuchlich verwendet werden. Dies gilt natürlich auch für die Förderung von Citizen-Science-Projekten. Wenn der Staat öffentliche Gelder dafür verwendet, Citizen-Science-Projekte zu fördern, dann muss natürlich auch sichergestellt sein, dass diese Gelder im Sinne der Allgemeinheit verwendet werden. Dieser Aspekt wird u.a. im Paper „Innovation in Citizen Science – Perspectives on Science-Policy Advances” von Hecker et al. (2018) hevorgehoben. Sie führen weiter aus, dass nur durch eine vorhergehende Evaluierung der Projekte, Ergebnisse aus Citizen Science Projekten von Behörden verwendet werden, um ihre jeweiligen Tätigkeiten auf einer informierten Basis durchführen zu können. Derzeit ist eine solche Evaluierung, wie auch eine Verwendung der Ergebnisse durch Behörden nur sehr selten der Fall. 

Manche Citizen-Science-Projekte sind von klassischen Forschungsförderungsformen ausgeschlossen. So können Projekte, die von privaten Initiativen oder Vereinen durchgeführt werden, oft nicht gefördert werden, da einerseits meist die notwendigen Strukturen speziell bei kleineren Vereinen fehlen, um Förderungen im Ausmaß von mehreren hunderttausend Euro zu verwalten. Andererseits fehlen für die Geldgeber auch die Sicherheiten, dass bei einer unsachgemäßen Verwendung der Forschungsförderungen die Förderorganisationen sich schadlos halten können, sprich, die bereits ausgezahlten Förderung wieder zurückgezahlt werden können. 

Ein weiterer Aspekt, der gerade auch Citizen-Science-Projekte stark betrifft, ist die Tatsache, dass oft viele Personen sehr viel ehrenamtliche Zeit in die Durchführung der Projekte investieren. Gerade gegenüber den eigenen Teilnehmerinnen und Teilnehmern sind Citizen-Science-Projekte daher besonders verpflichtet. Sie tragen die Verantwortung dafür, dass die freiwillig investierte Zeit nicht verschwendet war, und dass am Projektende auch das bei Projektstart definierte Ziel erreicht wurde. Sonst besteht die große Gefahr, dass Citizen Science sehr schnell den Ruf von Pseudoforschung erhält, was dieser großartigen Methode extrem schaden würde. 

Erfahrungen zur Evaluation aus Österreich 

Zahlreiche Akteurinnen und Akteure im Bereich Citizen Science weltweit, darunter auch wir in Österreich, stellen sich die Frage, ob Citizen-Science-Projekte evaluiert werden müssen und, wenn ja, wie das in einem so diversen Feld sinnvoll durchgeführt werden kann um die oben beschrieben Sicherheit für alle Akteure zu gewährleisten. Sehr einprägsam waren für uns im Zuge dieser Überlegungen die Diskussionen rund um das von uns veröffentlichte Opinionpaper in den Proceedings of the National Acadamy of Sciences of the United States of America (PNAS) zu Beginn dieses Jahres (Heigl et al. 2019, Entgegnung von Auerbach et al. 2019 und Antwort darauf von Heigl et al. 2019b). Darin beschreiben wir einen offenen Prozess, den wir in Österreich durchgeführt haben, um transparente Qualitätskriterien für Citizen Science Projekte auf Österreich forscht (www.citizen-science.at) zu erstellen, die uns als Koordinatoren der Plattform helfen zu entscheiden, welche Projekte gelistet werden und welche nicht. In diesem Opinionpaper rufen wir dazu auf, dass dieser Prozess, der in Österreich sehr gut funktioniert hat, auch auf internationaler Ebene wiederholt werden sollte und der dann in letzter Folge auch zu einer international anerkannten Definition von Citizen Science führen könnte, die bisher noch fehlt. Eines der Gegenargumente, welches in der Antwort auf die Opinion publiziert wurde (Auerbach et al. 2019), führt aus, dass Kriterien und Definitionen immer auch ausschließend wirken, und dass dadurch der noch aufstrebenden Methode Citizen Science geschadet werden könnte. Diesem Argument begegneten wir, in dem wir in unserer Antwort auf die Entgegnung (Heigl et al. 2019b) beschrieben, wie durch den so offen und transparent wie möglich durchgeführten Prozess und die laufende Evaluierung der entwickelten Kriterien neuen Entwicklungen laufend Rechnung getragen werden.

Doch nicht nur für Citizen-Science-Plattformkoordinatorinnen und -koordinatoren und Forschungsförderorganisationen ist die Frage der objektiven und transparenten Evaluation wichtig. Organisatorinnen und Organisatoren von Citizen-Science-Veranstaltungen, wie z.B. Konferenzen oder Citizen Science Days, müssen ebenfalls entscheiden, nach welchen Kriterien sie Projekte auswählen, die sich dort präsentieren dürfen. Letztlich stellt sich diese Frage auch für die Projektleiterinnen und -leiter, die entscheiden müssen, wie sie ihr Projekt in der Vielzahl an Forschungsinitiativen positionieren wollen. Dies hat u.a. auch einen Einfluss darauf, welche Gelder ein Projekt einwerben kann oder auf welchen Veranstaltungen es sich präsentieren kann. 

Erste Erfahrungen in der Anwendung der von uns entwickelten Kriterien in Österreich bei sowohl bereits bestehenden Projekten als auch bei neuen Projekten zeigt deutlich, dass eine Anpassung an diese Kriterien möglich ist, egal welchen institutionellen (oder auch nichtinstitutionellen) oder fachlichen Hintergrund die Projekte haben. Sowohl Universitätsprojekte, als auch Projekte von Vereinen, NGOs oder privaten Initiativen und egal von welcher Disziplin kommend sind in der Lage, diesen Prozess positiv zu durchlaufen. 

Neben diesem Ansatz, den wir in Österreich gemeinsam mit der Citizen-Science-Community entwickelt und gewählt haben, gibt es natürlich noch weitere Ideen und Ansätze, wie eine Evaluierung von Citizen-Science-Projekten erfolgen kann. 

Weitere Ansätze zur Evaluation von Citizen Science

In ihrem Buchkapitel „Evaluating Citizen Science: Towards an Open Framework” beschreiben Kieslinger et al. (2018) einen Ansatz, bei dem Citizen-Science-Projekte entlang von drei Achsen evaluiert werden können: wissenschaftlicher Einfluss des Projektes, Lernen und Ermächtigungsmechanismen der Teilnehmerinnen und Teilnehmer im Projekt, sowie breiterer Einfluss des Projektes auf die Gesellschaft. Diese drei Dimensionen schließen Fragen rund um die Datenqualität oder die Generierung neuen Wissens genauso ein, wie Fragen rund um die Kommunikation mit den Teilnehmerinnen und Teilnehmern, dem Grad der Einbindung der Teilnehmerinnen und Teilnehmer im Gesamtprojekt, den Einfluss auf Gesellschaft und Wirtschaft oder das Innovationspotential von Projekten. Die Autorinnen und Autoren weisen auch darauf hin, dass im Rahmen dieser Evaluierungen die Diversität und die Neuheit von Citizen Science Berücksichtigung finden müssen. Nicht zuletzt ist der hier entwickelte Rahmen auch für Projektleiterinnen und -leiter entwickelt worden, die selbst entscheiden, welche Aspekte ihnen besonders wichtig erscheinen und welche sie beobachten und evaluieren wollen. 

Wiggins et al. (2018) wählten in ihrem Paper „A Science Products Inventory for Citizen-Science Planning and Evaluation” einen etwas anderen Ansatz und entwickelten einen Katalog von Punkten, die sich speziell auf den wissenschaftlichen Aspekt von Citizen-Science-Projekten konzentrieren. Dies soll vor allem dabei helfen, Anträge zu Citizen-Science-Projekten zu evaluieren und somit Forschungsförderungsorganisationen zu unterstützen. Wie die Autorinnen und Autoren selbst schreiben, werden in diesen Kriterien vor allem die Perspektiven von Wissenschaftlerinnen und Wissenschaftlern berücksichtigt, und weniger jene der Teilnehmerinnen und Teilnehmer.

Bereits im Jahr 2016 haben Chase und Levine in ihrem Paper „A framework for evaluating and designing citizen science programs for natural resources monitoring” festgehalten, dass der Erfolg von Citizen-Science-Projekten, welche Umweltressourcen monitoren, von vielen Faktoren abhängen, dass diese sich manchmal jedoch widersprechen. So muss oft ein Kompromiss zwischen der Schaffung von Lernmöglichkeiten und der Datenquantität bzw. -qualität gefunden werden. 

Trotz dieser zahlreichen Evaluierungsansätze werden Citizen-Science-Projekte derzeit noch sehr selten evaluiert. Im Paper „The threefold potential of citizen science - Generating knowledge, creating learning opportunities and enabling civic participation” von Turrini et al. (2018) wird eine Umfrage unter Umweltbildungsorganisationen im deutschsprachigen Raum präsentiert, in der das Potential von Citizen Science in Wissensproduktion, der Schaffung von Lernmöglichkeiten und der Ermöglichung von ziviler Teilhabe an Wissenschaft abgefragt wurde. Kernaussage des Papers ist, dass Umweltbildungsorganisationen sehr viel Potential in allen drei Bereichen sehen und diese auch als Ziel angegeben haben, wenn sie selbst Citizen-Science-Projekte durchgeführt haben, aber dass die Erreichung dieser Ziele sehr oft nicht evaluiert wurde. 

Zusammengefasst ist festzuhalten, dass die Diskussion ob und wenn ja wie Citizen Science evaluiert werden soll gerade erst begonnen hat und in Zukunft spannende Diskussionen folgen werden. Für das wie einer möglichen Evaluierung gibt es bereits verschiedene Ansätze, und welcher Ansatz der passendste ist, wird situations- und kontextspezifisch entschieden werden müssen. In Zukunft werden sich sicherlich noch viele Gelegenheiten auf Konferenzen und Workshops ergeben, um zu dieser Diskussion beizutragen. So zum Beispiel beim Forum Citizen Science in Münster (26.-27. September 2019), bei der kommenden Österreichischen Citizen Science Konferenz 2020 (06.-08. Mai 2020) oder bei der European Citizen Science Conference in Triest (25.-26. Mai 2020).

 

Weiterführende Literatur:

Auerbach, J., Barthelmess, E. L., Cavalier, D., Cooper, C. B., Fenyk, H., Haklay, M., … Shanley, L. (2019). The problem with delineating narrow criteria for citizen science. Proceedings of the National Academy of Sciences, 116(31), 15336–15337. https://doi.org/10.1073/pnas.1909278116

Chase, S. K., & Levine, A. (2016). A framework for evaluating and designing citizen science programs for natural resources monitoring. Conservation Biology, 30(3), 456–466. https://doi.org/10.1111/cobi.12697

Hecker, S., Bonney, R., Haklay, M., Hölker, F., Hofer, H., Goebel, C., … Bonn, A. (2018). Innovation in Citizen Science – Perspectives on Science-Policy Advances. Citizen Science: Theory and Practice, 3(1), 1–14. https://doi.org/10.5334/cstp.114

Heigl, F., Kieslinger, B., Paul, K. T., Uhlik, J., & Dörler, D. (2019). Opinion: Toward an international definition of citizen science. Proceedings of the National Academy of Sciences, 116(17), 8089–8092. https://doi.org/10.1073/pnas.1903393116

Heigl, F., Kieslinger, B., Paul, K. T., Uhlik, J., & Dörler, D. (2019) b. Reply to Auerbach et al.: How our Opinion piece invites collaboration. Proceedings of the National Academy of Sciences, 116(31), 15338–15338. https://doi.org/10.1073/pnas.1909628116

Kieslinger, B., Schäfer, T., Heigl, F., Dörler, D., Richter, A., & Bonn, A. (2018). Evaluating Citizen Science: Towards an open framework. In S. Hecker, M. Haklay, A. Bowser, Z. Makuch, J. Vogel, & A. Bonn (Eds.), Citizen Science - Innovation in Open Science, Society and Policy (p. in press). London: UCL Press.

Wiggins, A., Bonney, R., Lebuhn, G., Parrish, J. K., & Weltzin, J. F. (2018). A Science Products Inventory for Citizen-Science Planning and Evaluation. BioScience, 68(6). https://doi.org/10.1093/biosci/biy028

 

Wir bedanken uns bei den Autoren für den Gastbeitrag.