Wirkung messen: Formate der Wissenschaftskommunikation evaluieren

Warum Reichweite allein nicht genügt

Wissenschaftskommunikation umfasst viele unterschiedliche Formate: öffentliche Vorträge, Ausstellungen, Podcasts, Videos, Schulmaterialien, Social-Media-Beiträge, Citizen-Science-Projekte und Gespräche zwischen Forschung und Öffentlichkeit. Sie alle verfolgen nicht dasselbe Ziel. Ein Podcast kann Interesse an einem Thema wecken, eine Ausstellung kann Zusammenhänge anschaulich machen, und ein Beteiligungsprojekt kann Wissen aus der Bevölkerung in einen Forschungsprozess einbringen. Deshalb lässt sich ihre Wirkung nicht mit einer einzigen Kennzahl beschreiben.

Die Zahl der Aufrufe, Downloads oder Besucherinnen und Besucher ist zunächst eine Aussage über die Nutzung. Sie zeigt jedoch nicht automatisch, ob Inhalte verstanden wurden, ob sich Einstellungen verändert haben oder ob Menschen später anders handeln. Eine hohe Reichweite kann mit geringer Aufmerksamkeit einhergehen. Umgekehrt kann ein kleines Gespräch für eine bestimmte Zielgruppe besonders bedeutsam sein, auch wenn nur wenige Personen teilnehmen.

Eine gute Evaluation beginnt daher mit einer präzisen Frage: Welche Veränderung soll durch das Format bei welcher Zielgruppe erreicht werden? Erst danach wird entschieden, welche Daten erhoben werden. Wer alles gleichzeitig messen möchte, erhält oft viele Einzelwerte, aber keine klare Antwort auf die eigentliche Frage.

Wirkung in Stufen denken

Für die Planung hilft ein Wirkungsmodell. Es ordnet die einzelnen Schritte eines Kommunikationsangebots und macht sichtbar, welche Ergebnisse realistisch erwartet werden können. Häufig werden dabei mehrere Ebenen unterschieden:

• Ressourcen: Dazu gehören Zeit, Personal, Fachwissen, Technik und finanzielle Mittel.
• Angebot: Gemeint sind etwa eine Veranstaltung, eine Folge eines Podcasts, ein Unterrichtsmaterial oder eine Ausstellung.
• Nutzung: Auf dieser Ebene wird erfasst, wer das Angebot wahrnimmt, wie lange es genutzt wird und ob es vollständig oder teilweise rezipiert wird.
• unmittelbare Reaktionen: Dazu zählen Verständnis, Interesse, wahrgenommene Verständlichkeit und Zufriedenheit.
• mittelfristige Veränderungen: Möglich sind ein vertieftes Wissen, eine differenziertere Einschätzung oder eine höhere Bereitschaft, sich weiter mit einem Thema zu beschäftigen.
• längerfristige Wirkungen: Hier können sich zum Beispiel Lernentscheidungen, Beteiligung an wissenschaftlichen Projekten oder der Umgang mit Informationen verändern.

Diese Ebenen dürfen nicht verwechselt werden. Ein voller Saal belegt eine Teilnahme, aber noch keinen Lernerfolg. Eine positive Rückmeldung belegt eine gute Wahrnehmung, aber nicht unbedingt eine dauerhafte Wissensänderung. Ein Wirkungsmodell verhindert, dass aus einer beobachteten Nutzung vorschnell eine weitreichende Wirkung abgeleitet wird.

Für die Darstellung eignet sich eine einfache Wirkungskette: Zielgruppe, Kommunikationsziel, Format, erwartete Reaktion, geeigneter Indikator. Diese Kette kann für jede Maßnahme separat ausgefüllt werden.

Ziele und Indikatoren präzise formulieren

Ein Ziel wie mehr Interesse an Forschung ist zu allgemein, um sinnvoll geprüft zu werden. Präziser wäre etwa: Lernende sollen nach einer Unterrichtseinheit erklären können, wie eine wissenschaftliche Hypothese geprüft wird. Für ein Audioformat könnte das Ziel lauten, dass interessierte Erwachsene nach dem Hören zwei unterschiedliche Arten von Evidenz erkennen und voneinander unterscheiden können.

Aus dem Ziel wird ein Indikator abgeleitet. Ein Indikator ist ein beobachtbares Merkmal, das Hinweise auf die Zielerreichung gibt. Bei einem Lernziel kann dies die Qualität einer kurzen Erklärung sein. Bei einem Beteiligungsprojekt kann die Zahl der eingereichten Beobachtungen relevant sein, wobei ihre Qualität und Verwendbarkeit zusätzlich geprüft werden müssen. Bei einer Ausstellung kann untersucht werden, ob Besucherinnen und Besucher zentrale Aussagen wiedergeben oder auf ein Exponat bezogene Fragen beantworten können.

Hilfreich ist die Unterscheidung zwischen Output und Outcome. Der Output beschreibt, was angeboten oder produziert wurde, zum Beispiel fünf Videobeiträge oder eine öffentliche Gesprächsrunde. Der Outcome beschreibt, was sich bei der Zielgruppe verändert. Für eine belastbare Evaluation sollten beide Ebenen dokumentiert werden, aber nicht als gleichwertige Wirkung gelten.

Indikatoren sollten verständlich, realistisch erhebbar und eng mit dem Ziel verbunden sein. Eine umfangreiche Befragung ist nicht automatisch besser als eine kurze, gut konstruierte Aufgabe. Entscheidend ist, ob die erhobenen Daten die konkrete Evaluationsfrage beantworten.

Welche Methoden zu welchem Format passen

Die Wahl der Methode hängt vom Format, der Zielgruppe und dem erwarteten Aufwand ab. Es gibt keine einzelne Erhebungsform, die für alle Kommunikationsangebote geeignet ist.

Format oder Ziel	Passende Erhebung	Worauf zu achten ist
Vortrag oder Gespräch	kurzer Vorher-Nachher-Fragebogen, Beobachtung, kurze Wissensaufgabe	Verständlichkeit und tatsächliches Lernen getrennt betrachten
Podcast oder Video	Nutzungsdaten, anonyme Befragung, Aufgaben zur Einordnung des Inhalts	Aufrufe nicht mit vollständiger Rezeption gleichsetzen
Ausstellung	Besucherbefragung, Beobachtung von Wegen und Verweildauer, Kurzinterviews	räumliche Gestaltung und Vorwissen berücksichtigen
Unterrichtsmaterial	Aufgabenanalyse, Feedback von Lernenden, Einschätzung von Lehrkräften	Lernziel, Altersstufe und Unterrichtskontext prüfen
Citizen-Science-Projekt	Dokumentation der Beteiligung, Qualitätsprüfung der Beiträge, Interviews	fachlicher Nutzen und Beteiligungserfahrung getrennt auswerten

Quantitative Methoden liefern vergleichbare Angaben. Dazu gehören standardisierte Fragebögen, Nutzungsstatistiken oder Auswertungen von Aufgaben. Qualitative Methoden zeigen dagegen, wie Menschen Inhalte verstehen, welche Missverständnisse auftreten und welche Gründe hinter einer Reaktion stehen. Interviews, Gruppengespräche und offene Antworten können deshalb wichtige Ergänzungen sein.

Eine Kombination mehrerer Methoden wird als Triangulation bezeichnet. Wenn beispielsweise Nutzungsdaten, eine Wissensaufgabe und Interviews in eine ähnliche Richtung weisen, entsteht ein differenzierteres Bild. Die Methoden müssen dabei nicht dieselbe Aussage liefern. Gerade Abweichungen können aufschlussreich sein, etwa wenn ein Format häufig genutzt wird, aber zentrale Begriffe dennoch unklar bleiben.

Fragebögen sorgfältig konstruieren

Fragebögen werden in der Wissenschaftskommunikation häufig eingesetzt, sind aber anfällig für Verzerrungen. Zufriedene Personen antworten möglicherweise eher als unzufriedene. Außerdem können Teilnehmende sozial erwünschte Antworten geben oder ihre eigene Erinnerung überschätzen. Eine Evaluation sollte diese Grenzen offen benennen.

Fragen sollten möglichst nur einen Sachverhalt gleichzeitig prüfen. Eine Formulierung wie Das Angebot war verständlich und interessant verbindet zwei verschiedene Merkmale. Besser sind getrennte Fragen zu Verständlichkeit und Interesse. Auch unklare Begriffe wie viel, gut oder häufig sollten durch konkrete Antwortmöglichkeiten ersetzt werden.

Für Wissen sind reine Selbsteinschätzungen nur bedingt geeignet. Wer angeben soll, ob er oder sie etwas verstanden hat, liefert eine Einschätzung, aber keinen Nachweis des Verständnisses. Eine kurze offene Aufgabe oder eine Auswahlaufgabe kann ergänzen, was tatsächlich erinnert oder angewendet wird. Die Aufgaben dürfen dabei nicht mehr Vorwissen verlangen, als das Format vermitteln sollte.

Vor dem Einsatz sollte ein Fragebogen mit Personen aus der Zielgruppe getestet werden. Dabei lässt sich prüfen, ob Fragen missverständlich sind, ob Antwortoptionen fehlen und wie lange die Bearbeitung dauert. Bei Kindern und Jugendlichen müssen Sprache, Datenschutz und Einwilligungsfragen besonders sorgfältig berücksichtigt werden. Evaluation ist nur dann verantwortungsvoll, wenn die Teilnahme freiwillig ist und die erhobenen Daten zweckgebunden verwendet werden.

Vorher-Nachher-Vergleiche richtig einordnen

Ein Vorher-Nachher-Vergleich kann zeigen, ob sich Wissen oder Einstellungen während eines Angebots verändert haben. Vor Beginn wird eine Ausgangserhebung durchgeführt, anschließend eine möglichst vergleichbare Erhebung. Bei einer Unterrichtseinheit kann dieselbe Kompetenz mit unterschiedlichen, aber gleich schwierigen Aufgaben geprüft werden.

Eine Veränderung zwischen beiden Zeitpunkten beweist jedoch nicht automatisch, dass das Format allein dafür verantwortlich ist. Auch Gespräche außerhalb des Angebots, aktuelle Nachrichten oder Unterrichtsinhalte können eine Rolle spielen. Wenn es organisatorisch und ethisch möglich ist, kann eine Vergleichsgruppe helfen. Sie nimmt nicht am untersuchten Angebot teil, wird aber zu ähnlichen Zeitpunkten mit vergleichbaren Instrumenten befragt. Unterschiede zwischen den Gruppen müssen trotzdem vorsichtig interpretiert werden, weil sich die Gruppen in wichtigen Merkmalen unterscheiden können.

Bei längerfristigen Zielen ist eine weitere Erhebung nach einer gewissen Zeit sinnvoll. Sie kann zeigen, ob Wissen erhalten bleibt oder ob eine anfängliche Reaktion wieder abnimmt. Auch hier sollte nicht nur nach einer Meinung gefragt werden. Eine Anwendungsaufgabe oder ein Gespräch über konkrete Situationen liefert oft bessere Hinweise darauf, ob ein Lernimpuls im Alltag eine Rolle spielt.

Reichweite, Aufmerksamkeit und Beteiligung unterscheiden

Digitale Formate bieten zahlreiche Messwerte: Impressionen, Wiedergabedauer, Abonnements, Kommentare oder Interaktionen. Diese Daten können Hinweise auf Aufmerksamkeit geben, sind aber kontextabhängig. Eine kurze Wiedergabe kann bedeuten, dass ein Beitrag uninteressant war, dass die gesuchte Information bereits gefunden wurde oder dass technische Probleme auftraten. Ein Kommentar kann Zustimmung, Kritik oder ein Missverständnis ausdrücken.

Für die Auswertung sollten deshalb mehrere Fragen getrennt werden:

1. Wurde das Angebot gefunden?
2. Wurde es tatsächlich genutzt?
3. Wurde der zentrale Inhalt verstanden?
4. Hat das Angebot eine weiterführende Handlung ausgelöst?

Bei analogen Formaten gilt eine ähnliche Unterscheidung. Die Zahl der Anwesenden beschreibt die Reichweite, nicht die Qualität des Austauschs. Bei einer kleinen Diskussionsgruppe kann die Beteiligung sehr intensiv sein, während eine große Veranstaltung andere Kommunikationsziele erfüllt.

Auch die Zusammensetzung des Publikums ist relevant. Wird eine Zielgruppe erreicht, die bisher wenig Zugang zu wissenschaftlichen Themen hatte? Werden unterschiedliche Altersgruppen, Bildungswege oder sprachliche Hintergründe berücksichtigt? Dafür sind freiwillige, datensparsame Angaben zur Person möglich. Sie sollten nur erhoben werden, wenn sie für die Evaluationsfrage notwendig sind. Datenschutz und Anonymität sind keine nachträglichen Formalitäten, sondern Bestandteile einer seriösen Erhebung.

Qualitative Evaluation: Verstehen, was hinter den Daten steht

Quantitative Werte zeigen, was beobachtet wurde. Qualitative Verfahren helfen zu klären, warum etwas beobachtet wurde. In einem Interview kann sich etwa herausstellen, dass eine Ausstellung zwar als interessant bewertet wird, ein zentraler Begriff aber unterschiedlich verstanden wurde. In einer Gruppendiskussion können Teilnehmende erklären, warum sie sich an einer Debatte beteiligen oder weshalb sie eine Aufgabe abbrechen.

Für qualitative Interviews ist ein Leitfaden sinnvoll. Er sollte offene Fragen enthalten und nicht bereits eine gewünschte Antwort nahelegen. Statt War die Erklärung verständlich? ist die Frage Was ist Ihnen von der Erklärung besonders im Gedächtnis geblieben? oft ergiebiger. Anschließend kann nach unklaren Stellen, überraschenden Aussagen und möglichen Anwendungen gefragt werden.

Die Auswertung sollte nachvollziehbar erfolgen. Aussagen werden nach vorher festgelegten oder aus dem Material entwickelten Kategorien geordnet. Einzelne eindrucksvolle Antworten dürfen nicht als Beleg für eine allgemeine Wirkung behandelt werden. Sie dienen dazu, Muster, Unterschiede und mögliche Erklärungen sichtbar zu machen. Eine qualitative Studie kann deshalb auch dann wertvoll sein, wenn sie keine repräsentative Aussage für die gesamte Bevölkerung beansprucht.

Besonders nützlich sind qualitative Verfahren in der Entwicklungsphase. Bevor ein Format in größerem Umfang eingesetzt wird, können Testpersonen Rückmeldung zu Sprache, Aufbau, Bildern und Aufgaben geben. So werden Missverständnisse sichtbar, die eine reine Reichweitenmessung nicht erfassen würde.

Evaluation als Lernprozess für die Formatentwicklung

Evaluation sollte nicht erst am Ende stattfinden. Eine formative Evaluation begleitet die Entwicklung und liefert Hinweise, solange noch Änderungen möglich sind. Dabei können Prototypen, einzelne Podcastfolgen, Ausstellungstexte oder Unterrichtsaufgaben mit Personen aus der Zielgruppe geprüft werden.

Eine summative Evaluation betrachtet dagegen ein abgeschlossenes oder über einen längeren Zeitraum durchgeführtes Angebot. Sie untersucht, in welchem Maß die gesetzten Ziele erreicht wurden. Beide Formen ergänzen sich. Die formative Evaluation verbessert das Produkt, die summative Evaluation beurteilt die Ergebnisse im Verhältnis zu den Zielen.

Ein praktikabler Ablauf kann so aussehen:

1. Die Zielgruppe und das Kommunikationsziel beschreiben.
2. Eine Wirkungskette mit erwarteten Veränderungen formulieren.
3. Für jede relevante Veränderung einen passenden Indikator festlegen.
4. Erhebungsmethoden und Datenschutzanforderungen prüfen.
5. Instrumente mit wenigen Personen aus der Zielgruppe testen.
6. Daten systematisch und nach einem vorher festgelegten Plan auswerten.
7. Ergebnisse, Grenzen und mögliche alternative Erklärungen dokumentieren.
8. Konkrete Änderungen am Format ableiten und später erneut überprüfen.

Dieser Ablauf verhindert, dass nur solche Daten gesammelt werden, die eine bereits getroffene Einschätzung bestätigen. Er macht außerdem sichtbar, welche Ziele nicht erreicht wurden und ob diese Ziele möglicherweise unrealistisch oder unklar formuliert waren.

Qualitätskriterien und verantwortungsvoller Umgang mit Ergebnissen

Die Deutsche Gesellschaft für Evaluation, kurz DeGEval, beschreibt allgemeine Standards für Evaluation, darunter Nützlichkeit, Durchführbarkeit, Fairness und Genauigkeit. Diese Grundsätze lassen sich auf Wissenschaftskommunikation übertragen. Eine Evaluation sollte den Beteiligten tatsächlich bei Entscheidungen helfen, mit vertretbarem Aufwand umsetzbar sein, die Rechte der Befragten respektieren und methodisch nachvollziehbar sein.

Zur Fairness gehört, dass nicht nur die Perspektive der Veranstaltenden berücksichtigt wird. Auch Personen, die das Angebot nicht genutzt haben oder damit unzufrieden waren, können wichtige Hinweise geben. Zur Genauigkeit gehört, zwischen Daten und Interpretation zu unterscheiden. Ein Ergebnis wie viele Teilnehmende bewerten die Veranstaltung positiv ist etwas anderes als die Schlussfolgerung die Veranstaltung hat ihr Wissen dauerhaft verbessert.

Die Berichterstattung sollte daher mindestens folgende Punkte enthalten:

• Fragestellung und Zielgruppe der Evaluation
• Zeitraum und Ablauf der Erhebung
• verwendete Instrumente und Auswertungsverfahren
• Rücklauf oder Auswahl der befragten Personen, soweit diese Angaben erhoben wurden
• wesentliche Ergebnisse und Unsicherheiten
• mögliche Verzerrungen und Grenzen
• begründete Konsequenzen für die Weiterentwicklung

Bei personenbezogenen Daten gelten die Anforderungen der Datenschutz-Grundverordnung. Für viele Kommunikationsformate reichen anonyme oder stark reduzierte Daten aus. Je weniger Daten für die Fragestellung benötigt werden, desto geringer ist das Risiko einer unangemessenen Nutzung.

Was sich aus etablierten Rahmenwerken ableiten lässt

Für die Planung können bestehende fachliche Rahmenwerke Orientierung geben. Die Standards der DeGEval helfen dabei, Evaluationsvorhaben hinsichtlich Nützlichkeit, Genauigkeit und Fairness zu prüfen. Die Veröffentlichungen von Wissenschaft im Dialog, darunter das Wissenschaftsbarometer, zeigen, wie Einstellungen zur Wissenschaft in der Bevölkerung regelmäßig untersucht werden können. Solche Bevölkerungsbefragungen sind jedoch nicht ohne Weiteres mit der Evaluation eines einzelnen Podcasts oder einer Ausstellung gleichzusetzen. Ihr Zweck und ihre Stichprobe unterscheiden sich.

Im europäischen Forschungsrahmen wird unter dem Begriff Responsible Research and Innovation, kurz RRI, unter anderem die Einbindung gesellschaftlicher Perspektiven betont. Für Beteiligungsformate bedeutet dies, nicht nur zu messen, wie viele Personen teilnehmen. Ebenso wichtig ist, ob ihre Beiträge tatsächlich berücksichtigt werden, ob Erwartungen transparent kommuniziert werden und ob die Beteiligung für verschiedene Gruppen zugänglich ist.

Aus diesen Rahmenwerken folgt kein einheitliches Bewertungsschema für jedes Format. Sie liefern vielmehr Kriterien, mit denen die eigene Evaluation begründet werden kann. Entscheidend bleibt die Passung zwischen Ziel, Zielgruppe, Methode und Interpretation.

FAQ zur Evaluation von Wissenschaftskommunikation

Welche Kennzahl ist die wichtigste?

Eine einzelne wichtigste Kennzahl gibt es nicht. Die passende Kennzahl hängt vom Ziel ab. Für ein Reichweitenziel können Nutzungsdaten relevant sein, für ein Lernziel eher Aufgaben oder Wissensfragen. Bei Beteiligungsformaten müssen zusätzlich Qualität, Zugänglichkeit und tatsächlicher Einfluss der Beiträge betrachtet werden.

Wie lässt sich der Lernerfolg eines Podcasts prüfen?

Die Wiedergabedauer allein reicht dafür nicht aus. Möglich sind freiwillige kurze Aufgaben, eine anonyme Befragung oder eine Untersuchung der häufigsten Verständnisprobleme. Wenn ein Vorher-Nachher-Vergleich verwendet wird, sollte die Aufgabe zur Zielgruppe und zum Inhalt passen.

Braucht jede kleine Veranstaltung eine umfangreiche Studie?

Nein. Der Umfang der Evaluation sollte zur Fragestellung und zu den verfügbaren Ressourcen passen. Ein kurzes, gut formuliertes Feedbackinstrument und einige offene Gespräche können für eine interne Weiterentwicklung nützlicher sein als eine große, aber unpassende Befragung.

Was bedeutet eine positive Bewertung?

Eine positive Bewertung zeigt, dass ein Angebot angenehm, interessant oder verständlich wahrgenommen wurde, sofern genau diese Merkmale erhoben wurden. Sie belegt nicht automatisch einen Wissenszuwachs oder eine langfristige Verhaltensänderung. Dafür sind andere Indikatoren und meist weitere Erhebungszeitpunkte erforderlich.

Warum sollten Grenzen der Evaluation veröffentlicht werden?

Grenzen machen Ergebnisse nicht wertlos. Sie zeigen, wie weit eine Aussage reicht und welche alternativen Erklärungen möglich sind. Eine transparente Darstellung erhöht die Nachvollziehbarkeit und verhindert, dass Reichweite, Zustimmung und langfristige Wirkung miteinander verwechselt werden.