Messbarkeit von Bildungseffekten

Potenziale - Widersprüche - Schieflagen

Kurt Schmid

• Verlag: Books on Demand
• Jahr: 2020
• ISBN drucken:
  9783751993678
• eBook-ISBN:
  9783752694048
• Thema: Sozialwissenschaften
• Thema: Soziologie

(Erwachsenen-)Bildung wird gemeinhin eine Reihe positiver individueller und gesellschaftlicher Wirkungen zugeschrieben, ohne aber die Bildungseffekte genau zu kennen. Während sich Lernende gelungen weiterbilden und Bildungsanbieter ihre Bildungsangebote mithilfe messbarer Kriterien optimieren wollen, verlangen bildungspolitische Akteurinnen und Akteure, dass Benchmarks erreicht und Wirkungen nachgewiesen werden, damit evidenzbasierte Steuerung funktioniert. Doch wie seriös lässt sich das Resultat von Bildung messen und empirisch nachweisen? Ausgabe 40 des Magazin erwachsenenbildung.at diskutiert in 15 Beiträgen, inwieweit das Messen von Bildungseffekten sinnvoll ist, welche Fallstricke es dabei gibt und wie Wirkungsforschung gelingen kann. Außerdem wird illustriert, wie wissenschaftliche Evidenzen und bildungspolitische Praxis zusammenspielen.

Thema

03

Von Evidenzbasierung zur fachlich-reflektierten Wirkungsorientierung

Thomas Stangl

Stangl, Thomas (2020): Von Evidenzbasierung zur fachlich-reflektierten Wirkungsorientierung.

In: Magazin erwachsenenbildung.at. Das Fachmedium für Forschung, Praxis und Diskurs.

Ausgabe 40, 2020. Wien.

Online im Internet: https://erwachsenenbildung.at/magazin/20-40/meb20-40.pdf.

Druck-Version: Books on Demand GmbH: Norderstedt.

Schlagworte: Wirkungsmessung, Wirkungsdiskurs, Wirkungsziele, Wirkungsorientierung, Steuerung, Evidenz, Evidenzbasierung, evidenzbasierte Praxis, Bildung, Weiterbildung

Kurzzusammenfassung

Welche methodologischen und normativen Herausforderungen ergeben sich bei der Messung von Wirkungen im Bildungsbereich? Geht es darum, Praxisentscheidungen zu fundieren, oder doch eher darum, Bildungsangebote zu legitimieren? Der vorliegende Beitrag diskutiert evidenzbasierte Praxis (Bearbeitung praktischer Probleme durch vorhandene wissenschaftliche Studien) und evidenzbasierte Praktiken (wirkungsorientierte Evaluationen der gelebten Praxis) und zeigt deren Herausforderungen und auch Schwächen auf. These ist, dass eine reine Evidenzbasierung in beiden Fällen den komplexen und normativen Bedingungen von Bildungsprozessen nicht gerecht wird. Denn oft haben die Wahl der relevanten Wirkungsziele und die Frage, wer dies aus welchen Gründen bestimmen soll, einen bedeutenden Einfluss auf die Bewertung. Den Abschluss bildet ein Plädoyer für eine fachlich-reflektierte Wirkungsorientierung im Bildungsbereich. Konkret würde das bedeuten, die AdressatInnen der Bildungsangebote sowohl bei der Formulierung der Ziele als auch bei der Wahl der Mittel zu beteiligen und in ihrer Autonomie zu respektieren. (Red.)

Von Evidenzbasierung zur fachlich-reflektierten Wirkungsorientierung

Thomas Stangl

„‚Nicht alles was zählt ist messbar und nicht alles was messbar ist zählt‘. Die Frage ‚was ist im Einzelfall angemessen?‘ kann keinesfalls durch den Hinweis auf eine hohe statistische Wirkungswahrscheinlichkeit ersetzt werden, völlig unabhängig davon, wie valide und reliabel die zu Grunde gelegten Messverfahren auch immer sein mögen.“

Schrödter/Ziegler 2007, S. 42

Eine international geführte Debatte über die Möglichkeiten und Grenzen einer Wirkungsorientierung und die damit verbundenen Steuerungsprogramme ist seit langem in vollem Gange (siehe u.a. Bellmann/ Müller 2011). Bei praktischen und politischen Entscheidungen sollen nicht mehr Fachautoritäten und ihre Ideologien eine Rolle spielen, sondern vor allem die bestverfügbare Evidenz aus der Forschung (vgl. Hüttemann 2010, S. 127f.).

Häufig erweisen sich Wirkungsstudien im Bildungs- und Sozialbereich jedoch als Mogelpackung. Nicht in jeder Studie, auf der „Wirkung“ draufsteht, werden auch tatsächlich „Wirkungen“ und noch weniger „Nebenwirkungen“² gemessen. Die Erwartungen, die an Wirkungsstudien gestellt werden, nämlich Erklärungen oder Handlungsanleitungen für die Praxis zu generieren, können in den seltensten Fällen eingelöst werden (vgl. Schrödter/ Ziegler 2007, S. 5).

Wirkung als das (Nicht-)Erreichen von Zielen?

Ist von Wirkungen die Rede, geht es in der Regel um intendierte Zustandsänderungen, die beobacht bar sind und hinreichend plausibel mit einer gesetzten Maßnahme in Zusammenhang gebracht werden können. Diese abgeschwächte Wirkungsdefinition erlaubt keine Erklärungen oder Prognosen von bestimmten Ereignissen, sondern beschreibt lediglich das Erreichen oder Nicht-Erreichen von intendierten Zielen (vgl. Tornow 2008, S. 51). Dadurch können bei der Bewertung von Bildungsangeboten wesentliche Einflussfaktoren (z.B. Familie und soziale Beziehung) oder mögliche andere Wirkungen und Nebenwirkungen (z.B. eine sinkende Kriminalität, die Verbesserung/Verschlechterung des psychischen Wohlbefindens oder die Reproduktion sozialer Ungleichheit) aus dem Blick geraten.

Der Beitrag widmet sich der Frage, welche methodologischen und normativen Herausforderungen sich bei Wirkungsnachweisen von Bildungsangeboten ergeben. Es wird die These vertreten, dass die Vorstellung einer reinen Evidenzbasierung nicht haltbar ist und aufgrund der komplexen und normativen Bedingungen von Bildungsprozessen für die Wahl von Wirkungsindikatoren, für die Modellierung von Wirkungsbeziehungen sowie für die darauf aufbauenden Entscheidungen eine fachliche Orientierung notwendig ist. Mit einer fachlichen Orientierung sind bei der Wahl von Wirkungsindikatoren die theoretischen Bezüge und konzeptionellen Grundlagen für den partizipativen Forschungsprozess gemeint. Bei der Modellierung von Wirkungsbeziehungen ist eine fachliche Orientierung wichtig, weil kausale Zusammenhänge nicht direkt beobachtbar sind und es theoretische Annahmen über Wirkungszusammenhänge braucht. Die praktischen Entscheidungen müssen im Einzelfall, unter unsicheren und ambivalenten Bedingungen, fachlich abgewogen werden und können nicht allein aus der Evidenz abgeleitet werden. Plädiert wird für einen fachlich-reflektierten Zugang bei der Produktion von Evidenz in der Forschung und bei deren Implementierung in die Praxis, d.h. für einen Zugang, der den einzelnen Menschen und seine Handlungsfreiheit im Fokus hat und behält. Konkret würde das bedeuten, die AdressatInnen der Bildungsangebote sowohl bei der Formulierung der Ziele als auch bei der Wahl der Mittel zu beteiligen und in ihrer Autonomie zu respektieren.

Der halbierte Wirkungsdiskurs

Das Interesse an einer wirkungsorientierten Steuerung im Bildungs- und Sozialbereich äußert sich auf vier Ebenen, die miteinander verknüpft sind. Es ist das das Interesse:

• politische Entscheidungen zu steuern,
• Fachkräfte in der Praxis anzuleiten,
• Organisationen zu steuern und
• steuerungsrelevantes Wissen mittels Forschung bereitzustellen (vgl. Otto 2007, S. 13).

Gemeinsam ist den Ebenen ein zunehmender Legitimationsdruck, die Wirksamkeit von Maßnahmen im Bildungs- und Sozialbereich nachzuweisen. Im deutschsprachigen Raum liegt ausgehend von einer Qualitätsdebatte der letzten Jahrzehnte nach Hans-Uwe Otto (2007, S. 22) der Fokus vor allem auf der Evaluation von Qualitätsindikatoren, welche eine wirkungsorientierte Finanzierung im Sinne einer Effizienzsteigerung ermöglichen soll. Dies ist auch in Ländern wie Großbritannien oder den USA der Fall. Jedoch spielt im angloamerikanischen Sprachraum der Einbezug von systematischer Wirkungsforschung (wissenschaftliche Übersichtsarbeiten zu einer bestimmten Fragestellung) in fachliche und politische Entscheidungen eine zentralere Rolle. Otto nennt den deutschsprachigen Diskurs daher den „halbierten Wirkungsdiskurs“ (ebd.). Im deutschen Sprachraum hat sich die Forschungslage in den letzten Jahren zwar stetig verbessert (siehe u.a. Projektträger im DLR 2012; Hooley 2014; Manninen et al. 2014), sie ist jedoch nicht mit der Datenlage im angloamerikanischen Bereich zu vergleichen.

Umso geringer und schwächer die Datenlage aus der Forschung ist, umso weniger werden wissenschaftliche Erkenntnisse in die praktische Entscheidungsfindung einfließen können. Obwohl im deutschen Sprachraum oft die Rede von einer evidenzbasierten Praxis ist, haben die wirkungsorientierten Evaluationsstudien im Bildungs- und Sozialbereich nichts mit dem eigentlichen Konzept einer evidenzbasierten Praxis (evidence based practice) zu tun. Gerlinde Struhkamp-Munshi (2007, S. 10) schlägt vor, zwischen evidenzbasierter Praxis und evidenzbasierten Praktiken zu unterscheiden. Denn meist geht es nicht darum, Praxisentscheidungen zu fundieren, sondern pädagogische Praktiken (wie z.B. Bildungsangebote) zu evaluieren.

Das ursprüngliche Konzept evidenzbasierter Praxis…

Das Konzept einer evidenzbasierten Praxis hat seinen Ursprung in der Medizin. In die praktische Entscheidungsfindung werden dabei:

• das beste Wissen über effektive Maßnahmen aus der systematischen Forschung,
• die klinische Expertise und
• die Wertepräferenzen der AdressatInnen einbezogen (vgl. Sackett et al. 1996, S. 71).

Alle drei Komponenten haben gleich großes Gewicht. Gefordert wird, dass jede dieser Entscheidungskomponenten mit gleicher Sorgfalt behandelt und keine bevorzugt wird (vgl. Albright/Thyer 2010, S. 137). Vor diesem Hintergrund beschreibt das Konzept einer evidenzbasierten Praxis notwendige Schritte, um z.B. praktische Problemstellungen durch eine geeignete Fragestellung und Bewertung der vorhandenen wissenschaftlichen Studien zu bearbeiten. Folgende Schritte sind dabei zu beachten (Mullen/ Bellamy/Bledsoe 2007, S. 14ff.):

1. „Formulieren Sie Ihre Informationsbedürfnisse als eine beantwortbare Frage.
2. Suchen Sie zur Beantwortung dieser Frage nach der besten Evidenz.
3. Führen Sie eine kritische Bewertung der Evidenz in Bezug auf ihre Validität (Wahrheitsnähe), ihre Auswirkungen (Effektgröße) und ihre Anwendbarkeit (Nützlichkeit für unser Handlungsfeld) durch.
4. Führen Sie Ihre kritische Bewertung und Ihre praktischen Erfahrungen mit den Stärken, Wertvorstellungen und Lebensumständen Ihres Klienten zusammen. Sie müssen die Evidenz nun in Verbindung mit den Wertvorstellungen und Präferenzen Ihrer Klienten überdenken.
5. Beurteilen Sie Ihre eigene Effektivität und Effizienz bei der Durchführung der Schritte 1-4 und suchen Sie nach Möglichkeiten, wie Sie sie das nächste Mal verbessern können.
6. Als Ergänzung: Lehren Sie anderen, ebenfalls nach diesem Konzept zu arbeiten.“

…in der Erwachsenenbildung

Dieses Konzept einer evidenzbasierten Praxis wurde relativ schnell von verschiedenen Professionen (Psychologie, Soziale Arbeit, Pflege etc.) aufgenommen (siehe u.a. Gray/Plath/Webb 2009). Es eignet sich insbesondere für professionelle Beratungssettings, könnte grundsätzlich aber auch bei der Entwicklung von Bildungsangeboten angewendet werden.

Im Wesentlichen geht es darum, die bestverfügbaren wissenschaftlichen Erkenntnisse – neben der Expertise und Erfahrung der Lehrenden, der eigenen pädagogischen Haltung und den Wertevorstellungen der Zielgruppe (individuelle Präferenzen, Sorgen und Erwartungen) – in die Konzeption von Bildungsangeboten einzubeziehen. Konkret umgesetzt, würde das heißen: Zu Beginn wird eine Fragestellung formuliert und werden Studien zur Beantwortung gesucht, die hinsichtlich ihrer wissenschaftlichen Güte bewertet werden. Derart kann Aufschluss darüber gewonnen werden, welche Faktoren bei einem bestimmten Bildungsangebot, bei einer definierten Zielgruppe zu einer intendierten Wirkung führen. Danach müssen die kritische Bewertung der Studien und die eigene praktische Erfahrung mit den Lebensumständen und Wertevorstellungen der Zielgruppe zusammengeführt werden (vgl. Mullen/Bellamy/Bledsoe 2007, S. 19). Dies kann zum Beispiel durch Bedarfsanalysen und Zielgruppenbefragungen erhoben werden oder am Beginn eines Bildungsangebots in die didaktische Planung einfließen.

Was ist überhaupt „beste Evidenz“?

Bei der kritischen Diskussion über die Möglichkeiten und Grenzen evidenzbasierter Praxis ist vor allem umstritten, was unter „bester Evidenz“ in der Forschung zu verstehen ist. VertreterInnen einer starken Version evidenzbasierter Praxis orientieren sich an einer hierarchischen Ordnung von Forschungsdesigns (levels of evidence). Sie unterscheiden die Forschungsdesigns hinsichtlich ihrer wissenschaftlichen Güte. An der Spitze der Hierarchie stehen dabei die Metaanalysen von randomisierten Kontrollstudien. Sie werden als der gold standard of evidence bezeichnet (vgl. Gray/Plath/Webb 2009, S. 31-37). In der Hierarchie abfallend gereiht sind u.a. randomisierte kontrollierte Studien, Kohortenstudien, Fall-Kontroll-Studien, qualitative Studien, Fallberichte und ExpertInnenmeinungen. Die Bevorzugung gewisser Forschungsdesigns in der evidenzbasierten Praxis bedeutet jedoch nicht, dass andere Designs keine brauchbaren Informationen liefern können. Bei einem grundsätzlichen Mangel an Studien sind verstärkt die klinische Expertise und die Präferenzen der AdressatInnen gefragt. D.h., eine fachlich-reflektierte Praxis ist auch ohne Evidenz aus der Forschung handlungsfähig. Umgekehrt kann die Evidenz aus der Forschung ohne eine fachliche Bewertung und Zusammenführung zu keiner Handlungsanleitung führen. Eine evidenzbasierte Praxis ist nicht mit der kategorischen Orientierung an Wirkungsnachweisen aus dementsprechenden Studien gleichzusetzen.

…und ihre Problemstellen

Zu beachten ist nach Matthias Hüttemann (2010, S. 126f.), dass die messbaren Wirkungen in der bildungs- und sozialwissenschaftlichen Forschung meistens weniger stark und eindeutig sind als in der biomedizinischen Forschung. „Das Problem bestehe nun darin, dass überall dort, wo Phänomene oder Praktiken Ambiguität aufweisen, zwangsläufig weite Interpretationsspielräume existieren[,] und überal...

Inhaltsverzeichnis

• Inhaltsverzeichnis
• Hinweise
• Aus der Redaktion
• Thema
• Praxis
• Rezension
• Impressum