Problematik bestehender Evaluationspraxis

Evaluationen schaffen Transparenz und erhöhen die Reflexionsleistung von Projekten und Programmen, wenn sie von Anfang an mit einbezogen ist. Nach wie vor existieren umfassend Ängste und Vorbehalte gegenüber Evaluation im Bildungsbereich – der Verlust des Arbeitsplatzes erzeugt Ängste sowie die vermeintliche Unmöglichkeit des Wirkungsnachweises prozessorientierter Bildung Vorbehalte.

Auch gegenwärtige Bundesprogramme wie XENOS sehen sich mit der Tatsache konfrontiert, dass viele laufende Projekte bisher kaum oder unsystematisch evaluiert wurden. Andererseits wurden die Erfahrungen von Vorgängerprogrammen hinsichtlich der Schwierigkeit wissenschaftlicher Begleitung nicht ernst genommen, da antragstellende Projekte noch immer keinen bestimmten prozentualen Anteil ihrer Antragssumme für wissenschaftliche Begleitung und Evaluation ausweisen müssen.[i]. Noch immer wird Evaluation im Bildungsbereich ex post als Legitimationsinstrument und als zu vermeidende Pflichtleistung betrieben. Nur fundierte, finanzierte und vor allem beteiligungsorientierte Evaluationen werden auf Dauer den Vorwurf gegenüber Bildungsprogrammen beseitigen, purer Aktionismus zu sein, der der Selbsterhaltung von Projekten und Einrichtungen sowie der Legitimation »guter Politik« diene: »Und auch für die Praxis ist es wenig befriedigend, Jahr für Jahr entweder mehr oder minder ‘more of the same’ zu produzieren oder innovative Wege zu gehen, die vielleicht MitarbeiterInnen oder AdressatInnen unspezifischen »Spaß« machen, aber nicht bzw. kaum zu erkennen geben, wohin sie tatsächlich führen« (Möller 2002, S. 185). Das Netzwerk politische Bildung in Schwaben sollte sich der Herausforderung Evaluation stellen und neue Möglichkeiten erproben, wie Evaluation für politische Bildung produktiv werden kann.

Qualitätsanforderungen für Evaluation

Im gängigen Verständnis ist Evaluation eine ziel- und zweckgerichtete Handlung. Das übergeordnete Ziel ist die Erfassung von Daten zur Optimierung und Entscheidungsfindung in komplexen Handlungssituationen. Im Gegensatz zu allgemeiner Forschung will Evaluation keine generellen Aussagen treffen, sondern etwas über eine konkrete Praxis aussagen.
Es können drei Funktionen von Evaluation unterschieden werden, die besonders für den Bildungs- und Trainingsbereich relevant sind[ii]:

• Erkenntnisfunktion – es sollen wissenschaftliche fundierte Erkenntnisse über ein Evaluationsobjekt gewonnen werden

• Legitimationsfunktion – die Evaluation sollte im bestmöglichen Fall die Wirksamkeit von Interventionen bestätigen und deren Existenz rechtfertigen

• Optimierungsfunktion – die Grundlage zur Steuerung der Verbesserung des Evaluationsobjektes soll geschaffen werden

In Evaluationsprojekten wird mit Hinblick auf die Verwertbarkeit der Ergebnisse der Blick häufig auf die zweite und dritte Funktion gelenkt, auch um sich von wissenschaftlicher Forschung im Allgemeinen abzugrenzen. Im Vordergrund von Evaluation steht also eine konkrete Frage, die Konsequenzen für die Praxis haben wird.

Evaluationen, die von außen an Bildungsprogramme und -projekte heran getragen werden, stoßen häufig auf großen Widerstand. Strukturelle und organisatorische Kontexte machen es für Evaluatoren schwierig, Daten zu erheben. Wenn Rollenverteilungen, Hierarchieebenen und Beziehungen untereinander unklar oder konfliktgeladen sind, ist es schwer, Evaluation als Bewertung aus einer externen Perspektive durchzuführen. Auch ist häufig zu beobachten, dass keine klaren Zielkataloge oder Konzepte für die pädagogische Arbeit vorliegen und es somit schwer fassbar ist, was und nach welchen Kriterien evaluiert werden soll. Ergebnisse solcher Evaluationen sind deshalb innerhalb von Organisationen oft geradezu »umkämpft«, da sie nicht auf einer gemeinsamen Basis stehen, sondern im Resultat unterschiedlichen Zielvorstellungen zugeordnet werden.

Zunehmend wird klarer, dass Beteiligte und Betroffene von Evaluationen mit in die Planung und Durchführung von Evaluationsvorhaben einbezogen werden sollen. Vor allem vor dem Hintergrund von mangelndem praktischen Nutzen und fehlenden Konsequenzen vieler Evaluationen soll auf diesem Wege erreicht werden, dass Evaluation einen konstruktiveren Stellenwert erhält. Eine Möglichkeit, die Verantwortung für die Erhebung und Durchführung von Evaluationen umfassend bei den Beteiligten und Betroffenen zu belassen, ist Selbstevaluation. In diesem Verfahren untersuchen Projektverantwortliche ihr eigenes professionelles Handeln innerhalb der eigenen Organisation selbst. Sie geben Rechenschaft über ihr eigenes Tun und dokumentieren Potenziale der Optimierung. Selbstevaluation wird aber nicht nur aus eigener Initiative ergriffen, sondern inzwischen systematisch für die Durchführung besonders von Modellprojekten gefordert – auch dies eine Reaktion auf die starke Abwehr gegenüber vielen Fremdevaluationen.

Selbstevaluation nimmt die Strukturen ernst, innerhalb derer sie arbeitet und organisiert einen gleichberechtigten Prozess, an dem alle relevanten Personen beteiligt sind. Gleichzeitig werden quasi »en passant« Daten erhoben, die es ermöglichen, auch nach außen darzustellen, was innerhalb eines Bildungsprojektes geleistet wird. Selbstevaluation ist also im besten Falle eine bewusste systemische Intervention, die sich sinnvoll in einen Bildungskontext einfügt und diesen weiter trägt. So ist Selbstevaluation immer eine »formative Evaluation«, die nicht wie eine »summative (bilanzierende) Evaluation« einen vergleichenden Schlussstrich zieht, sondern auf fortlaufende Optimierung ausgerichtet ist und selber zum Motor eines Bildungsprojektes werden kann. Selbstevaluation hat damit einen doppelten Auftrag:

• Praxisveränderung – die eigene Praxis soll zielgerichtet verändert oder stabilisiert werden, um besser fachlich handeln zu können

• Erkenntnisgewinn – über die eigene Praxis sollen durch eine methodische Untersuchung Erkenntnisse gewonnen oder abgesichert werden

Evaluation bietet damit jenseits von verunsichernder externer Bewertung die Möglichkeit, »andere Perspektiven zu Worte kommen zu lassen, Urteile von anderen zu integrieren und Bewertungsmonopole zu öffnen. Evaluation ist kein Instrument zur technischen Überprüfung und Kontrolle (zumindest nicht ausschließlich) klar definierter Zielvorgaben am Ende einer Entwicklung (…) Evaluation ist ein sozialer, kein messtechnischer Prozess«[iii]. So verstanden hat Evaluation selber Bildungswirkung, sie lässt sich nicht unabhängig von politischer Bildung denken. Genauso wie politische Bildung das Ursache – Wirkung – Verhältnis von Lernen problematisiert und in reflexive Zirkel überführt, so wird Evaluation auch zur Ursache von neuen Lernerfahrungen und hat eine zusätzliche Wirkung auf die erforschten Lernprojekte. Entscheidend ist, dass Evaluation in einem Kontext der Achtung und Wertschätzung geschieht. Diese Forderung spiegelt sich in den jüngsten Vorschlägen der Deutschen Gesellschaft für Evaluation (DeGEval) wider: »(F3) Wertschätze
nd gestaltete Interaktion. Die Zusammenarbeit in der Evaluation soll so angelegt werden, dass die Kontakte zwischen den Beteiligten von gegenseitiger Achtung und Wertschätzung geprägt sind«[iv]. Festgehalten werden kann also: Evaluation sollte pragmatisch mit Selbstevaluation beginnen, um die enormen Abwehrmechanismen der Praxis zu überwinden und kann von dort aus weiter verzweigt werden, indem bspw. für bestimmte Evaluationsschritte externe Evaluatoren herangezogen werden. Diese sollten mit einer Grundhaltung der Wertschätzung auftreten, die nicht Kritik und Defizite verdeckt, sondern auf einer gemeinsamen kommunikativen Basis diese leichter gemeinsam thematisieren lässt.

Aus der Diskussion lassen sich vier Thesen für eine gute Evaluation im Rahmen politischer Bildung ableiten, die nachfolgend vorgestellt werden:

Reflexion der Werte und Ziele dessen, was evaluiert wird

Evaluation muss zu Demokratie lernen und interkultureller Erziehung »passen«[v]. Dies ist nicht im Sinne eines Erfüllungsgehilfen zu verstehen, sondern in der Konsistenz der Werte und Ziele. Evaluation scheitert bisher häufig, weil sie in Vorgehen und Erhebung als »intolerant« erlebt wird, und Werte wie Transparenz und Offenheit vermissen lässt. Evaluation sollte im besten Falle partizipativ vorgehen, und schon in der Erarbeitung einer Evaluationsfrage alle Beteiligten und Betroffenen (stakeholder) mit einbeziehen und sie ermächtigen, den Evaluationsprozess weitgehend selbst in die Hand zu nehmen.

Wertschätzende Perspektive[vi]

Politische Bildung fokussiert häufig auf gesellschaftliche Probleme und Kontexte, die als defizitär erlebt werden. Diese Defizitorientierung versperrt häufig den Blick für kreatives Innovationspotential. Evaluation verstärkt diese Abwärtsspirale, indem sie nur nach dem fragt, was nicht funktioniert. Wertschätzende Evaluation dagegen setzt an dem Potential an, das bereits sichtbar ist, nutzt es und bestärkt es, um in der Konsequenz zu Handlungen und Aktionen zu motivieren, die sich in positiven Erfahrungen gründen.

Verortung in Klärung, Reflexion, Dokumentation von Innovation und der Förderung von Potential

Evaluationen werden häufig in Auftrag gegeben, um Wirkungen und gesellschaftliche Veränderungen wissenschaftlich darzulegen. Dieser Anspruch an Evaluation ist – vor allem bei gegebenen Ressourcen – kaum je einlösbar. Evaluation sollte sich an dem Nutzen für die Beteiligten und Betroffenen orientieren und deshalb eine klärende und dokumentierende Funktion einnehmen. Evaluation ist häufig die erste systematische Reflexionsmöglichkeit von Zielen, Konzepten und Erfolgskriterien für die eigene Arbeit. Dies kann motivieren, Kräfte in konkretere Richtungen zu bündeln. Zudem erfüllt sie damit die Funktion von Organisationsentwicklung, die zur strukturellen Qualitätssteigerung entsprechender Projekte beiträgt.

Integration Beteiligter und Betroffener in Evaluationsprojekte

Evaluation sollte ihrem Anspruch nach keine externe Bewertung sein, sondern von Beteiligten und Betroffenen selbst in die Hand genommen werden. Besonders Selbstevaluation eignet sich hierfür. Um dies zu ermöglichen, ist ein pragmatischer und handlungsorientierter Umgang mit Vorgehen und Erhebungsmethoden nötig. Ziel einer Evaluation politischer Bildung ist nicht eine quasi wissenschaftliche Darlegung von Messdaten, sondern die soziale Vernetzung unterschiedlicher Perspektiven, die als hilfreich für die eigene Arbeit erlebt wird. Deshalb sollte das methodische Vorgehen möglichst nah an den pädagogischen Kompetenzen der Beteiligten und Betroffenen orientiert sein.

Endnoten