Wirkung lernen: Soziale Projekte besser managen (2024)

Wer sich von Anfang an mit Wirkung beschäftigt, arbeitet effektiver, zielgerichteter und manchmal sogar schneller. Wirkung spart Geld, Zeit und Nerven. Das Gute ist: Wirkung lässt sich planen. Es gibt sogar verschiedene Wirkungsgrade, die zeigen, in welchem Maße ein Projekt wirkt.

Aber: Wirkung gibt’s nicht einfach so, und sie passiert auch nicht zufällig. Vielmehr ist sie das Ergebnissystematischer Planung. Sie entsteht immer dann, wenn wir fest definierte Ziele verfolgen und regelmäßig prüfen, ob diese Ziele noch erreichbar sind.

Praxisbeispiel: PAFF – Paten für Ausbildung und Förderung in Frankfurt/M.

PAFF gibt es seit 5 Jahren; das Projekt ist an zwei Schulen im Stadtteil aktiv. PAFF hat nur wenig Geld, daher gibt es zwar eine hauptamtliche Projektleitung, aber die Arbeit selbst wird hauptsächlich durch ehrenamtliche Patinnen und Paten getragen. Die Jugendlichen, um die sich PAFF kümmert, zeichnen sich durch mangelhafte Schulleistungen aus; ein qualifizierter Schulabschluss liegt in weiter Ferne. Deswegen finden sie seltener einen Ausbildungsplatz als Jugendliche aus anderen Stadtteilen.

Die Gemengelage ist dabei unübersichtlich: Viele der ausbildungsschwachen Jugendlichen haben einen Migrationshintergrund, wieder andere stammen aus sozial schwachen Familien, und manche beides. Ziel von PAFF ist es, Jugendliche fit für die Ausbildung zu machen und sie beim Schritt ins Arbeitsleben zu unterstützen.

Um das zu erreichen, werden die Jugendlichen von ehrenamtlichen Paten und Patinnen begleitet – pensionierten Führungskräften etwa. Die Patinnen und Paten treffen sich regelmäßig, um sich auszutauschen. Damit das geordnet vonstatten geht, bekleiden einige von ihnen den Posten eines Patengruppenbetreuenden. Neben dem Mentoring bietet PAFF auch Nachhilfestunden und Bewerbungstrainings an. Diese werden von externen Profis durchgeführt.

Tagtäglich engagieren sich Menschen. Sie investieren Geld und Herzblut, damit es Benachteiligten besser geht, die Natur geschützt oder die Kultur im Kiez gefördert wird. Kurz: Sie versuchen jeden Tag aufs Neue, die Gesellschaft voranzubringen und dabei die größtmögliche Wirkung zu erzielen.

Aber was genau ist eigentlich Wirkung?

Bezogen auf gemeinnützige Arbeit spricht man immer dann von Wirkung, wenn eine Maßnahme zu Veränderungen

PAFF: Beispiel für Outputs, Outcomes und Impact

Ein Projekt möchte Jugendlichen helfen, einen Ausbildungsplatz zu finden. Die Outputs (Leistungen) des Projekts könnten etwa in Nachhilfestunden und Bewerbungstrainings bestehen.

Nun sagt die bloße Durchführung von Nachhilfestunden und selbst eine hohe Teilnehmendenzahl nichts über die Wirkung aus. Denn eine Teilnahme bedeutet nicht automatisch, dass die Jugendlichen einen Job finden. Aber natürlich sind die Outputs eine Voraussetzung dafür, um Wirkungen zu erzielen.

Erwerben die Jugendlichen infolge der Schulung relevante Kenntnisse und Fähigkeiten bei der Jobsuche, gewinnen Selbstvertrauen und können selbstständig Bewerbungen erstellen, sind das Wirkungen (Outcomes)

Gelingt es dem Projekt, die Jugendlichen zu vermitteln, und trägt dies zu einem allgemeinen Rückgang der Arbeitslosigkeit in der Region bei, hätte es eine Veränderung auf gesellschaftlicher Ebene bewirkt (einen Impact).

Zusammengefasst:

Ein Projekt bietet bestimmte Leistungen und Maßnahmen an. Das sind Outputs. Infolge dieser Outputs können sich Wirkungen bei den Zielgruppen ergeben. Das wären Outcomes. Diese Outcomes können unterschiedlicher Natur sein. Aus den Outcomes wiederum kann sich eine Wirkung auf gesamtgesellschaftlicher Ebene zeigen. Das wäre ein Impact.

Outcomes beziehen sich stets auf die Wirkungen bei den Zielgruppen des Projekts. Impacts beschreiben die erwünschten Veränderungen auf gesellschaftlicher Ebene (sozial, ökonomisch etc.). Impacts beziehen sich stets auf einen Teil der Gesellschaft, also etwa die Bevölkerung in einem Stadtteil oder einer Region.

Der richtige Zeitpunkt

Eine Bedarfs- und Umfeldanalyse ist generell immer dann sinnvoll, wenn du ein Projekt neu konzipierst oder ein laufendes Projekt weiterentwickelst. Weitere gute Zeitpunkte sind:

– während der Projektumsetzung (und dann in regelmäßigen Abständen),
– wenn dein Monitoring darauf hinweist, dass etwas nicht wie geplant läuft,
– wenn du überlegst, das Projekt zu verbreiten,
– wenn du das laufende Projekt um zusätzliche Angebote erweitern möchtest.

Je nach Stoßrichtung benötigst du also ganz andere Informationen. Das klingt ebenso trivial wie naheliegend, ist aber in der Praxis mitunter schwierig, weil die Daten die gewünschte Trennschärfe nicht hergeben.

Anstatt Terabytes an Daten anzuhäufen, lohnt es sich also, vorher eine Schleife mehr zu drehen, um die richtigen Fragen zu finden, auf die du Antworten brauchst. Die erforderlichen Daten zu beschaffen wird damit zwar nicht unbedingt leichter, aber du verringerst die Gefahr, dich zu verzetteln.

Aufwand vs. Ertrag

Ein angemessenes Verhältnis zwischen Aufwand und Ertrag ergibt sich aus:

– Umfang und Höhe der Projektmittel. Je höher das Budget, umso wichtiger ist eine gute Themen- und Umfeldanalyse.
– dem geografischen Förderschwerpunkt des Projekts.
– dem Komplexitätsgrad des Problems: Unterstützt das Projekt beispielsweise das jährliche Sommerkonzert des örtlichen Musikvereins, brauchst du dafür keine wissenschaftliche Expertise. Anders sieht es aus, wenn du den Musikunterricht in deutschen Schulen reformieren möchtest.

Im ersten Schritt verschaffst du dir einen Überblick über den Umfang des gesellschaftlichen Problems. Demografische Daten und Informationen zur Infrastruktur helfen dabei, dir ein aussagekräftiges Bild über den künftigen Projektstandort zu machen.

Ermittle, wie viele Personen tatsächlich betroffen sind. Informationen hierzu finden sich meistens in offiziellen Statistiken. Aber Achtung: Komprimierte Informationen wie von Destatis sind nur bedingt hilfreich, weil sich selten Rückschlüsse auf einzelne Stadtteile ziehen lassen.

Befrage andere Akteure im Sektor. Projekte, die bereits länger im Themenfeld arbeiten, wissen über die Situation vor Ort und die Bedarfe der Zielgruppe Bescheid. (Wer deine Zielgruppen sind, klärst du im nächsten Abschnitt.)

Parallel dazu kannst du versuchen, deine Zielgruppen in die Recherche mit einzubinden. Hierfür eignen sich beispielsweise Bürger*innen-Plattformen, die es in Ballungszentren wie Berlin, Hamburg, Köln etc. gibt. In solchen Foren tauschen sich Bürger*innen über religiöse oder soziale Grenzen hinweg über ihr Engagement aus.

Gespräche mit der Zielgruppe bieten den Vorteil, dass du deine Angebote frühzeitig umfeld- und adressat*innengerecht gestalten kannst. Der Aufwand lohnt sich, denn Angebote, die die Wünsche der Zielgruppen berücksichtigen, werden deutlich mehr Wirkung erzielen als solche, die auf rein wissenschaftlicher Expertise fußen.

Praxisbeispiel: So macht es PAFF

PAFF beobachtet fortlaufend, wie sich die Jugendarbeitslosigkeit in Deutschland und am regionalen Ausbildungsmarkt entwickelt. Um ein Bild der Situation vor Ort zu gewinnen, bittet der Verein das örtliche Jobcenter, die Schulen sowie das Jugendzentrum im Stadtteil um eine Einschätzung.

Die Auswertung zeigt, dass die Jugendarbeitslosigkeit im Stadtteil überdurchschnittlich hoch und das Ausbildungsplatzangebot zugleich gering ist. Den Befragten aus Schulen und Stadtteilzentrum zufolge führt dieser Zustand zu Frustration und Perspektivlosigkeit bei den Jugendlichen.

Vorhandene Angebote und Förderlücken

In vielen Fällen wird es bereits Organisationen geben, die in Ihrem Themenfeld tätig sind. Es lohnt sich, deren Handlungsansätze und Angebote zu durchleuchten. Dabei es geht weniger darum, die Organisationen detailliert zu bewerten als vielmehr darum, Lücken zu identifizieren bzw. anschlussfähige Angebote zu entwickeln.

Zielgruppen sind Einzelpersonen oder Gruppen (Familien, Teams, Organisationen), die zumeist in geografisch eingegrenzten Bereichen leben (also in Städten, Stadtteilen oder Landkreisen). Bei der Bedarfsanalyse kommt es darauf an, dass du die Zielgruppe deines Projekts so konkret wie möglich beschreibst.

Die Kunst besteht darin, die Zielgruppendefinition nicht so weit zu fassen, dass es Ihnen schwerfällt, ein passgenaues Projekt aufzusetzen – gleichzeitig darf sie aber auch nicht so eng geraten, dass die Beschreibung auf kaum jemanden zutrifft.

Interne Stakeholder sind die Zielgruppen, an die sich das Projekt wendet, die Projektleitung sowie die Projektmitarbeitenden.

Externe Stakeholder sind Geldgebende, politische Entscheidungsträger*innen, Vertreter*innen der öffentlichen Verwaltung, andere Organisationen, Personen, die von dem Projekt indirekt betroffen sind, Bürgerinitiativen, Vertreter*innen von Interessengruppen und Betroffenenvereinigungen.

Stakeholderanalyse bei PAFF:

Direkte Zielgruppe bei PAFF sind Jugendliche auf ihrem Weg in die Ausbildung. PAFF wendet sich dabei gezielt an die Hauptschüler*innen im Stadtteil, bei denen davon auszugehen ist, dass sie ohne individuelle Unterstützung erwerblos bleiben. Bei der Bedarfserhebung wurden Lehrer*innen sowie die Jugendlichen selbst befragt.

Die meisten Jugendlichen stammen aus bildungsfernen Familien, viele von ihnen haben einen Migrationshintergrund. PAFF hat sich deshalb dafür entschieden, SchülerInnen bereits ab dem vorletzten Jahrgang zu betreuen. Denn ein Learning aus dem Vorläuferprojekt war, dass das letzte Schuljahr zu kurz ist, um den individuellen Bedarfen gerecht zu werden.

Wichtig für den Projekterfolg von PAFF ist, dass die Bedarfsanalyse für jeden Teilnehmenden individuell erfolgt. Das geschieht in Einzelgesprächen und per Fragebogen.

Gleichzeitig recherchiert PAFF, wie sich die Bedarfe der Schüler*innen über die Jahre verändert haben. Die Auswertung ergibt, dass seit drei Jahren verstärkt Nachhilfe im Fach Deutsch nötig ist.

Bereits kurz nach Projektstart zeigt sich, dass PAFF eine ungleich höhere Wirkung erzielt, wenn die Eltern der Jugendlichen deren Projektteilnahme unterstützen. Die Eltern sind damit als indirekte Zielgruppe identifiziert, und es werden verschiedene Maßnahmen konzipiert, um sie aktiv und dauerhaft einzubinden.

In den meisten Fällen sind soziale Probleme so vielschichtig, dass sich ein Projekt auch nur mit der Lösung eines Teilaspektes beschäftigen kann. Und dennoch ist es für die wirkungsorientierte Steuerung eines Projekts wichtig, das Problem in seiner ganzen Komplexität zu erfassen und den Einfluss einzelner Faktoren zu berücksichtigen.

So wird etwa der Erfolg eines Projekts, das Jugendliche auf dem Weg in die Ausbildung begleitet, entscheidend davon abhängen, ob es in der Region überhaupt ausreichend Ausbildungsplätze gibt.

Ein nützliches Werkzeug zur Analyse eines Problems mit all seinen Ursachen, Auswirkungen und Faktoren ist der Problembaum. Der Problembaum ergibt sich aus den Daten, die du bei der Bedarfs- und Umfeldanalyse gesammelt hast.

Im ersten Schritt benennst du das Kernproblem, zu dessen Lösung du beitragen möchtest. Beschreibe dieses so spezifisch wie möglich. Das Kernproblem sollte aus Sicht der Zielgruppe formuliert sein und eine negative Aussage treffen.

“Hohe Arbeitslosigkeit bei jungen Menschen”, ist zwar wie gewünscht negativ, aber zu unspezifisch. Deutlich besser ist: “Jugendliche finden nach ihrem Schulabschluss keinen Ausbildungsplatz”. Die Aussage grenzt die Zielgruppe ein und benennt einen konkreten Zeitraum, in dem das Projekt ansetzt (nämlich zwischen letztem Schuljahr und Beginn der Ausbildung).

Im zweiten Schritt erarbeitest du die Ursachen und Auswirkungen des Kernproblems. Dabei werden die einzelnen Ursachen und Auswirkungen als negative Aussagen formuliert: “Jugendliche haben keine ausreichenden Sozialkompetenzen”, “wenig Ausbildungsplätze in der Region”, “Perspektivlosigkeit”, “hohe Gewaltbereitschaft”.

Die direkten Ursachen des Kernproblems werden in der Zeile unterhalb des Kernproblems festgehalten, darunter die Ursachen der Ursachen angeheftet. Oberhalb des Kernproblems finden die direkten Auswirkungen Platz, die Auswirkungen der Auswirkungen werden in der Reihe darüber eingetragen. Und so weiter. Der Problembaum verzweigt sich nach oben und unten.

Sofern Zusammenhänge zwischen den Ursachen bzw. Auswirkungen existieren, werden diese mittels Querverbindungen abgebildet. Lücken werden mittels Platzhalter gekennzeichnet, die du gegebenenfalls später füllst.

Mithilfe der folgenden Checkliste kannst du überprüfen, ob du die zentralen Fragen zum Umfeld und zu den Bedarfen beantwortet hast:

Was möchtest du erreichen, insbesondere für die Zielgruppen? Und vor allem: Woran bemerkst du, dass die Arbeit erfolgreich war? Wie stellst du fest, was konkret du bei den Zielgruppen bewirkt hast? Um diese Fragen beantworten zu können, erarbeitest du zunächst die Ziele – Wirkungsziele – deines Projekts.

Hierfür kommen dir die Informationen zupass, die du bei der Bedarfs- und Umfeldanalyse gewonnen hast. Im Anschluss überlegst du, auf welchem Weg sich diese Wirkungsziele erreichen lassen und welche Ressourcen du dafür benötigst.

Die Wirkungsziele und der Weg ergeben zusammen die Wirkungslogik deines Projekts. Die Wirkungslogik bildet ab, wie das Projekt funktioniert und welcher Schritt auf welchen folgt.

In vielen Fällen scheinen die Ziele eines Projekts so offensichtlich zu sein, dass deswegen ein weiterführender Zielfindungsprozess ausbleibt. Meistens entpuppt sich das später als ein Trugschluss, weil die Ziele eben doch nicht so deutlich sind wie erhofft.

Je weiter fortgeschritten ein Projekt ist, um so problematischer wird es dann. Unter Umständen musst du zurück auf Start. Insofern gilt: Jede Minute, die du in die Ausarbeitung der Wirkungsziele investierst, wird sich hinterher auszahlen!

Ziele regelmäßig prüfen!

Sich mit den Wirkungszielen zu beschäftigen, ist keine einmalige Aufgabe in der Planungsphase, sondern sollte regelmäßig wiederholt werden. Schließlich ändern sich gelegentlich die Bedarfe der Zielgruppen oder auch das Projektumfeld. Wie gut deine Wirkungsziele bereits sind, kannst du auch mithilfe des Wirkometers herausfinden. Es erfragt u.a. Zielorientierung und Angebotsfokussierung.

In der Vergangenheit wurden Projekte vor allem daran gemessen, welche Aktivitäten und Leistungen sie anboten. Dabei ging es in erster Linie um Kennzahlen, in zweiter um Messgrößen und in dritter wieder um Kennzahlen. Welche Wirkungen infolge der Aktivitäten erzielt wurden, interessierte selten oder nie.

Diese Fixierung auf Outputs wirkt bis heute nach. Immer noch berichten viele Organisationen hauptsächlich Rumpfdaten: Welche und wie viele Leistungen bietet ein Projekt an? Welche Aktivitäten finden statt und wie viele Teilnehmende gab es?

Es ist richtig und wichtig, diese Daten zu sammeln und zu kommunizieren. Entscheidend ist aber, diese Rumpfinformationen auch mit Leben zu füllen:

Die durchgeführten Aktivitätenmit den erzielten Wirkungen zu verknüpfen, gehört zum Kerngedanken der wirkungsorientierten Steuerung. Natürlich sind solche Wirkungsinformationen häufig mühsam zu erheben, und die meisten lassen sich weder messen, noch in Zahlen ausdrücken.

Doch Organisationen, die mit ihrer Arbeit wirklich einen Unterschied erzielen wollen, kommen nicht umhin, sich mit ihren Wirkungszielen auseinanderzusetzen. Denn gut formulierte und klar von den Aktivitäten abgegrenzte Wirkungsziele sind die Grundlage für einewirkungsorientierte Projektsteuerung!

Übrigens:Geldgebendewie Förderstiftungen fragen zunehmend Informationen zu Wirkungszielen und Zielerreichung ab. Es ergibt also schon aus Gründen desFundraisingsSinn, sich intensiv mit den eigenen Zielen zu beschäftigen.

Tipp: Zielgruppen einbinden

Die Wirkungsziele deines Projekts solltest du gemeinsam mit den Zielgruppen erarbeiten. So stellst du sicher, dass deine Ziele tatsächlich realistisch sind.

Wirkungsziele auf Ebene der Zielgruppe(Outcomes) beschreiben die erwünschten Wirkungen bei der Zielgruppe. Welchen Nutzen hat das Projekt für die Zielgruppe, und welche Veränderungen soll es auslösen?

Wirkungsziele auf gesellschaftlicher Ebene(Impact) beschreiben die langfristigen Wirkungen, die durch das Projekt erzielt bzw. beeinflusst werden. Die Wirkungsziele auf gesellschaftlicher Ebene sind eng verknüpft mit der Vision der Organisation.

Tipp: Achtung bei Impacts

Entwicklungen auf gesellschaftlicher Ebene werden von vielen Faktoren bestimmt. Ein kausaler Zusammenhang zwischen Projekt und Impact lässt sich häufig nur schwer und oft auch gar nicht nachweisen (zumal sich Impacts meistens auch erst nach erheblicher Zeit einstellen). Projektbezogene Wirkungsziele auf gesellschaftlicher Ebene sollten deswegen zurückhaltend formuliert werden (“Das Projekt trägt dazu bei, dass …”).

Wirkungsziele auseinander zu halten ist das eine. Das andere ist, sie so zu formulieren, dass sich aus ihnen Wirkungsindikatoren entwickeln lassen. Wirkungsindikatoren– kurz:Indikatoren– sind Anhaltspunkte dafür, ob und inwiefern eine bestimmte Wirkung tatsächlich eingetreten ist. Indikatoren bilden dasFundament für die nachfolgende Wirkungsanalyse;wir kommen später auf sie zu sprechen.

Je konkreter ein bestimmtes Wirkungsziel benannt ist, desto eher lassen sich daraus Indikatoren ableiten. Und je besser die Indikatoren sind, desto erfolgversprechender wird die Wirkungsanalyse verlaufen. Deshalb kommt es darauf an, Wirkungszieleso exakt wie möglichzu benennen.

Und das geht so:

Wirkungsziele auf gesellschaftlicher Ebene sind stets abstrakter formuliert als die auf Ebene der Zielgruppe. Sie beziehen sich häufig auf die gesamte (!) Gesellschaft oder einen Teil davon, etwa die Bevölkerung in einer bestimmten Region.

Sie lassen sich am besten so nutzen, indem du das gesellschaftliche Problem in eine positive Aussage ummünzt:

Tipp:

Wirkungsziele auf Impact-Ebene solltest du ohne konkretes Datum verfassen, weil sie von zu vielen Faktoren abhängen und ohnehin meist sehr langfristiger Natur sind.

Um einen passenden Handlungsansatz zu finden, kannst du den Lösungsbaum nutzen. Die Verästelungen des Problembaums zeigen dir verschiedene Wege auf, über die du dein Ziel erreichen kannst.

Nachdem du die Wirkungsziele auf gesellschaftlicher Ebene und auf Ebene der Zielgruppe bestimmt sowie den Handlungsansatz identifiziert hast, gilt es im nächsten Schritt, diese in eine Wirkungslogik zu gießen.

Handlungsansatz unseres Praxisbeispiels PAFF

Im Lösungsbaum ist der Handlungsansatz von PAFF hervorgehoben. PAFF arbeitet direkt mit den Jugendlichen und begleitet sie auf dem Weg in die Ausbildung. Hierfür bietet PAFF verschiedene Coachings an: einmal mit Blick auf bessere schulische Leistungen, einmal in Hinsicht auf grundlegende Sozial- und Bewerbungskompetenzen.

Alternative Handlungsansätze wären die Arbeit mit den Eltern, damit diese ihre Kinder besser unterstützen können, oder eine Kampagne für mehr Lehrstellen in der Region.

PAFF hat sich bewusst für diesen Handlungsansatz entschieden, weil …

– den Projektgründer*innen die direkte Arbeit mit Jugendlichen wichtig ist,
– viele ehemalige Lehrerkräfte als Pat*innen fungieren und hier am besten ihre Kompetenzen einbringen können,
– viele ehemalige Lehrerkräfte als Pat*innen fungieren und hier am besten ihre Kompetenzen einbringen können,
– aus Sicht aller Stakeholder dieser Handlungsansatz die größte Wirkung verspricht.

Was sind Wirkungslogiken?

Wirkungslogiken (auch: Wirkungsketten) werden seit den 1970er Jahren genutzt. Sie setzen die Wirkungsziele eines Projekts in Beziehung zu den eingesetzten Ressourcen und den erbrachten Leistungen. Wie so eine Wirkungslogik in der Praxis aussehen kann, zeigt das Beispiel der Lernplattform Serlo.org.

Vorsicht vor Begriffsverwirrung!

Bei Wirkungslogiken herrscht eine große Begriffsvielfalt. Auf dieser Website sowie im Kursbuch Wirkung verwenden wir die weit verbreiteten englischen Begriffe Inputs, Outputs, Outcomes und Impacts.

Andere Nachschlagewerke oder auch der Social Reporting Standard nutzen ähnliche Begrifflichkeiten:

Die obige Abbildung entspricht in ihrer Logik der Wirkungstreppe: Jede Stufe baut auf die andere auf. Links sind die Inputs, rechts der Impact. In der Wirkungstreppe wäre der Input ganz unten, der Impact ganz oben. Mithilfe der Wirkungslogik kannst dujederzeit prüfen, ob das Projekt noch wie geplant läuft und ob eine Maßnahme X tatsächlich Sinn ergibt.

Die Wirkungslogik setzt sich aus einzelnen Stufen zusammen. Diese stellen wir nun im Einzelnen vor:

Inputs (Ressourcen)

Die Inputs umfassen alle Mittel, die notwendig sind, um ein Projekt realistisch umsetzen zu können: also die Anzahl der haupt- und ehrenamtlich Mitarbeitenden, deren Arbeitszeit, Gelder, Räumlichkeiten, Ausstattung, etc.

Outputs (Leistungen)

Die Angebote und Produkte, die aus dem Projekt entstehen, sind Outputs. Nutzt die Zielgruppe diese Angebote, ist das ebenfalls ein Output. Es lassen sich drei Stufen von Outputs unterscheiden; In der Wirkungslogik sind das die Stufen 1 – 3.

Die Outputs aufStufe 3spiegeln wider, ob die Angebote tatsächlich den Bedarfen der Zielgruppen entsprechen und wie zufrieden diese sind. Die Stufe 3 bildet eineScharnierfunktionzwischen bloßer Projektteilnahme und der Projektwirkung.

Die Zufriedenheit mit einem Angebot bestimmt maßgeblich, ob dieses auch eine Wirkung bei den Teilnehmenden erzielt. Je begeisterter Teilnehmende ein Angebot nutzen, desto eher wird daszu Erfolgen führen. Gleichwohl gilt: Die Zufriedenheit der Teilnehmenden ist eine notwendige, aber keineswegs hinreichende Bedingung für das Erzielen von Wirkungen.

Outputs und Outcomes bei PAFF

Der Unterschied zwischen Leistungen und Wirkungen am Beispiel PAFF: Die Pat*innen arbeiten sehr engagiert. Sie initiieren und begleiten die Patenschaften, erstellen Infomaterialien und realisieren Nachhilfeangebote und Bewerbungstrainings. Die Jugendlichen aus beiden Hauptschulen sind zufrieden und nutzen die Angebote rege –aber ob und was sie dabei gelernt haben, ist unklar. Von einer Wirkung ließe sich erst sprechen, wenn sich bei den Jugendlichen positive Veränderungen ergeben, die ihnen den Schritt in die Ausbildung erleichtern.

Outcomes (Wirkungen auf Ebene der Zielgruppe)

Outcomes sind die Wirkungen auf Ebene der Zielgruppen. Sie verdeutlichen, auf welche positiven Veränderungen bei den Projektteilnehmenden das Projekt hinwirkt. Die Outcomes untergliedern sich dabei in drei Stufen, dargestellt in den Stufen 4 – 6 in der Wirkungslogik:

Stufe 4weist hin auf Veränderung auf Ebene des Wissens, der Fertigkeiten und der Einstellungen.

Die Wirkungen aufStufe 5der Wirkungslogik bauen auf Outcome-Stufe 4 auf und beschreiben die Veränderungen im Verhalten und Handeln.

Die Wirkungen aufStufe 6bauen ihrerseits auf den Outcomes auf Stufe 5 auf.

Das veränderte Verhalten bildet die Grundlage dafür, dass sich die Lebenslage der Zielgruppe verbessert, sie also beispielsweise finanziell oder sozial aufsteigt.

Im Beispiel von PAFF sind Outcomes der Stufe 4, dass die Jugendlichen neues Wissen erworben haben und infolgedessen frisch motiviert sind, sich um einen Ausbildungsplatz zu bemühen. Outcomes auf Stufe 5 zeigen sich darin, dass die Jugendlichen ihre neu gewonnenen Kenntnisse ins praktische Handeln übersetzen und sich aktiv bewerben.

Die Outcomes auf Stufe 6 beschreiben, wie sich die Lebenslage der Jugendlichen verändert hat – einige haben einen Ausbildungsplatz ergattert, verfügen über ein Einkommen und sind damit nicht mehr auf Sozialleistungen angewiesen. Im Beispiel von PAFF sind Outcomes der Stufe 4, dass die Jugendlichen neues Wissen erworben haben und infolgedessen frisch motiviert sind, sich um einen Ausbildungsplatz zu bemühen.

Outcomes auf Stufe 5 zeigen sich darin, dass die Jugendlichen ihre neu gewonnenen Kenntnisse ins praktische Handeln übersetzen und sich aktiv bewerben. Die Outcomes auf Stufe 6 beschreiben, wie sich die Lebenslage der Jugendlichen verändert hat – einige haben einen Ausbildungsplatz ergattert, verfügen über ein Einkommen und sind damit nicht mehr auf Sozialleistungen angewiesen.

Wirkungen auf Ebene der Gesellschaft (Impact)

Während sich bei den Outcomes die Wirkungen auf die Zielgruppen des Projekts beziehen, beschreiben die Impactsauf Stufe 7die erwünschten Veränderungen auf gesellschaftlicher Ebene. Dies sind z.B. Veränderungen der sozialen oder ökonomischen Situation der Gesellschaft. Impacts beziehen sich stets auf einen Teil der Gesellschaft, also etwa die Bevölkerung in einem Stadtteil oder einer Region.

Beim Planungsprozess von den Impacts zu den Inputs erstellst du die Wirkungslogikvon rechts nach links. Bei jedem einzelnen Planungsschritt musst du eine Antwort auf die Frage finden:Was muss getan werdenbzw. was muss passieren, um die jeweilige Wirkung zu erreichen?

Ausgangspunkt bilden die Wirkungsziele auf gesellschaftlicher Ebene (Stufe 7) und die Wirkungsziele hinsichtlich der Lebenslage der Zielgruppe (Stufe 6). Beide hast du mithilfe des Lösungsbaums identifiziert.

Bezogen auf die einzelnen Schritte heißt das:

Keine Angst vor Wirkungsanalyse!

“Wirkungsanalyse” klingt bedrohlich – nach Zahlenkolonnen, großer Wissenschaft und unendlich viel Aufwand. Diese Sorge ist unbegründet. Wirkungsanalyse istnur so aufwendig, wie du es wünschstoder die Ressourcen es zulassen. Entscheidender als das Budget ist die Einsicht, dass Daten, die während des Projekts erhoben werden, extrem dienlich sind, um aus ihnen zu lernen und das Projekt anzupassen.

Wirkungsmessung?

Oft wird auch der Begriff Wirkungsmessung genutzt. Der Begriff suggeriert, dass sich Wirkungen exakt messen lassen. Das Gegenteil ist der Fall. Wirkungen sind in der Realität komplex und sind keineswegs berechenbar, und schon gar nicht aufs Komma.

Monitoring heißt, regelmäßig Informationen zu erheben, um die Fortschritte des Projekts zu beobachten und um zu prüfen, ob Qualitätsstandards eingehalten werden.

Das Monitoring eignet sich dafür,Inputs, Outputsundleicht zu erfassende Wirkungenzu dokumentieren. Systematisch betrieben, lässt das Monitoring später auch Aussagen über das gesamte Projekt zu – das kann insbesondere bei solchen Projekten relevant sein, bei denen eine Evaluation aus Gründen nicht möglich ist.

Schwerer zu erfassende Daten werden dagegen meist mittels Evaluationen erhoben. Verraten die im Monitoring gewonnenen Daten, dass ein Projekt nicht wie geplant läuft, lässt sich mittels einer Evaluation feststellen, warum das so ist. Eine Evaluation begutachtet und bewertetProzesse, Ergebnisse und Wirkungen. Sie kann zu verschiedenen Zeitpunkten des Projekts durchgeführt werden.

Zur besseren Übersicht nochmal im Vergleich:

In vielen Projekten wird kein regelmäßiges Monitoring betrieben, weil es an Kapazitäten oder Kompetenzen mangelt. In solchen Fällen wird das Projekt schlechterdings genau einmal evaluiert, und zwar nach Projektende.

So wichtig diese Evaluation natürlich ist, möchten wir Sie aber für ein stetes undsystematisches Monitoringbegeistern! Denn konsequentes Monitoring istdas Frühwarnsystemfür unerwartete Entwicklungen – ohne Monitoring können Sie nicht adäquat auf Planabweichungen und Unvorhergesehenes reagieren. Und eine Evaluation bringt Ihnen ersthinterherGewissheit, die Sievorherbenötigt hätten…

Im Übrigen muss ein regelmäßiges Monitoring keinesfalls aufwändig und teuer sein. Kostengünstige Mittel und Methoden stellen wir im Kapitel“Erhebungsmethoden im Überblick”vor.

Auf Ebene der Prozesse undOutputs(Leistungen) kommt es darauf an, dass du zeitnah herausfindest, ob Geld und Zeit noch im Plan liegen. Deswegen solltest du solche Daten regelmäßig erheben – je nach Spielart wöchentlich, monatlich, vierteljährlich. Denn nur so kannst du bei Abweichungen gegensteuern.

Auf Ebene der Wirkungen(OutcomesundImpacts) geht es meist um mittel- und langfristige Resultate. Diese lassen sich im Allgemeinen schwerer feststellen als bspw. Output-Informationen. Allerdings gibt es auch auf dieser Ebene Informationen, die du vergleichsweise leicht und regelmäßig erheben kannst, wie etwa die Veränderung von Schulnoten.

Kontinuierlich anstatt punktuell

Ganz wichtig: Egal, welche Daten du ermittelst – die Wirkungsanalyse ist ein kontinuierlicher Prozess. Das heißt, es genügt nicht, Daten erst zum Projektende hin zu erheben. Sie können dann nämlich weder aus diesen Daten lernen noch adäquat gegensteuern.

Wann du evaluierst, hängt vom Einzelfall ab. DieEvaluation zu Beginn des Projektsdient der Bedarfs- und Umfeldanalyse. Du kannst so die Bedarfe der Zielgruppe erfragen, diese mit den Projektzielen abgleichen und prüfen, ob die geplante Vorgehensweise tatsächlich die richtige ist.

(Ab-)Schlussevaluationenwerden, wie es der Name schon sagt, am Ende eines Projekts durchgeführt. Hierbei wird oft, aber nicht immer, das gesamte Projekt bewertet.

Natürlich ist es sinnvoll,nach ProjektabschlussBilanz zu ziehen. Doch abgesehen von Abschlussberichten an Geldgebende hat eine Evaluation am Ende des Projekts oftwenig Nutzen. Denn wenn die Ergebnisse endlich vorliegen, sind Mitarbeitende meistens längst mit anderen Projekten beschäftigt.

Außerdem ist es im Nachhinein nicht mehr möglich, auf die Erkenntnisse der Evaluation zu reagieren. Wenn sich also mittendrin die Möglichkeit einerZwischenevaluationbietet – dann nutze sie!

Bei Projekten, die kein geplantes Ende haben, solltest du von selbst Zeitpunkte identifizieren, an denen du eine umfassende Auswertung vornimmst– etwa, wenn du ein neues Projektmodul entwickelst oderdas Projekt an andere Orte verbreiten möchtest.

EineEx-Post-Evaluationfindet einige Zeit nach Abschluss des Projekts statt. Sie hat zum Ziel, herauszufinden, welche Wirkungen ein Projekt auch über sein Ende hinaus entfaltet. Ein Beispiel für eine Ex-Post-Evaluation wäre eine Verbleibstudie, die ermittelt, was aus den Projektabsolvent*innen wurde.

Ganzunabhängig vom Zeitpunktsolltest du über eine Evaluation nachdenken, wenn die Monitoringdaten auf signifikante Abweichungen gegenüber deiner Planung hinweisen. (Dazu mehr im Kapitel “Indikatoren entwickeln: Vom IST zum SOLL”)

Wirkungsanalyse bei PAFF

PAFF erhebt systematisch Daten. Vor allem werden die erbrachten Leistungen dokumentiert, wie etwa die Anzahl der Nachhilfestunden. Auf Ebene der Wirkungen werden die Veränderungen bei den Schulnoten festgehalten. Um festzustellen, wie sich die Projektteilnahme auf das Sozialverhalten der Jugendlichen auswirkt, wird nach zweieinhalb Jahren evaluiert. Die Resultate helfen, das laufende Projekt weiterzuentwickeln und das Folgeprojekt von vornherein optimal aufzusetzen.

Qualifikationen

Ein*e Evaluator*in sollte folgende Qualifikationen mitbringen:

– Erfahrung mit Evaluationen im Themengebiet
– gutes Methodenwissen und ein hohes Qualitätsbewusstsein
– Kommunikationsfähigkeit & Integrität
– Sensibilität im Umgang mit der Zielgruppe

Für eine interne Evaluation spricht, dass sie im Vergleich zu einer externen Evaluationgünstigerist. Zudem geht es bei der Wirkungsanalyse vor allem darum, aus den Erkenntnissenzu lernen, und das kannst du nur bis zu einem gewissen Grad nach außen abgeben.

Ein weiterer Pluspunkt besteht darin, dass die Mitarbeitendenschneller an relevante Informationengelangen und mehr Sachkunde über das zu beurteilende Projekt besitzen – was allerdings problematisch werden kann, wenn diese Sachkunde inBetriebsblindheitausartet oder persönliche Beziehungen zu einer Befangenheit führen. All das setzt natürlich voraus, dass du projektintern überdie nötigen Kompetenzenverfügst, um eine qualifizierte Evaluation vornehmen zu können.

Eine Evaluation durch eine externe Fachkraft hat den Vorteil, dass sie in den meisten Fällen fachlich undmethodisch saubererist, strukturierter umgesetzt wird (und eben nichtso nebenbei) und einen objektiven, überparteilichen Blick einbringt.

Nachteilig sind diehöheren Kosten, die eine externe Evaluation verursacht. Außerdem kann es passieren, dass der Evaluator nicht an alle relevanten Informationen gelangt oder diese nicht einordnen kann – und damit dem Projekt kaum gerecht wird. Die Vor- und Nachteile im Überblick:

Eine Lösung für dieses Dilemma könnte in einerMischformaus interner und externer Evaluation bestehen. Projektmitarbeitende arbeiten Hand in Hand mit einer/einem externen Evaluatoren/in, der/die Expertise und den Blick von außen mitbringt. Die Mitarbeitenden bauen so allmählich Kompetenzen auf, und der/die externe Evaluator*in gewährleistet den neutralen Blick. So kommen die Vorteile aus beiden Ansätzen zusammen – vorausgesetzt, Rollen und Zuständigkeiten sind klar geregelt.

Unabhängig davon, ob es auf eine interne oder eine externe Evaluation hinausläuft: Innerhalb des Projektteams sollte klar sein, wer für die Wirkungsanalyse bzw. derenKoordination verantwortlichist; bei dieser Person sollten alle Fäden zusammenlaufen.

So macht’s PAFF

Bei PAFF tragen die Patengruppenbetreuer*innen alle relevanten Informationen von den Pat*innen, Schüler*innen und Lehrkräften zusammen. Die Projektleitung bereitet die Daten auf und wertet sie aus. Die Evaluation übernimmt eine Professorin vom Pädagogik-Lehrstuhl der Universität.

Grundsätzlich gilt: Wirkungsorientierte Projektsteuerung ist zum Scheitern verurteilt, wenn sie nicht von der Organisations- bzw. Projektleitung mitgetragen und gefördert wird.

Neben Ressourcen braucht es festgelegteProzesseundVerantwortlichkeiten. Idealerweise laufen die Fäden an einem Ort bzw. bei einer Person zusammen. Das sollte allerdings nicht dazu führen, dass sich alle anderen nicht mehr um die Wirkungsanalyse kümmern. Sinn und Zweck einer Evaluation ist, gemeinsam aus den Ergebnissen zu lernen – deshalb sollten auch alle Mitarbeitenden einbezogen sein! Nicht fortwährend, aber eben doch regelmäßig.

Ebenfalls zu berücksichtigen sind die Stakeholder des Projekts. (Welche das sind, hattest du bereits während der Projektplanung ermittelt.) Indem du deine Stakeholder einbeziehst, stellst du dieErgebnisqualitätsicher,legitimierstdas Vorgehen und beugst etwaigenWiderständenvor.

Natürlich stellt sich die Frage: Wie viel kosten Monitoring & Evaluation, und woher kommt das Geld dafür? Erfahrungsgemäß kostet eine angemessene Wirkungsanalysezwischen drei bis zehn Prozent des Projektbudgets. Größte Posten sind die Personalkosten; hinzu kommen Druckkosten für den Evaluationsbericht, Kosten für die Kommunikation der Ergebnisse und eventuell Reisekosten.

Drei bis zehn Prozent sind ein sehr theoretischer Wert – denn in der Realität sind meistens überhauptkeine Mitteleingeplant (was häufig daran liegt, dass viele Mittelgebende noch zu wenig Interesse an Wirkungszusammenhängen haben). Ohne Budget wird es natürlich schwer, überhauptirgendetwaszu erheben; aber wenn es dir gelingt, ein paar Mittel loszueisen, wäre das immerhin ein Anfang. Es gibt durchausgünstige Methoden der Datenerhebung und -auswertung, auf diese kommen wir später zu sprechen.

Generell gilt: Bei einemschmalen Budgetist es sinnvoll, lieber einen kleinen, dafür aber relevanten Teil des Projekts zu evaluieren, als gänzlich darauf zu verzichten.

Idealerweise tauscht du dich hierzufrühzeitigmit deine*r Geldgeber*in aus! Zeige auf, welche Kosten anfallen, und überlegt gemeinsam, ob und wie sich diese stemmen lassen oder welche Alternativen es gibt. Dabei geht es nicht nur darum, das Monitoring in die Aufwandsplanung einzupreisen, sondern auch die erforderlichen Mittel für die Auswertung und Diskussion der Daten, denn all das erfordert Aufwände, die meistens unterschätzt werden… – Gut, wenn deine Fördermittelgebenden und du hierüber von Anfang an im Gespräch seid.

So hältst du die Kosten überschaubar

– Sind die zu sammelnden Informationen wirklich (wirklich!) relevant?
– Liegen die Daten vielleicht schon andernorts vor?
– Ist die Stichprobe angemessen oder doch zu groß?
– Gibt es kostengünstigere Erhebungsinstrumente?
– Welche Aufgaben kannst du kostensparend inhouse übernehmen?

Mit einer Wirkungsanalyse sind häufig (zu) hohe Erwartungen verbunden: Zum einen wollen die Projektbeteiligten wissen, ob das Projekt die erwünschten Wirkungen zeigt. Zum anderen wünschen auch Geldgebenden Wirkungsnachweise. Deine Erwartungen sollten sich im Wesentlichen daraus speisen, welche Ressourcen dir zur Verfügung stehen undwelche Datenerhebungsmethoden du anwendest.

Steht dir nur wenig Geld zur Verfügung, musst du auf preisgünstige, aberwenig aussagekräftige Erhebungsmethodenzurückgreifen, deren Resultate überschaubar sein werden. Entsprechendzurückhaltendsollte sich das Erwartungsmanagement gestalten – dein eigenes ebenso wie das der Geldgebenden.

So macht es PAFF

Bei PAFF erfolgt das Monitoring wesentlich durch die Ehrenamtlichen. Die hauptamtliche Projektleitung trägt die Informationen zusammen und bereitet sie auf. Evaluiert wird das Projekt durch eine Professorin des Pädagogik-Lehrstuhls der lokalen Uni. Die geplante Verbleibstudie hingegen wird von einer externen Evaluatorin durchgeführt. Die Kosten hierfür trägt die Förderstiftung, durch die PAFF hauptsächlich finanziert wird.

Prozesse und Wirkungen zusammen denken!

Während sich früher Evaluation und Berichterstattung eher auf die Projektaktivitäten und den Prozess konzentrierten, wird heute verstärkt darauf geachtet, welche Wirkung ein Projekt erzielt.

Im Sinne einer wirkungsorientierten Projektumsetzung ist es wichtig, beide Ebenen zu betrachten, also sowohl die Prozess- als auch die Wirkungsebene. Denn schließlich möchten Sie herausfinden, welche konkrete Wirkung das Projekt erzielt, aber auch welche Teile des Projekts besonders wirksam dazu beitrugen oder an welchen Stellen es Hindernisse gab.

Auch in deiner Projektarbeit kommt es darauf an, dass du kontinuierlich Anhaltspunkte und Hinweise dafür sammelst, ob du noch auf Kurs bist und die gesteckten Ziele erreichbar sind. Diese Anhaltspunkte und Hinweise nennen sich:Indikatoren.

Anhand von Indikatoren lässt sich feststellen, ob ein bestimmter Sachverhalt oder ein bestimmtes Ereignis eingetreten ist. Indikatoren geben Aufschluss darüber, welcheFortschritteein Projekt macht und ob es wie geplant verläuft.

In der Planungsphasewerden Indikatoren zur Beschreibung der Situation und der Bedarfe genutzt. Es ist wichtig, dass die Indikatoren (so weit wie möglich) bereits während der Planung festgelegt werden:

Bei der Projektumsetzungsind Indikatoren ein wichtiges Instrument der Fortschrittskontrolle, des Lernens und der Steuerung. Mit ihrer Hilfe lässt sich feststellen, ob das Projekt seine Ziele entlang der Stufen der Wirkungslogik erreicht. Die regelmäßige Beobachtung der Indikatoren ist daher die Voraussetzung für die wirkungsorientierte Steuerung.

Bei derabschließenden Betrachtungeines Projekts bilden Indikatoren die Grundlage, um das Erreichte analysieren und bewerten zu können. Indikatoren helfen, die Projektergebnisse mit der Situation zum Projektstart zu vergleichen.

Es gibt direkte und indirekte Indikatoren:

Direkte Indikatorenlassen sich vor allem für zählbare Sachverhalte wieOutputsund leicht messbare Wirkungen formulieren. Direkte Indikatoren ergeben sich oft unmittelbar aus denWirkungszielen.

Angenommen, eines einer Wirkungsziele besteht darin, dass Jugendliche durch die Teilnahme an deinem Projekt einen Ausbildungsplatz bekommen. Woran würdest du nun erkennen, ob das Projekt diese Wirkung erreicht? So simpel es auch scheint, aber der richtige Indikator wäre tatsächlich die “Anzahl der Jugendlichen, die nach Teilnahme an deinem Projekt einen Ausbildungsplatz bekommen haben”.

Doch nicht immer liegen Indikatoren unmittelbar auf der Hand, sondern ergeben sich erst nachlängerem Herumdenken(was dazu führt, dass viele Sachverhalte auf den ersten Blick nicht überprüfbar erscheinen). In diesen Fällen kommenindirekte Indikatorenzum Einsatz.

Indirekte Indikatoren weisennur mittelbarauf den zu beobachtenden Sachverhalt hin. Sie werden genutzt, wenn es nicht oder nur mit unvertretbar hohem Aufwand möglich ist, Daten zum Sachverhalt zu erheben.

Indikatoren ableiten

Ein klassisches Beispiel für die Nutzung eines indirekten Indikators ist die Erhebung der Bevölkerungszahl in einem großen und schwer zugänglichen, von Nomaden besiedelten Gebiet.

Statt einer kaum durchführbaren Zählung “pro Kopf” könnte man sich dafür entscheiden, nachts über das Land zu fliegen und, als indirekten Indikator, die erleuchteten Feuerstellen zu zählen. Da aus anderen Untersuchungen bekannt ist, wie viele Personen sich in etwa um eine Feuerstelle herum gruppieren, lässt sich auf diese Weise die Bevölkerungszahl hinreichend genau bestimmen.

Übersetzt heißt das: Wenn du beispielsweise wissen möchtest, wie hoch die Anzahl der von Armut betroffenen Kinder in einem Stadtteil ist, wäre ein indirekter Indikator etwa die Anzahl der Kinder, die das Angebot eines kostenlosen Mittagessens nutzen.

Indirekte Indikatoren werden vor allem dann eingesetzt, wennqualitative Sachverhaltebeschrieben werden: veränderte Lebensumstände, veränderte Einstellungen, verändertes Verhalten.

Hieraus ergibt sich aber schon die nächste Schwierigkeit. Denn woran etwa würdest du festmachen, ob eine Jugendlicher infolge einer Projektteilnahme selbstbewusster geworden ist? – Daran, dass sie innerhalb der Gruppe öfter ihre Meinung vertritt? Sie mehr Sozialkontakte hat? Eine andere Körperhaltung zeigt? In solchen Fällen brauchst du also eine Vielzahl an Indikatoren, am besten für jede Stufe der Wirkungstreppe einen.

Um feststellen zu können, ob ein Projekt auf dem richtigen Weg ist, müssen für die verschiedenen Stufen der Wirkungslogik Indikatoren gebildet werden. Die Indikatoren entlang der Wirkungslogik sind damit quasi “Meilensteine” für die Steuerung deines Projekts.

Indikatoren können, entsprechend der Wirkungslogik, inImpact-, Outcome-, Output- und Input-Indikatorenunterschieden werden. Für die wirkungsorientierte Projektarbeit sind zusätzlich noch Indikatoren für dieQualitätder Projektarbeit wichtig.

Outputs sind zwar noch keine Wirkungen, aber sie sind Bedingung dafür, dass Wirkungen entstehen.Ohne Outputs keine Wirkung. Insbesondere in der Anfangsphase eines Projekts kann es sein, dass Outputs die einzigen Dinge sind, die sich erheben lassen, da Wirkungen oftmals erst nach einiger Zeit zu ermitteln sind.

Wenn du etwa zum Projektstart die Wirkungen deines Projekts noch gar nicht überprüfen kannst, solltest wenigstens Aussagen über deine Outputs treffen können – das erfordert jedoch, dass du über die entsprechenden Output-Indikatoren verfügst.

Für die wirkungsorientierte Projektarbeit sind außerdem Indikatoren wichtig, die die Qualität der Projektarbeit erfassen.

SolcheStandardskönnen beispielsweise sein, dass Nachhilfestunden nur von Lehrerkräften oder Lehramtsstudierenden der jeweiligen Fachrichtung durchgeführt werden oder dass Pat*innen regelmäßig von einer ausgebildeten Supervisorin begleitet werden. Die Qualitätskriterien werden später während desMonitoringsmit der Realität abgeglichen.

Wie bei den Output-Indikatoren gilt auch hier: Wenn du ein Projekt umsetzt, bei dem sich Wirkungen schwer nachweisen lassen, solltest du versuchen, die Qualität deines Projekts mithilfe aussagekräftiger Indikatoren zu belegen.

Indikatoren solltenso früh wie möglicherarbeitet werden – am besten schon während der Projektplanung. In der Natur der Dinge liegt, dass im Projektverlauf weitere Indikatoren hinzukommen werden.

In die Indikatoren-Entwicklung solltenalle Personen eingebundensein, die an der Planung, Durchführung und Wirkungsanalyse des Projekts beteiligt sind – idealerweise also Mitarbeitende wie auch Fördernde. Die Geldgebenden einzubinden ist schon insofern günstig, weil du auf diese Artelegant deren Erwartungen und Prioritäten abfragen kannst. Grundsätzlich benötigst du für alle Stufen deiner Wirkungslogik Indikatoren.

Und so gehst du vor:

Notiere dir diese und überlege– am besten im Team –, woran du erkennst, dassein bestimmtes Ziel erreichtwurde.

In diesem ersten Schritt geht es erst einmal darum, Ideen zu sammeln,ohne zu bewerten. Sammle daher alles, ohne sich zu beschränken. Notiere die Vorschläge der Gruppenmitglieder oder lass sie ihre Ideen auf Kärtchen schreiben, die du dann den Zielen und Fragen zuordnest.

Im zweiten Schritt werden die Ideen strukturiert. Fasse die Ideen zusammen, ergänze und streiche. Manche Wirkungsziele lassen sich mit einem einzigen Indikator erfassen, etwa bei quantitativen Merkmalen. Ein Beispiel wäre die Anzahl der Jugendlichen, die nach Teilnahme einen Ausbildungsplatz gefunden haben.

Komplexere Wirkungsziele erfordern hingegen meist mehrere Indikatoren und darüber hinaus qualitative wie quantitative Indikatoren gleichzeitig. Wodurch kann sich etwa das Erreichen eines Ziels wie “Jugendliche haben höhere Bewerbungskompetenzen” ausdrücken? Wie lässt sich das beschreiben? Gibt es zählbare Dimensionen?

Bei der Entwicklung deiner Indikatoren kannst du dich an anderen Organisationen orientieren oder bereits bewährte Indikatoren-Sets nutzen. Blind übernehmen solltest du diese aber nicht – schließlich ist kein Projekt genau wie deines und Indikatoren sind ein wichtiger Schritt in der Projektentwicklung.

Richtig formulieren

Anstelle von “Ein Großteil der Jugendlichen hat einen Ausbildungsplatz”, ist die bessere Formulierung: “Die Anzahl der arbeitslosen Jugendlichen im Stadtteil XY, die innerhalb von 6 Monaten nach der Teilnahme am Bewerbungstraining einen Ausbildungsplatz haben.”

Sehr wahrscheinlich hast du in den Schritten 1-3 zu viele Indikatoren gesammelt. Da es aber weniger auf die Masse ankommt, sondern auf die Qualität der Indikatoren, geht es nun ansPriorisieren. Ziel ist, dass du ein kleines, aberaussagekräftiges Indikatoren-Seterhältst. Pro Ziel und Frage brauchst du mindestens einen Indikator; mitunter aber auch mehrere Indikatoren.

Ob ein Indikator tatsächlich etwas taugt, zeigt sich daran, ob für genau diesen Indikator schon Daten vorliegen bzw. mit welchem Aufwand Daten zu erheben sind. Leitfrage: Gibt es überhaupt eine zuverlässige Datenquelle und ist diese leicht zugänglich? Zuletzt musst du den Indikatoren nochSoll-Wertezuweisen. Wie das geht, erklären wir im nächsten Abschnitt.

Zuvor noch die Checkliste zum Abhaken:

Praxisbeispiel PAFF

Eine Baseline bei PAFF wäre die allgemeine Übergangsquote derjenigen Schüler*innen, die nach der Schule in eine Ausbildung wechseln. Wichtig wäre, dass dieser Vergleichswert sich auf einenZeitpunktbezieht, dervordem Projektstart liegt. Fehlen hierzu Daten, lässt sich hinterher kaum feststellen, welchen Erfolg PAFF tatsächlich hat.

Generell gilt: Jelängerdas Projekt läuft, umsoschwierigerwird es, Daten für eine Baseline zu bekommen.

Wenn dir zum Projektstart noch nicht alle Indikatoren bekannt waren und du nun im Nachhinein Vergleichsmöglichkeiten schaffen musst, kannst duTeilnehmende fragen, wie diese ihre Situation vor Beginn der Maßnahme – alsorückwirkend– einschätzen und wie sie siejetztbewerten. Beide Antworten hältst du in einer Skala fest.

Diese rückwirkende Baseline kann gerade bei individuellen und eher softenOutcomessehr aussagekräftig sein. Parallel oder anstelle kannst du auch beteiligte Dritte befragen (z.B. die Eltern der teilnehmenden Jugendlichen).

Ergeben sich Indikatoren erst während der Projektumsetzung, musst du rückwirkend Informationen sammeln. Diese ergeben sich zum Beispiel aus altenAufzeichnungen, Protokollen oder Situationsbeschreibungen von Personen, die bereits seit Projektstart dabei sind. Voraussetzung ist natürlich, dass du überhaupt über Aufzeichnungen verfügst.

Ist all das nicht möglich, kannst du auchzu jedem späteren Zeitpunktbeginnen, nach Bezugspunkten zu suchen. Deren Aussagekraft ist dann aber natürlich begrenzt.

Was tun ohne Baseline?

Gibt es bei Projektbeginn weder eine Baseline noch Erfahrungswerte, kannst du auch mitgefühltenWerten arbeiten, die du alsbald gegen reale Werte austauschst.

Praxisbeispiel PAFF

Hat etwa PAFF sein Ziel erreicht, wenn alle Patenkinder einen Ausbildungsplatz gefunden haben? Oder reicht die Hälfte? Oder ein einzelner Schüler*innen? Im Idealfall sollten natürlich alle Jugendlichen einen Ausbildungsplatz finden. Aber das wärelebensfremd.

Keine Angst vor Soll-Werten!

Soll-Werte können sich während des Projektverlaufs ändern, das liegt in der Natur der Dinge. Weisen also die Daten darauf hin, dass Soll-Werte korrigiert werden müssen, dann tu das! Soll-Werte sollen als positive Herausforderung dienen und motivieren. Das trifft insbesondere auf individuelle Soll-Werte zu, die du mit einzelnen Projektteilnehmenden vereinbart hast, wie beispielsweise die geplante Notenverbesserung zum Ende des Schuljahrs.

Tipp:

Wider die Sammelwut! Blockiere dein Projekt nicht mit exzessivem Datensammeln! Häufe keine Datenberge an, diese kann ohnehin niemand auswerten. Überlege deshalb beizeiten, welche Informationen du tatsächlich brauchst.

Mithilfe welcher Methode du Daten erhebst, ist abhängig von deinem Erkenntnisinteresse und vom jeweiligen Indikator.Unterschieden werden quantitative und qualitative Erhebungsmethoden.

Quantitative Methoden eignen sich besonders dann, wenn:

Quantitative Methoden sind unter anderem Messungen, Zählen, die Analyse statistischer Daten, Befragungen, Tests sowie strukturierte Beobachtungen.

Bei der qualitativen Datenerhebung werden detaillierte, subjektive und individuelle Erkenntnisse über Einstellungen und Handlungen ermittelt. Hierfür werden Einzelfälle auf ihre Besonderheiten hin untersucht.

Qualitative Daten beschreiben einen Sachverhalt und helfen, ein vertieftes Verständnis von einer Situation zu bekommen. Das macht sie für die wirkungsorientierte Steuerung von Projekten auch so wichtig: Meist ergeben sich erst aus der Kombination quantitativer und qualitativer Daten vollständige Ursachen und Zusammenhänge.

Qualitative Erhebungsmethoden sind dadurch gekennzeichnet, dass sie sich mit dem Wie & Warum eines Sachverhalts oder einer Entwicklung beschäftigen. Sie eignen sich vor allem, wenn es darum geht …

Wirkungen nachzuweisen, kann aus vielerlei Gründen eine große Herausforderung sein. Was kannst du also tun bei Wirkungen, die sich nur mit viel Aufwand ermitteln lassen?

Langfristige Wirkungen nachweisen

Viele soziale Projekte zielen auf Wirkungen, die erst nach einiger Zeit eintreten. Solche Wirkungen nachzuweisen ist aufwändig und schwierig. Das beginnt bereits bei der Datenbeschaffung, wenn du versuchst, ehemalige Teilnehmende womöglich nach Jahren wieder zu kontaktieren.

Außerdem stellt sich die Frage, inwiefern die festgestellten Wirkungen tatsächlich auf das Projekt zurückzuführen sind, denn in der Zeit zwischen Projektende und dem Eintreten der Wirkung ist einiges im Leben der Teilnehmenden passiert; sie waren sicherlich einer Vielzahl an Einflüssen ausgesetzt, von denen ein paar voraussichtlich ebenfalls Wirkung zeigen.

Das kannst du tun:

Stellst du fest, dass bei den Teilnehmenden Wirkungen der Outcome-Stufen 4 (Veränderungen im Wissen) und 5 (Veränderungen im Verhalten und Handeln) eintraten, kannst du mit einer gewissen Wahrscheinlichkeit annehmen, dass das Projekt auch Einfluss auf Outcomes der Stufe 6 (Änderung der Lebenssituation) besitzt.

Teilnehmende wollen oder können nicht befragt werden

In einigen Projekten ist es schwierig, Teilnehmende zu befragen. Einige haben Vorbehalte, andere befürchten Nachteile (von Gewalt Betroffene oder StraftäterInnen etc.), wieder andere sind schlicht nicht in der Lage, Auskünfte zu erteilen (Kleinkinder, schwer Erkrankte u.a.).

Das kannst du tun:

Kampagnen & Advocacy

Ziel von Kampagnen ist es, Entscheidungsträger*innen sowie die öffentliche Meinung zu beeinflussen und Prozesse anzustoßen, die sich in einer Veränderung des Bewusstseins und des Verhaltens ausdrücken. Beispiele sind Kampagnen gegen das Rauchen. Solche Wirkungen sind generell schwer zu erheben.

Ob eine Kampagne die erwünschte Wirkung auf gesellschaftlicher Ebene erzielt hat, lässt sich am ehesten in groß angelegten Studien (z.B. über den Gesundheitsstatus der Bevölkerung) ablesen, die für einzelne Organisation kaum durchführbar sind.

Das kannst du tun:

Definiere entlang Wirkungslogik einzelne Teilziele, zu denen sich Daten erheben lassen. Beispielsweise lässt sich die Beeinflussung von Entscheidungsträger*innen oder relevanter Multiplikator*innen dadurch überprüfen, ob Forderungen aufgegriffen oder Argumente übernommen wurden, oder ob es eine verstärkte Berichterstattung zum Thema in den Medien gab.

Zielgruppe sind Organisationen

In Projekten, deren Zielgruppen Organisationen sind, ergeben sich die Wirkungen aus dem Nutzen, den diese Organisationen aus der Unterstützung durch das Projekt ziehen.

Die Veränderungen im Wissen und in der Arbeitsweise der Organisation sind mittelfristige Outcomes; eine langfristige Wirkung wäre, wenn die Organisation effektiver arbeiten könnte. Diese Wirkungen lassen sich vor allem über qualitative Daten abbilden.

Angenommen, ein Projekt unterstützt Organisationen dabei, ehrenamtliche Mitstreitende zu gewinnen und zu managen, dann …

Wirkungen auf Impact-Ebene

Impacts zu erheben, ist in vielen Fällen schwer bis gar nicht möglich. Denn Veränderungen auf gesellschaftlicher Ebene treten in den allermeisten Fällen erst nach längerer Zeit auf. Zudem benötigen komplexe Probleme viele Impacts, die wiederum zahlreichen Einflüssen unterliegen.

Hier die Netto-Wirkung eines einzelnen Projekts herauszufiltern, kann gar nicht funktionieren. Das bedeutet allerdings nicht, dass du es nicht doch versuchen solltest!

Das kannst du tun:

Offene Angebote

Offene Angebote für Kinder, Jugendliche oder ältere Menschen haben häufig Schwierigkeiten, Aussagen über ihre Wirksamkeit zu treffen, und geraten deshalb zum Teil unter einen Rechtfertigungsdruck.Mal ist die Gruppe der Teilnehmenden sehr heterogen, mal nehmen diese nur unregelmäßig teil, sodass es schwierig erscheint, Wirkungsziele zu setzen und Wirkungen nachzuweisen.

Das kannst du tun:

Ein Senior*innen-Treff wird nicht allein deshalb frequentiert, weil der Kaffee so gut und der Kuchen so preiswert sind, sondern weil die Besucher*innen Kontakte knüpfen und ihre Lebensqualität steigern wollen. Was wären hierfür Wirkungsziele und Indikatoren?

Auch wenn es im Freizeithaus vor allem darum geht, Spaß zu haben, bauen Kinder und Jugendliche soziale und kulturelle Kompetenzen auf und lernen, Verantwortung zu übernehmen. Was wären Wirkungsziele und Indikatoren?

Präventionsprojekte

Wenn Jugendliche nicht anfangen, zu rauchen oder Mädchen nicht mit 14 schwanger werden, haben Präventionsprojekte ihr Ziel erreicht. Nur: Wie lässt sich nachweisen, dass diese Wirkungen auf das jeweilige Projekt zurückzuführen sind?

Das kannst du tun:

Was sind Kontrollgruppen?

Die Kontrollgruppe ist eine Gruppe von Personen, die untersucht werden, ohne dass sie Teil des Projekts sind. Eine Kontrollgruppe erlaubt einen Vergleich mit der Teilnehmendengruppe; daraus abgeleitet lassen sich Aussagen zur Wirksamkeit des Projekts treffen. Eine Evaluation mit Kontrollgruppen ist zwar sehr aufwändig, dafür jedoch sind die Daten aussagekräftig und belastbar.

Vor, während und nach der Laufzeit deines Projekts hast viele Informationen gesammelt: Es gab Feedback und du verfügst über eigene Eindrücke. All das gilt es nun zu analysieren und auszuwerten, am besten im Team.Hast du das Ziel erreicht? Verlief alles wie geplant? Gab es unerwartete Entwicklungen und wenn ja, warum? Und was folgt daraus?

Im nun folgenden Schritt geht es darum, die Daten in brauchbare Informationen umzuwandeln, aus denen du lernen und die du für die Projektsteuerung nutzen kannst.

Die Analyse kann je nach Erkenntnisinteresse, Datenmenge und Datenqualität sehr anspruchsvoll sein. Kann. Denn damit wollen wir gar nicht erst anfangen. Vielmehr möchten wir dir praxisnahe Tipps für den Projektalltag geben, mit denen du zügig zu brauchbaren Ergebnissen gelangst. Wir verraten, wie du in vier Schritten aus einem Berg an Informationen für dich interessante Schlussfolgerungen ziehst.

Zuvor muss allerdings geklärt werden, wann ein guter Zeitpunkt für die Auswertung ist, und wer die Auswertung vornehmen sollte.

Bei externen Evaluationen ist die Auswertung outgesourct. Damit hat die externe Fachkraft auch den Hut auf. Bei projektinternen Evaluationen gilt: Die Person, die die Daten erhebt, sollte sie auch auswerten – schließlich ist sie diejenige, sie am ehesten Bezüge zwischen den Daten herstellen kann, sofern sie nicht befangen oder stark betriebsblind ist. Sind mehrere Personen beteiligt, braucht es eine Verantwortliche oder einen Verantwortlichen, die oder der die Auswertung koordiniert.

Die Ergebnisqualität hängt entscheidend davon ab, wen du einbeziehst. Nur mit den richtigen Leuten kannst du die Ergebnisse hinreichend genau deuten und falschen Schlussfolgerungen vorbeugen – insbesondere bei Resultaten, die mehrere Interpretationen zulassen oder bei denen verschiedene Blickwinkel gefragt sind.

Tausche dich im Team aus und binde diejenigen Stakeholder mit ein, die die Ergebnisse der Analyse tatsächlich einschätzen können. Dasselbe gilt bei einer Evaluation durch extern: Auch in diesem Fall sollten die Ergebnisse breit diskutiert werden, zum Beispiel indem du sie einer repräsentativen Gruppe vorstellst.

Die folgenden Fragen helfen dir bei der Arbeit mit deinen Daten:

So macht es PAFF

Die Daten, die PAFF erhebt, werden von der Projektleitung ausgewertet und in einem ersten Schritt analysiert. Im zweiten Schritt werden die Ergebnisse dem Leitungsteam vorgestellt. Hierzu sind auch Pat*innen und Lehrkräfte eingeladen.

Bei der Präsentation der externen Evaluation sind neben dem Leitungsteam die involvierten Pat*innen, die Klassenlehrer*innen sowie zwei Unternehmensvertretenden zugegen, in deren Betrieb ehemalige Projektteilnehmende eine Ausbildung absolvieren.

Es braucht vier Schritte, um die Auswertung in Handlungsempfehlungen umzumünzen.

Schritt 1: Daten aufbereiten und auswerten

Zunächst werden die Daten systematisiert und zusammengefasst.Quantitative Daten lassen sich in Tabellen aufbereiten. Bei qualitativen Daten, die durch Interviews oder durch Fragebogen mit offenen Fragen erhoben wurden, werden die Kernaussagen extrahiert und zusammengefasst.

Schritt 2: auf Plausibilität prüfen

Im Anschluss sind die Daten auf Plausibilität zu prüfen. Der Plausibilitäts-Check ist ein kleiner, aber sehr wichtiger Schritt, denn auch kleine Fehler können eine Untersuchung stark verzerren.Während die Datenauswertung (Schritt 1) nur durch einige wenige Personen erfolgen sollte, ist es sinnvoll, den Plausibilitäts-Check auf deutlich mehrere Schultern zu verteilen. Vor allem sollten diejenigen einbezogen werden, die die Ergebnisse am ehesten fachlich einschätzen können: Projektverantwortliche, Projektmitarbeitende, externe Stakeholder mit Sachverstand.

Schritt 3: Daten analysieren

Die Auswertung der Daten in Schritt 1 ist rein deskriptiv, das heißt, die Ergebnisse werden 1:1 dargestellt: “30 Prozent der Jugendlichen besitzen einen Ausbildungsplatz”.Schritt 3 baut auf dieser Beschreibung auf und reflektiert die Ergebnisse. Dabei werden die Resultate zunächst verglichen und dann bewertet und interpretiert. Bewerten meint nicht, in “gut” oder “schlecht” zu unterscheiden, sondern die Resultate in einen Kontext zu setzen und festzustellen, ob das Projekt noch auf dem geplanten Weg ist.Schritt 3 schafft die Grundlage dafür, um aus den Daten zu lernen und Verbesserungen anstoßen zu können.

Schritt 4: Schlussfolgerungen ziehen,Handlungsempfehlungen ableiten

Auch die aufwändigste Datenanalyse nützt nichts, wenn die Ergebnisse ungenutzt bleiben. Deswegen müssen die Ergebnisse breit kommuniziert und hinreichend besprochen werden. Wie bei der sonstigen wirkungsorientierten Projektsteuerung auch, kommt es darauf an, dass alle Beteiligten an den Schlussfolgerungen partizipieren.Die Ergebnisse sollten daher mit den relevanten Stakeholdern diskutiert werden, ggf. auch mit Fachexpert*innen, die du erst in diesem Schritt hinzu holst.Schlussendlich fließen die Erkenntnisse in praxistaugliche Empfehlungen, mit denen das Projekt angepasst wird.

Was tun bei schlechten Resultaten?

Ein systematisches Monitoring während des Projekts sollte eigentlich verhindern, dass du von schlechten Ergebnissen überrascht wirst. Eigentlich. Denn natürlich kommt es in der Praxis häufig vor, dass manche Resultate nicht deinen Erwartungen entsprechen werden.

Das kannst du tun:

Durchforste die Daten, auf denen die Auswertung basiert, auf Abweichungen hin – es ist durchaus denkbar, dass es bei der Auswertung zu Ungenauigkeiten kam, die das Bild verzerren.Hilft das nichts, ordne das Resultat in den Gesamtkontext ein – hierbei hilft dir womöglich der Problembaum aus der Bedarfsanalyse. Eventuell stellt sich das Resultat dann doch besser dar als zunächst befürchtet?

Kommst du auch so nicht weiter, informiere alle Stakeholder über den Stand der Dinge. Verdeutliche, warum Resultate hinter den Erwartungen zurückbleiben und welche Gegenmaßnahmen du planst. Im Idealfall unterstützen deine Geldgebenden dich beim Lern- und Verbesserungsprozess.

PAFF

Die Evaluation bei PAFF ergibt, dass die mangelnden Sozialkompetenzen der Jugendlichen ein entscheidendes Hemmnis bei der Jobsuche sind. Daher entschließen sich Projektleitung und Förderstiftung gemeinsam, ein weiteres Projektmodul “Sozialkompetenztraining” aufzusetzen.

Der Gedanke, die eigene Arbeit mit der von anderen zu vergleichen, löst häufig Unbehagen aus – sei es, weil das eigene Projekt als einmalig wahrgenommen wird oder die (leider berechtigte) Befürchtung existiert, dass Geldgebende ihre Förderzusage ausschließlich anhand von Vergleichsergebnissen treffen. Aus diesem Grunde bieten rein quantitative Vergleiche keine gute Entscheidungsgrundlage. Vielmehr kommt es darauf an, die Daten zu interpretieren und mittels qualitativer Aussagen in einen Kontext einzubetten.

Beispielsweise lassen sich Zahlenreihen zum Ausbildungsmarkt in strukturschwachen Regionen mit solchen in prosperierenden Landstrichen kaum vergleichen, ohne die Arbeitsmarktsituation im Ganzen zu berücksichtigen.Und trotzdem: Vergleiche sind ein zentraler Bestandteil der Datenanalyse. Nur mithilfe von Vergleichen können Ergebnisse bewertet, diskutiert und weiterentwickelt werden!

Sie haben verschiedene Möglichkeiten, Daten miteinander zu vergleichen. In diesem Abschnitt stellen wir fünf Optionen vor und zeigen anhand des Projektbeispiels PAFF, welche Schlussfolgerungen sich daraus ergeben.

PAFF

Die Patenbetreuer*innen haben die Aufgabe, in regelmäßigen Abständen die Monitoringdaten zusammenzutragen, um diese dann an die Projektleitung weiterzuleiten.Um eine gleichbleibende Datenqualität sicherzustellen, werden die Patenbetreuer*innen insbesondere vor und kurz nach dem Projektstart geschult. Zudem überprüft die Projektleitung alle Daten auf ihre Plausibilität hin.

1. Vorher-Nachher-Vergleich

Bei Vorher-Nachher-Vergleichen werden Veränderungen im Zeitverlauf dargestellt.Du möchtest feststellen, ob sich bei den Schüler*innen innerhalb einer Schulklasse, die am Mathe-Nachhilfeangebot von PAFF teilnehmen, die Note geändert hat – und in welche Richtung.

Mögliche Schlussfolgerungen: Der Notendurchschnitt der Teilnehmenden hat sich innerhalb von zwei Schuljahren um 0,6 verbessert (von 3,5 auf 2,9). Um nun festzustellen, inwieweit die Veränderung auf PAFF zurückzuführen ist, braucht es eine Vergleichsmöglichkeit. Beispielsweise können die Noten innerhalb einer Klasse verglichen werden (linke Spalte), zwischen projektteilnehmenden SchülerInnen (mittlere Spalte) und nicht-teilnehmenden (rechte Spalte). Anderenfalls wäre es sonst denkbar, dass sich die Noten der gesamten Klasse verbessert haben, weil sie etwa von einer neuen Mathelehrerin unterrichtet wurden.

2. Soll-Ist-Vergleich

Soll-Ist-Vergleiche setzen die angestrebten Ziele mit den tatsächlichen Resultaten in Beziehung.

Beispiel 1: Du möchtest feststellen, ob sich der Prozentsatz der Jugendlichen, die direkt nach dem Schulabschluss einen Ausbildungsplatz finden, wie erhofft entwickelt hat.

Im ersten Jahr hat das Projekt seine Ziele nicht erreicht (Projektjahr 1, erste Zeile). Du könntest also erwägen, Projektinhalte und -abläufe zu optimieren.Gleichzeitig solltest du überlegen, ob die Ziele zu ambitioniert waren und ggf. angepasst werden müssen. Hier kann ein Vergleich mit ähnlichen Projekten hilfreich sein.

Nachdem im zweiten Jahr der Soll-Wert erreicht wurde (zweite Zeile), ist die Übergangsquote im dritten Jahr wieder gesunken (dritte Zeile). Kein Grund zur Unruhe, aber zur Aufmerksamkeit.Die Gründe für das Verfehlen der Ziele können innerhalb oder außerhalb des Projekts liegen: Gab es einen Qualitätsverlust? Haben sich Bedarfe verändert, auf die reagiert werden sollte? Hat die Zahl der angebotenen Lehrstellen in der Region abgenommen?

Hilfreich kann hier auch ein Blick auf den Problembaum sein.

Beispiel 2: Du möchtest ermitteln, wie zufrieden die Pat*innen mit den Patenbetreuer*innen sind.

40 Prozent der Pat*innen sind mit der Betreuung unzufrieden (Spalten 3+4). Auch ohne expliziten Soll-Wert ist das zu hoch.Woran kann die Unzufriedenheit liegen? Lässt sich herausfinden, ob es sich zum Beispiel um Pat*innen handelt, die in ein- und derselben Patengruppe sind? Was kann getan werden, um deren Zufriedenheit zu steigern?

Beispiel 3: Du möchtest die Erwartungen der Teilnehmenden und Pat*innen mit den tatsächlich erreichten Ergebnissen vergleichen.

3. Vergleiche zwischen verschiedenen Projektkonzepten

Ein Projekt lässt sich meistens auf verschiedenen Wegen realisieren. Vergleicht man diese verschiedenen Wege miteinander, lässt das auch Rückschlüsse auf die Erfolgsfaktoren zu.Wurde etwa das Projektkonzept nach einer ersten Evaluation geändert, können die Ergebnisse der ersten Evaluation mit denen der zweiten Evaluation verglichen werden: Welche Veränderungen haben zu anderen bzw. besseren Resultaten geführt?

Beispiel: Festgestellt werden soll, ob die Jugendlichen, die zusätzlich zu der Patenschaft noch ein Bewerbungstraining hatten, mehr Erfolg bei der Lehrstellensuche haben.

Mögliche Schlussfolgerungen: Das zusätzliche Bewerbungstraining scheint einen positiven Effekt auf die Übergangsquote zu haben. Ein Gefühl, dass das so sein könnte, hatten die Projektverantwortlichen schon vorher. Die Daten bestätigen diese Vermutung nun.

Wenn zunächst unklar klar ist, welchen Faktoren bei der Analyse tatsächlich relevant sind, ist Spürsinn gefragt:

Im Beispiel von PAFF wurde beschlossen, die Nachhilfe durch ausgebildete Lehrkräfte zu bewerkstelligen anstatt, wie zuvor, durch Studierende.

4. Vergleiche zwischen Zielgruppen

Hilfreich sein kann auch die Differenzierung nach verschiedenen Zielgruppen bzw. Unterzielgruppen.

Beispiel: Es soll festgestellt werden, ob alle (Unter-) Zielgruppen wie geplant erreicht werden.

Mögliche Schlussfolgerungen: PAFF hatte während der Bedarfsanalyse Jugendliche mit Migrationshintergrund als Zielgruppe mit erhöhtem Förderbedarf identifiziert. Die Auswertung belegt, dass PAFF vor allem Jungen mit Migrationshintergrund erreicht, Mädchen mit Migrationshintergrund hingegen deutlich schlechter.

Hier ist nach den Gründen zu fragen: Spiegelt die Zahl die Verteilung und die Bedarfe in den derzeit betreuten Klassen wider? – Es kann ja durchaus sein, dass es in einer Jahrgangsstufe wenig Schülerinnen mit Migrationshintergrund gibt, die für die Teilnahme am Patenprojekt in Frage kommen. Oder muss überlegt werden, wie man gezielt bei dieser (Unter-) Zielgruppe eine Projektteilnahme fördern kann?

Tipp: Die Daten sind da. Und nun?

Wie man Daten geschickt und verständlich aufbereitet:

– Daten visualisieren: komplexe Botschaften pointiert vermittelt
– Daten visualisieren: für jede Botschaft das richtige Bild
– Datenvisualisierungstools im Überblick

5. Vergleiche zwischen Projekten/Benchmarking

Benchmarking ist eine besondere Form des Lernens zwischen Organisationen. Benchmark lässt sich übersetzen mit Maßstab oder Bezugsgröße. Mit Benchmarking ist ein kontinuierlicher Vergleich von Kosten, Resultaten oder Wirkungen mit vergleichbaren Projekten gemeint – eigener oder fremder. Benchmarking kann das gesamte Projekt umfassen oder, was sinnvoller ist, nur einen bestimmten Teilaspekt.

Von wenigen Ausnahmen abgesehen, wird es kaum ein Projekt geben, das sich mit überhaupt keinem anderen vergleichen lässt. Um ähnliche Projekte zu finden, helfen dir womöglich deine Rechercheergebnisse aus der Umfeldanalyse.

Tipp: Austausch suchen!

Halte die Augen gezielt nach Organisationen offen, die vergleichbare Projekte umsetzen. Vielleicht ergeben sich daraus Erkenntnisse, mit denen du deine eigenen Prozesse, Konzepte und Ergebnisse noch weiter verbessern kannst.

Willst du ein methodisch korrektes Benchmarking durchführen, wird das sehr schnell sehr aufwändig (und sprengt den Rahmen dessen, was wir hier vorstellen können). Wir möchten aber einen Grundgedanken aufgreifen: Benchmarking kann eine Orientierungshilfe für die eigene Weiterentwicklung sein, weil du es für das Mit- und Voneinanderlernen nutzen kannst.

Beispiel: Vergleich der Übergangsquoten in Ausbildung von drei Projekten

Mögliche Schlussfolgerungen: Der Vergleich mit zwei anderen Projekten ergibt, dass diese höhere Übergangsquoten erzielen als PAFF. Deswegen ist zunächst zu ermitteln, ob die Ansätze tatsächlich vergleichbar sind: Arbeiten alle Projekte in derselben Region bzw. in miteinander vergleichbaren Regionen? Ist das Ergebnis repräsentativ oder sticht der untersuchte Jahrgang durch besondere Ergebnisse heraus?

Im zweiten Schritt sucht PAFF den Austausch mit den anderen Projekten, um herauszufinden, was deren Erfolgsfaktoren sind und inwieweit sich diese adaptieren lassen, z. B. über zusätzliche Trainings, Praktiku*msangebote, eine längere oder intensivere Betreuung.

Tipp: Keine falschen Schlüsse!

In Analysen spielen häufig persönliche Grundannahmen und Wertevorstellungen hinein. So kann etwa die Entscheidung einer Jugendlichen, Friseurin zu werden, von jemandem, der einer akademischen Laufbahn einen höheren Wert beimisst, als unbefriedigendes Ergebnis gewertet werden. Solche Fehleinschätzungen lassen sich nie gänzlich vermeiden, aber es hilft, sie sich zu vergegenwärtigen.

Schon während des laufenden Projekts hast du dich regelmäßig mit deinen Mitstreitenden ausgetauscht und nach ihrem Befinden gefragt, um zeitnah auf Probleme und Reklamationen reagieren zu können.

Im Projektalltag bedeutet Lernen, dass du dich regelmäßig und kritisch mit den Ergebnissen aus der Wirkungsanalyse auseinandersetzt:Ob und inwieweit bewegt sich das Projekt (noch) in Richtung seiner angestrebten Wirkungsziele?

Eine Organisation, die Daten monitort und ihr Projekt evaluiert, aber die Ergebnisse weder hinterfragt noch aus ihnen lernt, läuft Gefahr zu stagnieren und wie bisher weiterzuarbeiten, auch wenn die erwünschten Wirkungen ausbleiben.

Lernen ist damit eine zentrale Voraussetzung für Qualität, Wirkung und Weiterentwicklung deines Projekts. Ohne Lernen keine Wirkung!

Wie wirkungsorientiertes Lernen in der Praxis aussieht, zeigen wir dir in den folgenden Abschnitten. Dabei gehen wir zunächst auf die Voraussetzungen ein, die es auf Organisationsebene braucht. Danach skizzieren wir, wie Lernen innerhalb einer Organisation sowie Lernen zwischen Organisationen funktionieren kann. Zuletzt erklären wir, woran du erkennst, dass sich dein Projekt in Schieflage befindet und was du dann tun kannst.

Um effektiv aus der Wirkungsanalyse lernen zu können, brauchst du nicht nur Daten, sondern auch ein lernförderndes Umfeld.

Ein solches umfasst …

Ein lernfreudiges Umfeld zeichnet sich dadurch aus, dass Lernanreize geschaffen werden und Informationen leicht zugänglich sind. Hierfür muss die Leitungsebene die notwendigen Ressourcen zur Verfügung stellen – in erster Linie ist das Zeit, die die Mitarbeitenden für gemeinsames Reflektieren benötigen.

Lernen verursacht aber auch Sachkosten, wenn zum Beispiel ein Wissensmanagementsystem aufgebaut werden soll oder externe ExpertInnen hinzugezogen werden.

Die Lernkultur sollte dabei Hand in Hand mit einer Fehlerkultur gehen. Das heißt, Fehler und Schwächen werden akzeptiert mit dem Ziel, daraus zu lernen und sich zu verbessern. In vielen Organisationen gelten Fehler als etwas, über das man nicht spricht. Diese Einstellung ist aber bereits der erste Fehler.

Fehlerkultur ist, wenn aus der Frage “Wie konnte das passieren?” kein Vorwurf entsteht, sondern ein Arbeitsauftrag. Die Mitarbeitenden müssen das Gefühl haben, zu Diskussionen ermutigt zu werden und offen sprechen zu können. Werden Fehler lediglich dafür benutzt, um Verantwortliche zu finden und abzustrafen, ist ein offener Austausch kaum möglich. In solchen Fällen werden die Mitarbeitenden Wirkungsanalysen als bloßes Kontrollinstrument empfinden.

Eine weitere Komponente, die Lernen fördert, ist eine Organisationsstruktur mit definierten Rollen und Verantwortlichkeiten:

Lernkultur bei PAFF

PAFF startete als kleines Projekt: Alle wussten alles. Mit der wachsenden Zahl der Pat*innen und Pat*innengruppenbetreuenden ändert sich das nun. Der Vorstand beschließt daher, regelmäßige Workshops zu veranstalten, in denen die Beteiligten ihr Wissen austauschen. Zugleich benennt er einen Verantwortlichen, der den Know-how-Transfer im Blick behält. Dieser dokumentiert Protokolle, Unterlagen und Beschlüsse im Intranet und sendet regelmäßig Info-Mails an alle Mitarbeitenden.

Die Pat*innen werden ermutigt, auch von Misserfolgen zu berichten und diese in der Gruppe zu diskutieren. Zu Beginn der Treffen erzählt jede*r kurz, was ihn oder sie bewegt. Dabei werden die Punkte: “Das hat mich besonders gefreut. / Das hat besonders gut geklappt.” und “Hier war ich unzufrieden. / Das hat nicht geklappt. / Hier gab es Probleme. / Eine Herausforderung für mich ist …” thematisiert. Auf diese Weise entsteht eine Kultur des von- und miteinander Lernens.

Die schnellste, beste und meistens unaufwändigste Möglichkeit, um mit- und voneinander zu lernen, sind regelmäßige Treffen. Wie oft ihr euch trefft und mit wem, ist abhängig davon, was die Daten aus der Wirkungsanalyse ergeben – und auch davon, welche Aspekte du konkret diskutieren möchtest. Lernrunden kannst du sowohl auf Basis der Monitoringdaten einberufen als auch auf Grundlage von Evaluationsergebnissen.

Lernrunden auf Basis von Monitoringdaten sollten regelmäßig stattfinden, schließlich liegen dir auch regelmäßig neue Daten vor, die ausgewertet sein wollen. Bei diesen Treffen geht es vor allem darum, das laufende Projekt anhand der Monitoringdaten und gemachter Erfahrungen zu diskutieren – am besten im Team.

Mit Blick auf die Monitoringdaten helfen dir folgende Fragen:

Lernrunden auf Grundlage von Evaluationen finden in deutlich größeren Abständen statt. Da sich eine Evaluation mit Ursachen und Zusammenhängen auseinandersetzt, ermöglicht dies auch tiefergehende Diskussionen und Lernprozesse. Beim Lernen aus Evaluationsergebnissen beschäftigst du dich nicht nur damit, ob deine Aktivitäten im Plan sind, sondern stärker auch mit dem Plan selbst.

Du kannst Schlussfolgerungen und Handlungsempfehlungen für die künftige Ausrichtung besprechen und zugleich die Wirkungsziele und die Wirkungsanalyse selbst in den Fokus rücken:

Als Diskussionsgrundlage für weitergehende Debatten benötigst du aggregierte Ergebnisse, etwa Projektabschlussberichte.

Mögliche Fragen, denen ihr gemeinsam nachgehen könnt:

Regelmäßiges Reflektieren und Lernen sind vor allem für das Projektteam relevant – denkbar ist aber auch, externe Stakeholder einzubeziehen. Stakeholder einzubeziehen ist durchaus angebracht. Erstens bringen diese verschiedene Erfahrungen und Sichtweisen ein, was sich wiederum günstig auf den Lernprozess auswirkt.

Vor allem aber geht es darum, deren Erwartungen einzufangen und sie dazu zu bringen, etwaige Projekt- und Zielanpassungen mitzutragen (und zu finanzieren). Wer deine Stakeholder sind, hattest du in der Bedarfs- und Umfeldanalyse ermittelt.

PAFF: Zu wenig Zeit? Mehr Pat*innen!

PAFF wertet in regelmäßigen Treffen aktuelle Monitoringdaten aus, gleicht diese mit Erfahrungswerten ab und zieht daraus Rückschlüsse. Die Auswertung ergibt, dass die Nachfrage nach Patenschaften zunimmt, zugleich aber die Zufriedenheit der Jugendlichen mit der Betreuungsqualität sinkt.

Als Ursache nennen einige Pat*innen eine zeitliche Überforderung: Sie sind angehalten, interessierten Jugendlichen Schnupperstunden zu ermöglichen, nur fehlt diese Zeit dann für die Arbeit im Projekt. Gemeinsam überlegt die Gruppe, wie sich dieses Dilemma beheben lässt. Sie gelangt zu dem naheliegenden Schluss, dass zusätzliche Pat*innen gewonnen werden müssen, um die Nachfrage zu befriedigen.

Monitoring- und Evaluationsergebnisse können nicht nur für das Lernen innerhalb einer Organisation genutzt werden. Sie dienen auch für einen Austausch zwischen verschiedenen Organisationen, insbesondere zwischen Organisationen, die ähnliche Projektansätze verfolgen oder sich an die gleichen Zielgruppen richten.

Der Austausch kann dabei helfen, wesentliche Erfolgs- und Qualitätskriterien für deine Zielgruppe zu definieren, aber auch verdeutlichen, welche Erwartungen und Ziele realistisch sind. Nebenbei identifizierst du womöglich Angebotslücken, die du mit passenden Angebote füllen kannst?

Die beste Art des gemeinsamen Lernens liegt im persönlichen Austausch. Aber natürlich es ist auch möglich, indirekt von anderen zu lernen – vorausgesetzt, alle Beteiligten berichten transparent über ihre Arbeit, über Ergebnisse und Erfahrungen. (Hierzu mehr im Abschnitt “Über Wirkung berichten”.)

Bei der Wirkungsanalyse ging es darum, Erkenntnisse zu gewinnen, die dir helfen, das Projekt noch besser in Richtung der Wirkungsziele steuern zu können. Im nächsten Schritt kommt es darauf an, ins Tun zu kommen und die Erkenntnisse in die Praxis umzumünzen. Das Einleiten konkreter Handlungsschritte bildet zugleich den Abschluss wirkungsorientierter Steuerung.

Aber Achtung: Abschluss ist hier nicht als tatsächliches Ende zu verstehen! Mit der Anpassung von Prozessen, Aktivitäten und Zielvorgaben beginnt ein neuer Kreislauf, in dessen Verlauf die Aktivitäten und Ergebnisse wiederum überprüft, untersucht und angepasst werden – denn nur durch immer wiederkehrendes Planen, Überprüfen und Anpassen kommst du deinen Zielen näher.

Ein probates Hilfsmittel für das strukturierte Lernen und Umsetzen ist der Action Learning Cycle:

Du kannst den Action Learning Cycle für das gesamte Projekt wie auch für einzelne Projektbausteine anwenden, etwa Seminarmodule oder Veranstaltungen. Prinzipiell kann der Lernzyklus an jedem der vier Punkte beginnen.

Wenn du die Ergebnisse verschriftlichst, hast du hinterher Projekt- und Erfahrungsbericht in einem. Dieses Dokument kannst du für Änderungen im laufenden Projekt oder auch für Nachfolgeprojekte heranziehen.

Drei Hinweise noch zur Umsetzung:

PAFF vergrößert das Angebot

Bei PAFF findet ein jährliches Strategietreffen statt, in dem es um die Erhebung und Auswertung der Monitoringdaten geht. Neben der Projektleitung sind auch Pat*innen, Teilnehmende und Geldgebende eingeladen. Die Gruppe bespricht, inwieweit die gesetzten Ziele erreicht wurden und was sich noch verbessern ließe.

Am Ende ist sich das Plenum einig, den Schwerpunkt auf zusätzliche Bewerbungstrainings zu legen und ein entsprechend größeres Angebot an Coachings zu schaffen.

Fast jedes Projekt gerät irgendwann ins Stottern und braucht kleinere Kurskorrekturen, um wieder ins Laufen zu kommen. Solche Anpassungen liegen in der Natur der Sache und sind kaum der Rede wert. Wirklich gefährlich wird es aber, wenn Stillstand droht, denn das gefährdet nicht nur die Wirkungsziele, sondern auch die investierten Projektmittel und die Motivation aller Beteiligten.

Es gibt viele Symptome und Warnsignale, die solche Krisen ankündigen:

Diese Aspekte stellen natürlich keine erschöpfende Auflistung dar. Und häufig gibt es auch nicht nur einen Grund, der für die Schieflage eines Projekts verantwortlich ist, sondern eine ganze Kette von Entwicklungen. Aber wenn eines oder mehrere der obigen Warnsignale aufleuchten, solltest du rasch und nachdrücklich aktiv werden.

Je früher ihr euch im Team mit den Ursachen für die Krise auseinandersetzt, desto besser sind die Aussichten, das Projekt wieder auf Kurs zu bringen. Voraussetzung hierfür sind absolute Ehrlichkeit, ein nüchterner Realitätssinn und Kenntnisse zum IST-Zustand des Projekts. Erst, wenn ihr die Gründe für die Krise kennt, ein Bild über die aktuelle Situation besitzt und außerdem Optionen abwägen könnt, werden ihr auch Lösungsansätze finden.

Die anschließende Intervention solltest du ebenfalls bewusst planen:

Wenn du mithilfe der Wirkungsanalyse festgestellt hast, dass dein Projekt wirkt, kann eine Verbreitung – eine sogenannte Skalierung – in andere Regionen dazu beitragen, noch mehr Menschen zu erreichen und dadurch auch noch mehr Wirkung zu erzielen.

Indem du dein Projekt und deine Erfahrungen mit Dritten teilst, trägst du erheblich zur Stärkung des gemeinnützigen Sektors bei! Heute investierst du – morgen profitierst du womöglich davon, dass andere dich an ihrem Wissen teilhaben lassen.

Tipp: Wissen teilen, Projekte verbreiten

Äußerst wertvolle Hilfe für Stiftungen und Projekte, die über eine Verbreitung wirksamer Ideen und Lösungsansätze nachdenken, bietet der Leitfaden “Gemeinsam wirken – Auf dem Weg zu einer wirkungsvollen Zusammenarbeit” der Bertelsmann Stiftung.

Kleiner Exkurs: Gemeinsam Wirken

Wenn verschiedene Akteure miteinander arbeiten, kann daraus etwas sehr wertvolles entstehen – für die beteiligten Partner*innen sowieso, aber auch für die Zielgruppen und die gesamte Gesellschaft. Voraussetzung dafür ist, dass die Organisationen wirklich gemeinsam wirken – also nicht nur irgendwie miteinander kooperieren, sondern zielgerichtet, systematisch und gegebenenfalls sogar sektorübergreifend mit anderen Akteuren darauf hinarbeiten, zusammen ein soziales Problem zu beheben.

Der Ansatz des Gemeinsamen Wirkens stammt aus den USA, wo er als Collective Impact bekannt ist. Er folgt der Idee, dass komplexe gesellschaftliche Aufgaben sich nur bewältigen lassen, wenn alle systemrelevanten Akteuren aus Politik, Wirtschaft und Zivilgesellschaft zusammenarbeiten.

Das Konzept setzt darauf, dass sich Akteure aus unterschiedlichen Bereichen vernetzen und verbindlich auf gemeinsame Ziele einigen, um durch die Zusammenarbeit die Wirkung zu vervielfachen.

Auch in Deutschland gibt es auf lokaler Ebene inzwischen viele erfolgreiche Projekte, bei denen unterschiedliche Akteure an einem Strang ziehen, etwa im Bereich der Flüchtlingshilfe. Ausführlich beschrieben wird das Konzept im oben genannten Ratgeber der Bertelsmann Stiftung.

Verbreitungsmethoden

Wenn es darum geht, möglichst viele Menschen mit deinem Projekt zu erreichen, können unterschiedliche Wege zum Ziel führen: Du kannst ein Handbuch erstellen und es kostenlos ins Internet stellen, du kannst das Projekt über Kooperationsverträge an Partner*innen weitergeben oder du transferierst es selbst in andere Regionen.

Welche Strategie die richtige ist, findest du anhand der folgenden Fragen heraus:

Tipp: Standards

Die Bedingungen in anderen Regionen werden vermutlich von der Situation bei Ihnen vor Ort abweichen. Wägen Sie gut ab, welche Qualitätsstandards unabdingbar sind und welche nicht. Im Allgemeinen gilt: Je einfacher und standardisierter ein Projekt ist, desto eher eignet es sich für eine Verbreitung.

Wenn Sie Ihr Projekt durch Wissenstransfer verbreiten, heißt das, dass Sie Ihr Projektkonzept anderen Organisationen frei zur Verfügung stellen. Diese setzen das Konzept dann eigenverantwortlich in vergleichbarer Form bei sich vor Ort um; Sie selbst beraten die Projektnehmenden allenfalls bei der Implementierung.

Diese Form der Skalierung ist im gemeinnützigen Sektor stark verbreitet. Sie ist kostengünstig und ermöglicht eine schnelle Verbreitung und optimale Anpassungsmöglichkeiten des Konzepts an lokale Gegebenheiten. Dafür bietet sie den Projektgebenden aber kaum Kontrollmöglichkeiten.

Sie können Ihr Projekt auch mittels Kooperationsverträgen weitergeben. Unterschieden werden vier Vertragstypen: Weitergabe innerhalb von Netzwerkverbänden, Lizenz-, Social-Franchise- oder Joint-Venture-Verträge.

Die Verträge regeln gegenseitige Rechte und Pflichten, z.B. die Bereitstellung von Ressourcen und Know-how durch die projektgebende Organisation oder Berichtspflichten, Lizenzkosten und Qualitätsstandards für diejenigen, die das Projekt umsetzen.

Bei Kooperationen mittels Verträgen kann die projektgebende Organisation stärker gestalten, gleichzeitig erfordert die Kooperation standardisierte Abläufe, die häufig kostenintensiv sind und weniger Spielräume für lokale Anpassungen lassen.

Ein Projekt zu verbreiten muss nicht zwangsläufig bedeuten, dass Sie Ihren Ansatz weitergeben. Vielleicht möchten Sie die Wirksamkeit Ihres Projekts in einer Region vergrößern, in der Sie bereits tätig sind, und zwar ohne gleich an eine überregionale Verbreitung zu denken.

Viele Projekte tun genau das: regional wachsen – also zunächst an einem Standort – und bestehende Prozesse und Strukturen optimieren, sodass mit der gleichen Menge an Ressourcen mehr Menschen erreicht werden. Um erst, wenn das funktioniert, kontrolliert ins Überregionale zu wachsen. Dieses Vorgehen birgt ein hohes Maß an Kontroll- und Gestaltungsmöglichkeiten.

Um mehr Menschen auch in anderen Regionen zu erreichen, können Sie auch Filialen Ihrer Organisation an anderen Standorten eröffnen. Eine strategische Ausdehnung eines Projekts kann auch bedeuten, dass Sie Ihre Aktivitäten auf andere Zielgruppen ausdehnen oder um ergänzende Angebote erweitern.

Unabhängig davon, für welche Verbreitungsmethode Sie sich entscheiden, ist eines ganz wesentlich: Die Haltung, mit der Sie dabei zu Werke gehen.

Projekte zu verbreiten bedeutet häufig auch, sich öffnen zu müssen, auf andere Akteur*innen zuzugehen und das eigene Interesse nicht über die Interessen anderer zu stellen.

Im Falle einer Kooperation etwa erfordert eine auf beiderseitigen Gewinn ausgerichtete Zusammenarbeit, sowohl den eigenen Vorteil als auch den der Partnerorganisation im Blick zu behalten – also die jeweiligen Wünsche angemessen zu berücksichtigen, ohne dabei die Wirkungsziele im Ganzen oder zentrale Qualitätsstandards aus den Augen zu verlieren.

Natürlich ist das ein Balanceakt, der nicht nur Qualitäten im Projektmanagement erfordert, sondern auch reichlich diplomatisches Geschick. Genauso wahr ist aber auch, dass gelungene Kooperationen erheblich zum Renommee aller Beteiligten beitragen. Organisationen, die gemeinsam mit anderen komplexe Projekte bewältigen, schärfen ihr Profil und machen sich gegenüber potenziellen GeberInnen attraktiv.

PAFF: Skalierung per Handbuch

Der Erfolg von PAFF spricht sich herum, denn erfolgreiche Lösungen gegen Jugendarbeitslosigkeit sind auch andernorts gefragt. Mehr und mehr Kooperationsanfragen landen bei PAFF.

Gemeinsam mit dem Vorstand überlegt die Projektleitung, wie sie mit den Anfragen umgeht: Einerseits soll PAFF in möglichst vielen Regionen eigenständig angeboten werden, andererseits ist dem Vorstand wichtig, die Qualität sicherzustellen.

Mangels Zeit und Geld entscheidet sich der Vorstand dafür, ein ausführliches Handbuch zu schreiben, mithilfe dessen er das Wissen weitergibt. Hierfür kommen ihm vor allem die Ergebnisse aus der Wirkungsanalyse zupass, in der die wichtigsten Erfahrungen und Qualitätsaspekte dokumentiert sind.

In der Folge wird das Projekt PAFF nun auch von anderen Organisationen und an anderen Orten angeboten. Einmal jährlich treffen sich alle “Franchise”-Partner*innen mit dem PAFF-Team zum Erfahrungsaustausch. Das Wissen wird dokumentiert und allen Interessierten zur Verfügung gestellt.

Nach Abschluss deines Projektes blickst du zurück und berichtest nun ausführlicher. Je nachdem, mit wem du sprichst, wirst du die Inhalte und die Art, wie du berichtest, unterscheiden. Einigen Gesprächspartner*innen reichen ein paar allgemeine Infos – und andere wollenausführlich wissen, welche Stolpersteine und neuen Erkenntnisse es gab.

Über die Ergebnisse deiner Projektarbeit solltest du sachlich korrekt und je nach Zielgruppe etwas detaillierter berichten. Das Kommunizieren über dein Projekt hilft dir nicht nur dabei, zu lernen und Verbesserungen anzustoßen. Vielmehr legitimierst du damit deine Arbeit – gegenüber Geldgebenden ebenso wie gegenüber der Öffentlichkeit.

Manche Projekte scheuen den Weg an die Öffentlichkeit, weil ihnen die Mittel und/oder Kompetenzen fehlen, weil sie fürchten, dass ihre Ergebnisse nicht gut genug sind oder weil sie die Projektarbeit als wichtiger erachten.

So nachvollziehbar diese Motive jeweils sind, widersprechen sie jedoch dem Verständnis wirkungsorientierter Projektarbeit:

Die Öffentlichkeit etwa kann nur dann ein Verständnis für die Arbeit deiner Organisation (und des gemeinnützigen Sektors) entwickeln, wenn sie entsprechend informiert wird – zumal sie auch ein Anrecht hat, zu erfahren, was steuerbegünstigte Organisationen eigentlich so tun.

Aber auch innerhalb des Sektors zahlt sich Transparenz aus, weil sie anderen Akteuren ermöglicht, sich an dir bzw. deinen Projekten zu orientieren.

Mit Blick auf Fundraising und Kooperationen erwarten potenzielle Partner*innen und Spender*innen zumindest Basisinformationen, wenn nicht gar weiterführende Belege, für eine qualitativ hochwertige Arbeit.

Transparenz macht Fehlentwicklungen sichtbar und bringt dich dazu, dich regelmäßig mit den eigenen Zielen und Wirkungen auseinanderzusetzen und gegebenenfalls umzusteuern.

Zumal: Wenn die haupt- oder ehrenamtlichen Mitarbeitenden wissen, wofür sie sich einsetzen, welche langfristigen Ziele sie gemeinsam anstreben und was sie mit ihrem Engagement eigentlich bewirken, stärkt das ihre Identifikation und Motivation. Damit steigerst du unmittelbar die Qualität deiner Arbeit!

Hinzu kommt: Transparenz ist ein gesellschaftlicher Trend. Befeuert durch regelmäßige Skandale, werden weniger transparent arbeitende Organisationen von Medien und Öffentlichkeit kritischer betrachtet als je zuvor. Trete dem Generalverdacht entgegen, etwas verbergen zu wollen! Und verbinde deine Offensive mit dem Nützlichen, indem du mit Fakten und Begeisterung über deine Arbeit informierst.

In diesem Sinne umfasst wirkungsorientierte Kommunikation deutlich mehr als reine Projekt- und Sachstandsberichte. Wirkungsorientierte Kommunikation heißt vor allem, die Öffentlichkeit zu suchen und über Erfolge und Gelerntes zu berichten.

Da deine Organisation vermutlich mit steuerlich begünstigten Mitteln arbeitet, ist es wichtig, dass du mit deiner Arbeit für Akzeptanz wirbst. Und schließlich können andere Akteure nur dann von deinen Erkenntnissen profitieren, wenn sie entsprechend informiert werden.

Dem geht natürlich voraus, dass deine Organisation abhängig von ihrer Größe und davon, wie offensiv du dich in der Öffentlichkeit platzieren möchtest, ausreichend Ressourcen für die externe Kommunikation einplant. Wenn du das nicht kannst, weil dir ohnehin nur sehr begrenzte Mittel zur Verfügung stehen, konzentriere dich auf ein bis zwei Kommunikationskanäle, deine Kernbotschaften und wesentliche Informationen.

Selbstverpflichtungen

In der Sozialbranche existieren verschiedene Selbstverpflichtungen. Eine davon ist die “Initiative Transparente Zivilgesellschaft” von Transparency International. Auf der Website findest dueine Anleitung, welche Inhalte du auf eurer Website transparent darstellen solltest.

Um angemessen über die Wirkung deines Projekts berichten zu können, benötigst du eine Strategie, was und an wen du kommunizieren möchtest.

Sofern du verschiedene Adressat*innen ansprichst, erfordert das häufig unterschiedliche Berichtsformen und -formate. Du kannst den informellen Weg wählen, also Telefon, Fax, E-Mail, Gespräche oder den Austausch in einer Gruppe, oder aber auf ganz formelle Formate setzen, wie Präsentationen, Jahresberichte oder Rechenschaftsbelege.

Je nach Ziel und Adressat*innen kann es auch sinnvoll sein, verschiedene Formate zu kombinieren: Du könntest etwa deinen umfangreichen Jahresbericht auf LinkedIn mittels einer Infografik anteasern, deine Wirkungsbelege auf der Website aktualisieren und eine aussagekräftige Pressemitteilung an die lokalen Medien verschicken.

Wir können an dieser Stelle nur sehr grob skizzieren, wie du dich der Sache annähern kannst; alles andere würde den Rahmen sprengen. Aus der Praxis möchten wir dir aber drei Erkenntnisse mitgeben.

So berichtet PAFF

Über diese Formate und Kanäle erreicht PAFF seine Stakeholder:

– Pat*innen: Mails, Intranet
– Jugendliche: Social Media, gemeinsame Treffen
– Eltern: zweisprachiger Elternbrief, Elternabend
– Geldgebende: regelmäßiger Zweiseiter “PAFF News”, individuelle Berichte nach den Wünschen der Geldgebenden
– Regionale Presse: regelmäßige, anlassbezogene Pressemitteilungen, Einladungen zu wichtigen – Ereignissen
– Kooperierende Organisationen: regelmäßiger persönlicher Austausch
– Öffentlichkeit: Webseite, Press

Wie oft du berichtest, hängt vom Einzelfall ab. Geldgebende üben einen anderen Druck aus als ein Vereinsvorstand, der zum Quartalsende relevante Ergebnisse braucht. Wichtig ist nur, dass du dir diese Abläufe vergegenwärtigst, da diese erheblichen Einfluss darauf haben, wann du Daten erheben und auswerten musst.

Berücksichtige bitte auch, welche Ergebnisse sich realistischerweise kommunizieren lassen: Über erbrachte Leistungen (Outputs) kannst du meist schnell und zeitnah berichten, bei Wirkungen dagegen oft erst nach erheblicher Zeit.

Was du in allen Berichten und kommunikativen Maßnahmen berücksichtigen solltest: worin eigentlich dein Alleinstellungsmerkmal (USP) besteht. Was macht deine Organisation so besonders? Was machst du anders als andere, worin bist du richtig gut und wieso? – Wenn du das hinreichend plausibel und für Außenstehende verständlich darlegen kannst, ist viel gewonnen.

Im nächsten Schritt geht es darum, wie du die durch deine Arbeit erzielten Wirkungen adressat*innengerecht kommunizierst.

Wirkungstransparent über ein Projekt zu berichten heißt, Bedarfe, die Zielgruppen, die Angebote und die Wirkungen des Projekts in einen logischen und verständlichen Zusammenhang zu bringen.

Aufbauend auf der Projektskizze sollte der Bericht folgende Fragen beantworten:

Ein stimmiges Gesamtbild ergibt sich nur, wenn Kennzahlen mit qualitativen Aussagen verknüpft werden. Denn Mittelverwendungsnachweise, Teilnehmendenlisten oder die Anzahl durchgeführter Veranstaltungen allein sagen nichts darüber aus, welche Wirkung das Projekt erzielt hat!

Gelegentlich wird es vorkommen, dass einzelne Aspekte zutage treten, die du nicht kommunizieren willst, “unerwünschte Wirkungen” etwa. Natürlich kannst du diese zurückhalten, wir möchten aber dafür werben, dass du – wenigstens in Teilen– in angemessenem Umfang auch über unerfreuliche Ergebnisse berichtest.

Neues entsteht erst durch das Lernen aus Fehlern, und indem du Fehlerkompetenz beweist, ermöglichst du Dritten, aus deinen Erfahrungen zu lernen. Wenn im Detail doch zu sehr der Teufel steckt, könntest du vielleicht über grundlegende Erkenntnisse und Fehlannahmen berichten…

Ein gutes Werkzeug für die Berichterstattung zur Wirkung deines Projekts ist der Social Reporting Standard, kurz: SRS. Der SRS ist kostenfrei und bildet auf wenigen Seiten sowohl die Eckdaten zum organisatorischen Rahmen (Organisationsführung, Finanzen etc.) als auch Informationen über Angebote, Zielgruppen und erreichte Wirkungen ab.

Er erleichtert nicht nur das Reporting über das laufende Geschäft, sondern kann auch in Strategieprozessen oder zu kommunikativen Zwecken eingesetzt werden, etwa im Fundraising. Parallel unterstützt er Organisationen dabei, sich qualitativ weiterzuentwickeln (Stichwort: Lernkultur!) und erlaubt, verschiedene Projekte miteinander zu vergleichen.

Als praktisches Nachdenkformat und Strukturierungshilfe fragt der SRS konsequent nach der eigenen Wirksamkeit:

Versuche beim Schreiben eine gute Balance zwischen Fakten & Unterhaltung sowie zwischen Herz & Verstand zu bieten. Emotional ansprechend wirken beispielsweise Erfolgsstorys von Zielgruppen des Förderprojekts. Hier kannst du etwa aus Sicht von Teilnehmenden darstellen, inwiefern ihnen das Projekt konkret geholfen hat.

Sofern du über ein Kooperationsprojekt berichtest, ist es erforderlich, die Partner*innen frühzeitig und dauerhaft in deine Kommunikation einzubinden bzw. diese kommunikativ zu unterstützen. Bemühe dich, gemeinsam mit den Projektverantwortlichen die Ergebnisse des Projekts zu analysieren und zu pointieren.

Das muss nicht zwingend in eine Evaluation münden; ein Abschlussbericht ist ein probates Mittel, sofern er die verschiedenen Perspektiven der Zielgruppen, Kooperationspartner*innen und Mitarbeitenden einbezieht. Wesentlich ist, dass nicht nur die Mittelverwendung, sondern vor allem auch die Resultate und die Erkenntnisse dokumentiert werden. Ein geeignetes Instrument hierfür ist der bereits erwähnte Social Reporting Standard.

Checkliste: Kriterien für gute Berichte

Wünschenswert ist natürlich, dass du darüber hinausgehende Informationen bietest:

Wer bist du und was willst du?

Wofür gibt du dein Geld aus?

Vor allem Geldgebende wollen wissen, wofür Mittel verwendet werden. Unbedingt notwendig ist es also, die Einnahmequellen und Verwendungszwecke leicht nachvollziehbar aufzulisten – etwa in einem Jahresabschluss bzw. einer Einnahmen-Überschuss-Rechnung (abhängig von der Größe der Organisation). Sinnvoll ist auch, wenn du einen Vergleich ermöglichst, indem du beispielsweise Jahresabschlüsse aus Vorjahren anbietest.

Wie wirkt deine Organisation?

Neben den formalen Transparenzkriterien, die einen Überblick über die Arbeitsabläufe und die Leistungsfähigkeit deiner Organisation ermöglichen, kommen dann die Wirkungen ins Spiel:

Wirkungsorientiertes Arbeiten macht die Welt ein bisschen besser. Die große Welt der Zielgruppen ganz bestimmt, die kleine Welt in deinem Projekt mit Sicherheit. Gewiss, Wirkungsorientierung erfordert Aufwand. Dafür verspricht sie aber auch reichlich Ertrag. Denn welche Wirkung eine Organisation oder ein Projekt erzielen möchte, auf welche Aspekte wirkungsorientierten Arbeitens sie sich konzentriert, wie sie ihre Wirkung feststellt, kann jeder für sich selbst bestimmen.

Entscheidend ist vielmehr deine Haltung: Wirkungsorientiertes Arbeiten heißt, einen Prozess zu starten, der weit über das bloße sich Engagieren hinausreicht, und der von Anfang an und ganz bewusst Wirkung mitdenkt: sie plant, erfasst, analysiert, sie in einen Kontext einbettet und aus den Ergebnissen lernt.

Diesem Verständnis folgend, entfaltet Engagement dann die größte Wirkung, wenn man es wie eine Investition behandelt:

Wer auf diese Fragen Antworten findet, legt die Basis für wirkungsvolle und glaubwürdige Projektarbeit.

Dank ihrer implementierten Fehler- und Lernkultur trägt eine wirkungsorientierte Arbeitsweise unmittelbar dazu bei, dass Mitarbeitende und Projektpartner*innen deutlich motivierter sind. Dieser Effekt ist nicht zu unterschätzen, denn die intrinsische schlägt die extrinsische Motivation um Längen.

Voraussetzung ist allerdings, dass Wirkungsorientierung nicht von oben verordnet wird – sie soll Lust sein, nicht Last. Es kommt darauf an, alle Mitarbeitenden von Anfang an und dauerhaft so einzubinden, dass sie sich als Teil eines Ganzen begreifen.

Einen Sack Flöhe zu hüten scheint manchmal leichter zu sein, als alle Beteiligten in und außerhalb des Projekts unter einen Hut zu bringen. Dennoch ist genau das für die wirkungsorientierte Arbeit entscheidend. Denn nur wer die Bedürfnisse und Erwartungen der Stakeholder kennt, kann diese berücksichtigen und bedienen.

Natürlich bieten die auf dieser Seite vorgestellten Tipps keine Garantie dafür, dass du erfolgreich arbeiten wirst. Sehr wohl aber bilden sie den Nährboden, aus dem eine erfolgreiche und wirksame Projektarbeit erwachsen kann.

Zum Weiterlesen und Vorausdenken:

Wenn du testen möchtest, wie wirkungsorientiert du schon arbeitest, befrage das Wirkometer. Das Tool stellt 20 Fragen und gibt dann Auskunft, an welcher Stelle du stehst.

Beim SKala-CAMPUS findest du außerdem vertiefende interaktive Kurse, verschiedene Weiterbildungen, Praxisartikel sowie individuelle Angebote rund um das Thema Wirkung für deine Organisation.