Dachevaluation der Strategieperiode 2013 bis 2018
Ausgangslage
Im Zentrum der Evaluation der GDA stand periodenübergreifend die Frage nach der Wirksamkeit und Effizienz des "Strategiemodells GDA" mit seinen drei Elementen:
- abgestimmte Beratung und Überwachung der Betriebe
- praxisnahe und kohärente Regelsetzung
- Ausrichtung der Präventions- und Überwachungsaktivitäten an gemeinsamen Arbeitsschutzzielen und Arbeitsprogrammen
Mit der Dachevaluation der ersten Strategieperiode (2008 – 2012) wurden Wirksamkeit und Effizienz der GDA erstmalig untersucht. Die Ergebnisse dieser Evaluation stellen den Ist-Zustand der GDA im Sinne einer "Nullmessung" dar.
Methodik
Die Dachevaluation 2013 - 2018 untersuchte die Aktivitäten und Ergebnisse der GDA während der zweiten Periode und beleuchtete Veränderungen und Entwicklungen im Laufe der Zeit. Wie auch bei der Evaluation der ersten Periode wurden Erhebungen zu Umfang und Qualität der Kooperation mit Dritten sowie zur Akzeptanz des institutionellen Arbeitsschutzes (Handeln der Aufsichtsdienste und des Gesetzgebers) bei den Zielgruppen (Beschäftigten und Arbeitgebern) durchgeführt.
Das Evaluationskonzept der ersten Periode wurde dafür weiterentwickelt. Die bisherigen fünf Zielebenen des Evaluationskonzeptes der ersten Periode wurden stärker integriert und zu drei Zielebenen gebündelt, um Verzahnungen und Wechselwirkungen der verschiedenen GDA-Zielebenen besser zu erfassen. Folgende drei Zielebenen waren Grundlage der Evaluation:
- Beiträge zu den Arbeitsschutzzielen
- Wirksamkeit und Akzeptanz des institutionellen Arbeitsschutzes einschließlich des Vorschriften- und Regelwerkes
- Zusammenarbeit der Träger untereinander und mit Dritten
Die Evaluation der GDA-Arbeitsprogramme 2013 - 2018 war nicht Aufgabe der Dachevaluation. Deren Evaluationsergebnisse wurden jedoch bewertet und flossen in die Dachevaluation mit ein.
Eine wesentliche Neuerung der Evaluation der zweiten Periode ist, dass den geplanten GDA-Aktivitäten grundsätzlich Wirkungshypothesen zu einer schrittweisen Erreichung der Ziele zu Grunde gelegt werden. Basis der Untersuchung ist die Methode des Prozessorientierten Wirkungsmonitorings (PWM).
Prozessorientiertes Wirkungsmonitoring (PWM)
Über das PWM konnten kausale Zusammenhänge zwischen den Leistungen der GDA und ihren unmittelbaren Ergebnissen plausibel dargestellt werden. Dazu wurden Wirkungsketten aufgestellt und anhand von (Nutzungs-)Hypothesen intermediäre Zielkategorien (und Indikatoren für diese Schritte der Wirkungsketten) bestimmt, auf die die Maßnahmen unmittelbaren oder mittelbaren Einfluss hatten.
Abbildung: Das PWM-Wirkungsmodell
Die Schritte der Wirkungsketten sind wie folgt definiert:
Inputs: Aktivitäten und Leistungen der GDA-Akteure (Träger und Kooperationspartner), z. B. in GDA-Arbeitsprogrammen, bei denen die zugewiesenen finanziellen, personellen und materiellen Ressourcen genutzt werden, um die Generierung von Output vorzubereiten.
Outputs: abgeschlossene, d. h. für die Zielgruppen erbrachte Leistungen wie z. B. die abgeschlossene Erstellung und Freischaltung eines Online-Tools, durchgeführte Info-Veranstaltungen, Betriebsbesichtigungen etc. Outputs werden in erster Linie gemessen an Art und Menge der Ausbringung von Leistungen wie z. B. Betriebsbesichtigungen, Veranstaltungen etc.
(Erwartete) Nutzung: das erkennbare aktive Aufgreifen von Outputs durch die Zielgruppen. Eine Nutzung kann im direkten Gebrauch einer Leistung, beispielsweise eines Online-Tools, ebenso bestehen wie in der Umsetzung von Forderungen oder Anregungen zur Verbesserung der Verhältnis- und Verhaltensprävention.
(Erwartete) Ergebnisse: kurz- bis mittelfristige Folgen der Nutzung von Einzelmaßnahmen, Maßnahmenbündeln oder Arbeitsprogrammen. Sie werden beschrieben als veränderte betriebliche Zustände bzw. veränderte persönliche Verhaltensweisen, die dadurch entstanden sind, dass die Zielgruppen die Outputs nutzten.
Wirkungen: langfristige übergreifende Folgen, gemessen an den Zielen der ergriffenen Maßnahmen (Interventionen); eingeschlossen sind intendierte wie nicht intendierte, positive wie negative Auswirkungen. Sie sind mittelbare Folgen von Outputs und/oder Ergebnissen sowohl bei den Zielgruppen, als auch in Politik und/oder Gesellschaft.
Da die Reaktion auf Maßnahmen der GDA innerhalb der am Anfang der Wirkungsketten stehenden Schrittfolge "Leistung - Output - Nutzung" noch relativ unmittelbar - beispielsweise in Form einer "Antwort" des Betriebs auf ein Revisionsschreiben seines Aufsichtsdienstes - erfolgte, konnten Ergebnisse hier mit hoher Plausibilität den Maßnahmen der GDA zugeordnet werden.
Anders verhält es sich mit der am Ende der Wirkungskette stehenden Schrittfolge "Ergebnis - Wirkung". Aufgrund des nur noch mittelbaren Einflusses der GDA sowie einer Reihe die GDA-Effekte überlagernder externer Einflüsse konnten Erfolge hier nicht mehr auf GDA-Maßnahmen als alleinige Ursache zurückgeführt werden. Stattdessen konnte aber der Wirkungsbeitrag von GDA-Maßnahmen plausibel abgeschätzt werden. Insgesamt wurden Ergebnisse und Wirksamkeit der GDA auf Basis des PWM-Wirkungsmodells differenzierter analysiert.
Instrumente
In die Evaluation der GDA flossen ein
- Ergebnisse der GDA-Arbeitsprogramme,
- Befunde aus repräsentativen quantitativen Befragungen von Betrieben und Beschäftigten,
- Befunde aus quantitativen Befragungen des Aufsichtspersonals von Ländern und Unfallversicherungsträgern,
- Erkenntnisse aus qualitativen Erhebungen / Interviews mit GDA-Akteuren und Kooperationspartnern und
- Auswertungen statistischer Daten sowie des GDA-Berichtswesens.
Dieser Instrumenten- und Perspektivenmix wird der Komplexität der GDA-Aktivitäten gerecht und ermöglichte verlässliche Aussagen über deren Einfluss auf den betrieblichen Arbeitsschutz.
Ergebnisse
Der Abschlussbericht zur Dachevaluation wurde August 2019 veröffentlicht.
Wesentliche Erkenntnis: In Betrieben, in denen die GDA bekannt ist oder ein Besuch der Aufsicht stattfand, ist die Wahrscheinlichkeit der Durchführung einer Gefährdungsbeurteilung höher als in den anderen Betrieben. Den Schätzergebnissen zufolge ist die Wahrscheinlichkeit der Durchführung einer Gefährdungsbeurteilung in Betrieben, denen die GDA bekannt ist, im Durchschnitt um rund 11 % höher als in Betrieben, die angeben, die GDA nicht zu kennen. Ein Besuch durch die Aufsicht geht im Durchschnitt mit einer um gut 20 % höheren Wahrscheinlichkeit einher, eine Gefährdungsbeurteilung durchzuführen. Nach der repräsentativen Betriebsbefragung von 2015 haben 54 Prozent der Betriebe eine Gefährdungsbeurteilung durchgeführt.
Festgestellt wurde zudem, dass Besuche durch die Aufsicht, Schulung von Führungskräften und das Vorhandensein einer Beschäftigtenvertretung sich positiv auf die betriebliche Umsetzung von Arbeitsschutzvorgaben auswirken. Gleiches gilt für eine sicherheitstechnische und eine betriebsärztliche Betreuung.
Mit Blick auf die dritte Strategieperiode der GDA identifizieren die Autoren der Gesamtevaluation deutlich weiteren Präventionsbedarf in den Bereichen psychische Belastungen und Muskel-Skelett-Erkrankungen. Für die Prozesse der Gefährdungsbeurteilung werden gemäß der Studie auch in der dritten GDA-Periode weitere Unterstützung und intensive Beratung in den Betrieben benötigt.
Den detaillierten Abschlussbericht zur Dachevaluation der GDA finden Sie hier:
Abschlussbericht zur 2. GDA-Dachevaluation
Kurzfassung des Abschlussberichts 2. GDA-Periode
Bitte wenden Sie sich bei Fragen an die NAK-Geschäftsstelle ( nak-geschaeftsstelle@baua.bund.de ).