Durchführung von Ringversuchen
Richtlinie 5.0 (MV-Beschluss 2012 in Königswinter)
modifiziert in Richtlinie 5.1 (MV-Beschluss 2019 in Nürnberg)
1 Allgemeines
1.1 Ziel
Die nachfolgenden Ausführungen regeln die einheitliche Handhabung hinsichtlich Planung, Erstellung, Durchführung, Auswertung und Berichterstattung von Ringversuchen (Proficiency Tests) innerhalb der GFS.
Diese Richtlinie richtet sich an GFS-Mitglieder[1] bzw. externe Dritte, die mit der Organisation von Ringversuchen beauftragt werden.
1.2 Die Grundlagen oder Ausgangspunkte sind dargestellt in:
- 'Guidance on the Conduct of Proficiency Tests and Collaborative Exercises within ENFSI': www.enfsi.eu / Standing Committees / QCC
- ILAC-G22:2004 'Use of Proficiency Testing as a Tool for Accreditation in Testing': www.ilac.org / Publications and Resources / ILAC Guidance Documents (G-Series)
- ILAC-G13:08/2007 'Guidelines for the Requirements for the Competence of Providers of Proficiency Testing Schemes': www.ilac.org / Publications and Resources / ILAC Guidance Documents (G-Series)
- ILAC-P9:06/2014 'Policy for Participation in Proficiency Testing Activities': www.ilac.org / Publications and Resources / ILAC Policy Documents (P-Series)
- 71 SD 0 010 'Einbeziehung von Eignungsprüfungen in die Akkreditierung': www.dakks.de / Dokumente / Allgemeine Dokumente
- ISO/IEC 17043-2010 'Conformity Assessment – General Requirements for Proficiency Testing'
2 Planung
2.1 Anonymisierung
Die Anonymisierung der Teilnehmenden muss gewährleistet werden. Die Aufhebung der Anonymität ist nur bei Einstimmigkeit im Teilnehmerkreis zugelassen. Den einzelnen Teilnehmenden sind Nummern zuzuweisen, die Rücksendung der Antworten ist über einen Beauftragten abzuwickeln.
Gemäß Modifizierung werden die Kodierungen der möglichen Teilnehmer von einer Vertrauensperson (Geschäftsführerin der GFS) vergeben und dann beibehalten. Eine weitere Vertrauensperson (Vorsitzender des SEG) fasst die Ergebnisse der erfolgten Ringversuche für die einzelnen Kodierungsnummern kontinuierlich zusammen, erhält dabei aber keine Kenntnis über die namentliche Zuordnung.
2.2 Varianten von Eignungsprüfungen
Eignungsprüfungen (Proficiency Tests/Ringversuche) können qualitative Identifikationen (Vergleiche), quantitative Messungen und/oder Interpretationen umfassen.
Es gibt zwei Varianten:
Bei der ersten Variante ist das Untersuchungsmaterial (z. B. Original-Schriften) entsprechend der vorgegebenen Zeitangaben jeweils dem nächsten Teilnehmenden weiter zu leiten. Zu beachten ist dabei:
Schaffung gleicher Voraussetzungen, damit allen Teilnehmenden das gleiche Untersuchungsmaterial zur Verfügung steht (abgesehen von Veränderungen oder Beschädigungen, die bei unsachgemäßer Handhabung entstehen können),
es sind nur zerstörungsfreie Untersuchungsmethoden zugelassen,
ausreichend Zeit für die Weiterleitung des Untersuchungsmaterials innerhalb des Teilnehmerkreises einberechnen (Zeitplan mitliefern).
Eine zweite Variante besteht darin, jedem Teilnehmenden ein Set an Untersuchungsmaterial zuzustellen. Zu beachten ist dabei:
Unterschiede in den einzelnen Sets sind bei der Testauswertung zu berücksichtigen,
nicht zerstörungsfreie Untersuchungen sind möglich.
Auch eine Kombination der beiden Test-Varianten mit einem Set an Untersuchungsmaterial pro Teilnehmergruppe ist möglich.
2.3 Erwartetes Ergebnis
Der Ringversuch ist vor Ausgabe in seiner Schlüssigkeit und hinsichtlich des erwarteten Ergebnisses durch eine ‚kompetente Stelle’ (z. B. PK) zu prüfen. Die Bestimmung der ‚kompetenten Stelle’ kann dem Ausrichter übertragen werden.
3 Erstellung
3.1 Testbereich/Umfang
Ringversuche sollen der täglichen Fallarbeit entsprechen und sich auf Untersuchungsmöglichkeiten und Arbeitsmittel entsprechend der Richtlinie 1.01 stützen. Je nach Testinhalt ist eine kurze Falldarstellung möglich. Es ist auf komplexe und möglicherweise irreführende Fallangaben zu verzichten. Die Testbearbeitung soll nicht mehr als zwei Arbeitstage beanspruchen.
3.2 Untersuchungsmaterial
Zwecks Vergleichbarkeit der einzelnen Resultate (Auswertung, Repräsentativität) ist sämtlichen Teilnehmenden möglichst identisches bzw. homogenes Untersuchungsmaterial zur Verfügung zu stellen (gilt für Testanordnung mit verschiedenen Sets von Untersuchungsmaterial). Das Untersuchungsmaterial muss eindeutig gekennzeichnet sein (inkriminiertes Material, Vergleichsmaterial). Die Herkunft des Vergleichsmaterials (unbefangen bzw. ad hoc) ist zu benennen.
Die Erstellung des Untersuchungsgutes ist zwecks Nachvollziehbarkeit der Entstehungsbedingungen zu dokumentieren.
4 Durchführung
4.1 Ankündigung
Die Teilnahme ist für ordentliche Mitglieder verpflichtend. Mitgliedsanwärtern ist die Teilnahme freigestellt.
Die Durchführung des Tests wird angekündigt. Diese Ankündigung enthält folgende Angaben:
- kurze Beschreibung und Zweck des Ringversuches,
- Kriterien für Teilnehmende, die nicht gleichzeitig Mitglieder der GFS sind,
- Terminvorgaben: Anmeldefrist, Abgabetermin,
- eventuell Kosten und Zahlungsbedingungen bei Nicht-Mitgliedern,
- Name/Kontaktadresse des Testorganisators.
4.2 Verpackung/Versendung
Die Verpackung muss gewährleisten, dass das Untersuchungsgut nicht beschädigt bzw. nicht verändert wird. Bei Ringversuchen mit Weiterleitung des Untersuchungsmaterials an den nächsten Teilnehmenden ist sicherzustellen, dass dieser Forderung von allen Betroffenen nachgekommen werden kann.
Es muss in diesem Fall eindeutig ersichtlich sein, an wen das Untersuchungsmaterial durch die einzelnen Teilnehmer weiterzuleiten ist. Die Weiterleitung des Materials ist dem Organisator zwecks Zeitplan-Kontrolle jeweils mitzuteilen.
4.3 Antwortblatt
Die Resultate sind durch die Teilnehmenden auf einem vorgegebenen, klar strukturierten und verständlichen Antwortblatt festzuhalten. Der Test soll einen fairen, praxisnahen Ansatz verfolgen.
Multiple-Choice-Fragen vereinfachen die Auswertung (einheitliche Bewertungsskala), eignen sich jedoch nicht in jedem Fall.
Die angewandten Untersuchungsmethoden und eingesetzten Geräte sind durch die Teilnehmenden anzugeben.
Es ist im Dienste einer aussagekräftigen statistischen Auswertung des Tests erlaubt, zusätzliche Angaben über die Teilnehmenden zu erfragen (Ausbildung, Erfahrung im Fachgebiet, Expertenstatus, Qualitätskontrolle etc.), solange die Anonymität gewährleistet ist.
Das Ergebnis muss in anonymisierter Form für die Auswertung retourniert werden können.
5 Auswertung/Berichterstattung
5.1 Resultate
Das korrekte Testresultat darf durch den Organisator nicht vor Einsendeschluss kommuniziert werden.
Sofern aufgrund der Testanordnung statistisch sinnvoll und möglich, ist die Auswertung der Resultate unter Angabe von statistischen Methoden, Standardabweichung und Messunsicherheit zu definieren und zu dokumentieren. Nur so ist eine einheitliche und objektive Bewertung der Testergebnisse gewährleistet.
Die Auswertungsergebnisse sind in geeigneter Form zu präsentieren (z. B. Grafik, Tabelle) und in einer der folgenden Mitgliederversammlungen vorzustellen. Gesamtresultate werden anonymisiert zusammengefasst; Einzelresultate werden derart dargestellt, dass sich jeder Teilnehmende zwar selbst identifizieren, aber nicht von anderen identifiziert werden kann. Die Ergebnisse sind durch den Organisator zu kommentieren
Durch die Konstanz der Kodierungen können Verteilungen über die Jahre festgestellt werden, allerdings ohne Bezug zu einzelnen Personen. Die persönlichen Ergebnisse kann der einzelne Teilnehmer eigenständig aggregieren. Diese Maßnahme soll allgemeine Rückschlüsse über die Analyse der Fehlerverteilung ermöglichen. Die Vertrauensperson (Vorsitzender des SEG) erhält von jedem Ringversuch eine Ergebnisliste mit Kodierungen und dichotomisierten Ergebnissen (richtig/falsch).
5.2 Maßnahmen
Das Ergebnis eines Ringversuches ist im geeigneten Rahmen zu diskutieren. Falls notwendig (d. h. bei Fehlbegutachtungen, aber auch bei missglückter Testerstellung oder fehlerhafter/unzureichender Auswertung) sind gegebenenfalls Maßnahmen für den gesamten Teilnehmerkreis zu empfehlen (z. B. Optimierung der Untersuchungsmethoden, Anpassung der Ausbildung, Hilfestellung bei der Erstellung und Auswertung eines Ringversuches durch wissenschaftlich versierte Fachkräfte). Grundsätzlich liegt (bei korrekter Testerstellung und -durchführung) im Falle einer Fehlbegutachtung die Verantwortung für Maßnahmen bei den Testteilnehmenden. Der Testorganisator hat keine entsprechende Kompetenz. Er trägt jedoch die Verantwortung für eine wissenschaftlich korrekte Ausarbeitung, Durchführung und Auswertung des Tests.
5.3 Aufbewahrung
Die Antwortbögen und Teilnehmerlisten des durchgeführten Ringversuchs sind für fünf Jahre nach erfolgter Darstellung vor den Mitgliedern aufzubewahren. Nach Fristablauf sind die Unterlagen zu vernichten. Die Vernichtung ist zu protokollieren.
Lediglich bei der Vertrauensperson (Vorsitzender des SEG) bleibt die Verteilung der Ergebnisse bzgl. der einzelnen Nummern zur Fortschreibung erhalten.
Außerdem verbleibt die Liste mit der Zuordnung der Personen zu den Kodierungen für die folgenden Ringversuche bei der weiteren Vertrauensperson (Geschäftsführerin der GFS).
5.4 Teilnahmebestätigung
Die Teilnehmenden erhalten eine Teilnahmebestätigung (ohne Bewertung der Resultate).
[1] Aus Gründen der einfacheren Lesbarkeit findet gegebenenfalls das generische Maskulin Verwendung (vgl. Bundesverwaltungsamt, Sprachliche Gleichbehandlung, 2002).
