Online Assessment, Teil 2

Hier gehts weiter mit dem zweiten Teil der Blogserie “Online Assessment” mit folgender Frage:

Sind Online-Assessments manipulierbar?

Der Manipulationsvorbeugung kommt hier eine besondere Bedeutung zu, weil die Durchführung als Online-Test explizit keine Kontroll-Möglichkeit durch Beobachtung vorsieht. In CYQUEST eAssessments ist regelmäßig eine ganze Reihe von Sicherungsmechanismen vorgesehen. Hier sind folgende Stichworte zu nennen:

•    Registrierung: Wenn ein Kandidat sich entschließt, sich bei einem Unternehmen ernsthaft zu bewerben, dann reicht er zunächst seine biografischen Daten (Lebenslauf etc.) ein. Nur die Kandidaten, bei denen hieraus eine entsprechende Ehrlichkeit und Attraktivität für das Unternehmen hervorgeht, werden überhaupt für die eTests freigegeben.
•    Nur einmalig verwendbarer Login-Code: Kandidaten, die die erste Sichtung ihrer Bewerberdaten erfolgreich überstehen und zu den eTests eingeladen werden, erhalten einen Zugangscode, der genau für eine einmalige Test-Durchführung gültig ist. Es ist fraglich und nach empirischen Untersuchungen (z.B. Bartram & Brown, 2005) von zu vernachlässigender Wahrscheinlichkeit, dass Bewerber diese eine Chance jemand anderem überlassen.
•    Einzelitem-Präsentation und Variation der Testanordnungen: Im Gegensatz zu Pen&Paper-Tests, die unter physischer Aufsicht durchgeführt werden, wird bei der Durchführung als eAssessment jedes Testitem einzeln und ohne Rücksprungmöglichkeit präsentiert. Es wird somit vermieden, dass sich etwaige Arbeitsgruppen einen Vorteil bei der Bearbeitung verschaffen können, in dem etwa mehrere Personen die verschiedenen Aufgaben einer Seite parallel lösen. Um die Gefahr von Manipulationen zu minimieren, werden parallele Testversionen (z.B. A- und B-Version durch Randomisierung der Itemreihenfolge, Randomisierung der Distraktorenreihenfolge, Farbgestaltung, Semantische Variationen usw.) eingesetzt.

Entscheidend ist jedoch, dass eAssessments in erster Linie Nicht-Geeignete erkennen und aussortieren und nicht die Geeigneten identifizieren soll (Negativselektion statt Positivselektion). Personen, die diese Hürde nicht überwinden (ob mit oder ohne Manipulation), zeigen nicht die erforderlichen Basiskompetenzen. Personen, die diese Hürde meistern (ob mit oder ohne Manipulation), befinden sich in der nächsten Auswahlstufe, sind aber noch nicht am Ziel. Eine Einstellung erfolgt nämlich erst aufgrund weiterer Face-to-Face Verfahren, die nicht oder zumindest weniger der Gefahr der Manipulation unterliegen. Dieser Aspekt – nämlich, dass ein etwaiges Schummeln im Rahmen der Online-Tests noch nicht zum Ziel führt, sondern vielmehr noch weitere persönliche Auswahlstufen zu überstehen sind, in denen möglicherweise ein Schummeln im Online-Test auffliegen kann – wird im Rahmen des eAssessments kommunikativ noch einmal deutlich unterstrichen mit entsprechend abschreckender Wirkung. Auch ist selbstverständlich eine (zumindest teilweise) Wiederholung einzelner Testbestandteile vor Ort – also unter Beobachtung – möglich, wobei größere Abweichungen als Indiz für vorheriges Schummeln dienen.

CYQUEST hat im Zuge verschiedener Projekte diejenigen Kandidaten, die im Auswahlprozess bis zur letzten Stufe (also z.B. zum Präsenz-Assessment Center) gekommen sind, unter Aufsicht noch mal ähnliche Tests durchführen lassen, wie sie auch im eAssessment zu Beginn des Prozesses vorkamen. Eine signifikante Abweichung (quantifiziert über Äquidistanzmaße) wäre ein Indiz dafür gewesen, dass der Kandidat beim eAssessment geschummelt hätte. Die Ergebnisse waren sehr eindeutig: Der Anteil von Kandidaten mit derartigen Abweichungen lag bei deutlich unter 1%.

Beispiel für Online-Assessment Verfahren:

- Tchibo eAssessment -  e-Test des Tchibo-Konzerns zur Vorauswahl von Führungsnachwuchs.

Wir bedanken uns recht herzlich bei Herrn Joachim Diercks für den Beitrag zum Thema “Online Assessment”.