Das Online-Übungs-/Prüfungssystem der FernUni Hagen
Vorstellung und Einsatzszenarien
Version: 1.0 – 08. Dez. 2023
Das Online-Übungssystem ist eine Eigenentwicklung der FernUniversität, spezialisiert auf die webgestützte Durchführung von Aufgaben verschiedenster Art. Das können z.B. Selbsttestaufgaben mit Sofortfeedback sein, Selbstkontrollarbeiten, Einsendearbeiten, aber auch Prüfungsleistungen wie Hausarbeiten, Klausuren oder Abschlussarbeiten.
Das System besitzt deshalb inzwischen zwei Namen: Prüfungsleistungen wie die Haus- und Abschlussarbeiten sowie Klausuren werden unter dem Namen »Online-Prüfungssystem« angeboten, alle anderen unter dem Namen »Online-Übungssystem«1. Das zugrunde liegende System ist jedoch dasselbe. Im folgenden Text wird der Einfachheit halber teils einfach nur vom Online-Übungssystem die Rede sein, bzw. in Abschnitten zu Prüfungsthemen auch nur von Online-Prüfungssystem. Gemeint ist damit jeweils das Gesamtsystem.
Zur Realisierung der verschiedenen Arbeiten können Aufgaben unterschiedlichster Art erstellt werden, von vollautomatisch bewerteten Aufgaben bis hin zu rein manuell korrigierten und bewerteten Aufgaben, wobei diverse Mischformen dieser beiden Extreme möglich sind, wie z.B. eine zwar automatische Korrektur und Bewertung, die aber noch eine manuelle Nachkorrektur durchlaufen kann, oder der Einsatz einer automatischen Vorkorrektur, die noch gar keine abschließende Bewertung vornimmt, sondern in jedem Fall eine manuelle abschließende Korrektur erfordert. Eine solche Vorkorrektur kann nicht nur die Korrekturkräfte unterstützen, sondern optional auch den Studierenden direkt bei (noch nicht endgültiger) Einsendung als Sofortfeedback angezeigt werden, um z.B. Hinweise auf Verbesserungsmöglichkeiten zu geben (was natürlich vornehmlich für Übungen interessant ist, nicht für Prüfungen).
Für vollständig oder teilweise automatisch korrigierte Aufgaben steht neben diversen vorgegebenen Aufgabentypen, die vom System intern bereits automatisch korrigiert werden können, auch die Möglichkeit bereit, komplett eigene Aufgabentypen zu entwickeln und dazu passende Autokorrekturalgorithmen selbst zu implementieren und über eine Webservice-Schnittstelle als so genannte Korrekturmodule anzubinden.
Bei manueller Bewertung wird ein leistungsfähiger Korrekturworkflow angeboten, der sich nicht nur für einfache Fälle eignet, in denen der oder die Aufgabensteller:in selbst ein paar Einsendungen korrigiert, sondern auch z.B. für Einsendearbeiten von teilnehmerstarken Kursen, bei denen die Korrektur auf mehrere externe Korrekturkräfte wie z.B. studentische Hilfskräfte oder Werkvertragsnehmer:innen verteilt wird. Solche Fälle werden u.a. unterstützt durch automatische Korrekturzuteilungen anhand von Verteilungsschlüsseln sowie durch einen Workflow zur finalen Kontrolle, ggf. Nachkorrektur und Freigabe durch die verantwortlichen Mitarbeiter:innen (wie z.B. die Modulbetreuung). Auch die Art der manuellen Korrektur kann variieren, von einfachem Ausfüllen von Webformularen im Browser über Download von eingesandten PDF-Arbeiten und deren Kommentierung (z.B. mit Adobe Acrobat) bis hin zur Arbeit mit vorgefertigten PDF-Bewertungsformularen, aus denen das Online-Übungssystem auch die Bewertung automatisch auslesen und übernehmen kann.
Bewertungen werden in Form von Punkten, Noten oder beidem unterstützt, wobei in letzterem Fall die Note zur erfassten Punktzahl automatisch anhand eines hinterlegten Notenschemas automatisch errechnet werden kann. Ein solches Notenschema ist übrigens nicht nur ein starres Schema von absoluten Punktegrenzen, ab denen jeweils eine bestimmte Note zu vergeben ist, sondern über die so genannte Normalisierung (im einfachsten Fall eine Abbildung auf Prozentpunkte) kann auch dasselbe Notenschema in verschiedenen Arbeiten mit abweichender erreichbarer Maximalpunktzahl eingesetzt werden, und es lässt sich z.B. mit einer einfachen Stellschraube im Falle eines „zu schlechten“ Notendurchschnitts die Bewertung global anheben, ohne jede Notenschranke von Hand bearbeiten zu müssen.
Der Notendurchschnitt kann dazu direkt im Online-Übungssystem eingesehen werden, als Teil einer Notenstatistik. Daneben werden noch viele weitere Statistiken angeboten, z.B. auch zur Beurteilung einzelner Aufgaben einer Arbeit (z.B. wie gut einzelne Aufgaben ausgefallen sind und wie sehr die Ergebnisse einzelner Aufgaben mit Gesamtleistungen in einer Arbeit oder allen Arbeiten zu einem Kurs korrelieren, was ein Maß für die Aufgabengüte sein kann) oder noch detaillierter bis hinunter zu Statistiken zu einzelnen Antworthäufigkeiten z.B. bei Multiple-Choice-Aufgaben. Datenexporte ermöglichen bei Bedarf aber auch das Erstellen eigener Statistiken (z.B. in Excel), falls die vom Übungssystem angebotenen Statistikfunktionen nicht ausreichen sollten.
Das Online-Übungs-/Prüfungssystem ist eng mit anderen Systemen des ZDI vernetzt. So können Übungsumgebungen z.B. einfach die Kursbelegungen von Studierenden als Zugangskriterium für deren Einsendearbeiten verwenden, während Online-Prüfungsumgebungen die in unserer Prüfungsverwaltung (derzeit noch HIS-POS) vorliegenden Prüfungsanmeldungen (live) als Zugangskriterium heranziehen. In POS hinterlegte individuelle Bearbeitungsfristen wie Bearbeitungszeiträume für Abschlussarbeiten oder verlängerte Bearbeitungszeiträume für Online-Klausuren bei bestimmten Sonderfällen wie z.B. einer Behinderung werden automatisch berücksichtigt. Und natürlich werden auch die Prüfungsergebnisse bei Freigabe der Korrekturen vollautomatisch in die Prüfungsverwaltung übertragen. Durch die direkte Integration können alle diese Daten live ausgetauscht werden, ohne dass Mitarbeiter:innen die Daten zunächst aus einem System in Dateien exportieren und in anderen Systemen wieder importieren müssten.
Da heute in der Regel Moodle als Hauptanlaufpunkt für Modulinhalte genutzt wird, ist es weiterhin möglich, Inhalte des Online-Übungssystems direkt in Moodle-Kursumgebungen einzubetten, und zwar wahlweise einzelne Aufgaben oder eine ganze aus mehreren Aufgaben bestehende Arbeit. Dazu wird der LTI-Standard (Learning Tools Interoperability) genutzt. So können Studierende die im Online-Übungssystem realisierten Aufgaben direkt innerhalb der Moodle-Umgebung bearbeiten, ohne das System wechseln zu müssen. Optional können dann auch die Aufgabenergebnisse (in Prozentpunkten) wieder an die Moodle-Umgebung zurückübermittelt werden, was insbesondere von Interesse ist, falls eine Moodle-Umgebung nicht ausschließlich Übungssystem-Aufgaben einsetzt, sondern diese mit anderen, z.B. Moodle-Tests, kombiniert.
Das heutige Online-Übungs-/Prüfungssystem basiert auf einem Softwareprojekt namens WebAssign, das ebenfalls an der FernUniversität entwickelt und später auf CampusSource als Open-Source-Projekt veröffentlicht worden ist.
Die erste WebAssign-Version wurde im Rahmen eines Projekts an einem Informatik-Lehrgebiet der FernUniversität entwickelt, genauer am Lehrgebiet Praktische Informatik III / Software Engineering von Prof. Dr. Hans-Werner Six.
Dieses Lehrgebiet bot damals unter anderem zwei sehr teilnehmerstarke Erstsemesterkurse (01612 „Konzepte imperativer Programmierung“ in den Diplomstudiengängen und 01613 „Einführung in die imperative Programmierung“ im Bachelor-Studiengang Informatik) an. Die Einsendearbeiten dazu waren zwar schon teilweise maschinell korrigiert (über LOTSE), aber da zu solchen Programmierkursen reine Multiple-Choice-Aufgaben als nicht ausreichend angesehen wurden, die Studierenden vielmehr auch selbst Programmcode schreiben sollten, gab es zusätzlich auch handkorrigierte Einsendearbeiten.
Der gesamte Einsendebetrieb der FernUniversität basierte auf dem Postweg: Die Aufgabenstellungen wurden als Kursmaterialien produziert und den Studierenden zusammen mit anderen Artikeln auf dem Postweg zugesandt. Dann mussten die Studierenden ihre Lösungen ebenfalls auf dem Postweg zurücksenden – auch bei LOTSE-Aufgaben, deren Lösungen dazu auf spezielle Formulare (sog. Markierungsbögen) zu übertragen waren und an der FernUni dann gescannt wurden. Die Korrekturen und Musterlösungen wurden den Studierenden im Anschluss wieder auf dem Postweg zurückgesandt – auch bei LOTSE-Aufgaben, wo der Computer Korrekturbriefe ausdruckte, die den Studierenden zugeschickt wurden. Noch mehr Postwege fielen an bei der Handkorrektur der Einsendearbeiten, die von externen Korrekturkräften erledigt wurden. Dazu mussten die per Post eingegangenen studentischen Einsendungen in der Aufgabenstelle gesammelt, auf Pakete für Korrektoren verteilt, diesen zugeschickt, später wieder gesammelt als Paket an die FernUni zurückgeschickt, dann von der Aufgabenstelle bearbeitet und ggf. zur Kontrolle/Nachkorrektur auch zwischendurch noch den Lehrgebieten per Hauspost zugestellt und danach wieder an die Aufgabenstelle zurückgesandt werden etc.
Dieser Ablauf dauerte allein aufgrund der diversen Postwege und Wartezeiten auf Fristen sehr lange. Das betraf grundsätzlich alle Einsendearbeiten, aber die teilnehmerstarken waren wegen der zusätzlich auch noch relativ hohen Korrekturdauer besonders betroffen. So konnte es vorkommen, dass Studierende ein bis zwei Monate auf die Korrekturen warten mussten, und in dieser Wartezeit bereits die nächsten Einsendearbeiten fällig wurden, bei deren Bearbeitung sie dann noch nicht auf das Feedback aus den Korrekturen zu den früheren Kurseinheiten zurückgreifen konnten.
Als dann das World Wide Web Verbreitung fand, sah man insbesondere das Potential, genau diese langen Wartezeiten auf die reine Korrekturdauer zu reduzieren, indem die Postwege durch eine webgestützte Infrastruktur ersetzt wurden.
So entstand das WebAssign-Projekt. WebAssign sollte durch einen Workflow von einer Online-Einsendung, Online-Korrektur bis hin zur Online-Einsicht in Korrektur und Musterlösungen insbesondere die Postlaufzeiten eliminieren. Auch einige weitere Wartezeiten entfielen: So konnten Studierende z.B. schon vor Einsendeschluss vorzeitig abgeben, und in dem Fall konnte die Einsendung sofort einer Korrekturkraft zugeteilt und korrigiert werden, es musste damit nicht bis zum Einsendeschluss gewartet werden. Und auch einzelne fertiggestellte Korrekturen konnten unmittelbar von der Kursbetreuung geprüft und freigegeben werden, es musste nicht gewartet werden, bis eine Korrekturkraft mit allen ihr zugeteilten Korrekturen fertig war. Insbesondere konnte einer Korrekturkraft auch schon frühzeitig von der Kursbetreuung Feedback zu den ersten fertiggestellten Korrekturen gegeben werden, das in die weiteren Korrekturen einfließen und den (Zeit-)Aufwand von Nachkorrekturen verringern konnte.
Für die automatisch bewerteten Aufgaben fiel ebenfalls der zeitliche Overhead des Postversands weg. Die automatische Bewertung von Zahlenfragen und Multiple-Choice-Fragen, wie sie LOTSE bot, hatte man direkt in WebAssign neu umgesetzt, so dass die Online-Einsendungen zu solchen Aufgaben sofort automatisch korrigiert werden konnten (und nicht erst ans alte, auf Posteinsendungen ausgelegte LOTSE-System übermittelt werden mussten).
Daneben ergaben sich auch weitere Mehrwerte für die Kursbetreuung selbst. So mussten die Aufgabenstellungen nicht mehr Wochen oder Monate im Voraus fertig sein und in den Druck gehen, sondern konnten kurzfristig online bereitgestellt werden. Sollten sich in einer Aufgabenstellung noch Fehler finden, konnte man diese nun erstens direkt online kommunizieren und zweitens auch korrigieren, was früher ebenfalls nicht möglich war. Und durch die Online-Korrektur war es nun möglich, auch Korrekturkräfte im Ausland zu beschäftigen, während man sich vorher – wegen der ins Ausland in der Regel noch längeren Postlaufzeiten – auf Deutschland beschränkte.
Auch wenn das Hauptziel der WebAssign-Entwicklung die Reduzierung der Postlaufzeiten war, bot die Digitalisierung hier noch weiteres Potential, das man nutzen wollte. Insbesondere wollte man sich bei der Autokorrektur nicht nur auf die einfachen Aufgabentypen von LOTSE beschränken (nämlich Fragen nach Zahlen einer gewissen maximalen Länge sowie Multiple-Choice-Fragen, genauer Einfach- oder Mehrfachauswahlaufgaben mit maximal fünf Antwortalternativen). Der WebAssign-eigene Nachbau des LOTSE-Bewerters war bereits flexibler, unterstützte z.B. auch mehr als fünf Antwortalternativen und neue Fragetypen wie Zuordnungen oder Fragen nach Begriffen aus einer gewissen Menge.
Darüber hinaus wurde in WebAssign schon von Anfang an die Möglichkeit geboten, externe Korrekturmodule (also selbst entwickelte Korrekturlogik) anzubinden2. Und man führte auch neu die Vorkorrekturmodule ein, die den Studierenden direkt bei Einsendung ein Sofortfeedback geben können, auf das diese dann reagieren und ihre Einsendung überarbeiten können, und das später auch den Korrekturkräften bei der manuellen Korrektur mit zur Verfügung steht. Für die besagten beiden Programmierkurse wurde dann z.B. ein Pascal-Vorkorrekturmodul entwickelt, das eingesandten Programmcode compilieren und testen konnte und durch sein Sofort-Feedback auch die Studierenden beim Erlernen der Programmierung helfen konnte.
Anfangs wurde das WebAssign-System vom Lehrgebiet PI III selbst betrieben, zunächst aus Eigenbedarf für alle eigenen Kurse, man nahm aber auch zunehmend weitere Lehrgebiete der Fachbereiche Informatik, Mathematik und Elektro-/Informationstechnik auf, und auch einige externe Universitäten wie z.B. die Universität Freiburg oder die Medizinische Universität zu Lübeck nutzten das WebAssign-System der FernUni.
Daher wurde der WebAssign-Betrieb dann vom Lehrgebiet Six ans URZ abgegeben. Am URZ wiederum nahm man später Weiterentwicklungen vor, insbesondere eine tiefere Integration in die FernUni-IT. Da die Weiterentwicklungen teils FernUni-spezifisch waren und daher außerhalb des CampusSource-Projekts WebAssign stattfanden, wurde ein Fork dieses Open-Source-Projekts erstellt und damit auch ein neuer Name nötig. Auch wenn das WebAssign-System nicht spezifisch nur auf Einsendearbeiten / Übungen festgelegt war, lag da doch der damalige Einsatzschwerpunkt, und man wählte für den Fork den Namen „Online-Übungssystem“.
Unter diesem Namen wurde das System nun am URZ-Nachfolger ZMI (intensiviert seit ca. 2010) kontinuierlich weiterentwickelt. Es wurde um neue Funktionen erweitert, tiefer mit anderen ZMI-Services vernetzt und auch grundlegend modernisiert. Viele Kinderkrankheiten wurden beseitigt, das Online-Übungssystem läuft seither deutlich performanter und stabiler als noch WebAssign, und natürlich hat sich auch das User Interface signifikant weiterentwickelt.
Außerdem wurden die LOTSE-Einsendearbeiten komplett ins Online-Übungssystem integriert. LOTSE-Klausuren wurden nach und nach mehr ins Übungssystem verlagert. (Anfangs diente es nur der Auslieferung der vom externen LOTSE-System erzeugten Klausurauswertungen, später übernahm es die gesamte Klausurauswertung – nur das Scannen der OCR-Lotsebögen zur Erfassung der Antworten erfolgt noch über ein Altsystem.)
Als ein System, das von der FernUni für die FernUni entwickelt wurde und weiterentwickelt wird, wurde das Online-Übungssystem seither auch in vielen Bereichen auf diverse Anforderungen von Lehrenden oder Prüfungsämtern aller Fakultäten hin kontinuierlich erweitert.
Seit ca. 2013 werden über das Online-Übungssystem auch Prüfungen abgewickelt – zunächst weiterhin unter dem Namen Online-Übungssystem, auch wenn das keine ganz passende Benennung mehr war.
Zuerst erfolgte eine Umsetzung von Hausarbeiten, wozu das System mit HIS-POS vernetzt wurde, um z.B. Prüfungsanmeldungen samt individueller Bearbeitungszeiträume und Prüfungsthemen lesen zu können oder sogar die Wahl eines von mehreren alternativen Prüfungsthemen ermöglichen zu können (mit Vermerk des gewählten Themas in POS, siehe Hausarbeiten).
Eine umfangreiche Erweiterung im Prüfungsbereich stellten dann die Abschlussarbeiten dar: Hier wird explizit eine so genannte Mehrfachkorrektur unterstützt, d.h. es gibt nicht mehr nur eine einfache Korrektur (durch typischerweise eine Korrekturkraft – oder Weitergabe von einer Korrekturkraft zur Nachbearbeitung an eine weitere), sondern jeder der zunächst zwei Prüfer einer Abschlussarbeit kann seine eigene sog. Teilkorrektur mit eigenem Gutachten und eigener Bewertung / Note erstellen, woraus das Online-Übungssystem eine Durchschnittsnote berechnet. Auch erkennt es Fälle, in denen ein Drittgutachten benötigt wird und unterstützt das Hinzufügen einer dritten Teilkorrektur für den Gutachter.
Am Rande entstanden Funktionen im Online-Übungssystem, die eigentlich gar nicht zur Kernfunktionalität des Anbietens von Online-Aufgaben gehören, aber auch per Digitalisierung einen Postversand einsparen sollten: Zunächst wurden zu bestimmten Prüfungen wie Hausarbeiten, die noch auf Papier geschrieben und korrigiert worden waren, sog. Prüfungskommentare erstellt, die früher gedruckt und zusammen mit den Notenbescheiden verschickt wurden. Diese werden seit 2010 nun im Online-Übungssystem (für die Fakultäten KSW und Psychologie) digital bereitgestellt, was gewissermaßen als Erweiterung des Prüfungsportals gedacht war. Später kam eine ähnliche Funktion zur Online-Klausureinsicht in (Scans von) Papierklausuren hinzu: Der Klausurservice scannt, ggf. nur auf Antrag, korrigierte Klausuren ein und stellt sie über eine Funktion des Online-Übungssystems dann vorübergehend zur Online-Einsicht bereit. Später wurde auch die Antragstellung für solche Anträge auf Klausureinsicht im Online-Übungssystem realisiert. Inzwischen entfällt bei vielen Klausuren die Pflicht zum Einsichtsantrag, diese Klausuren werden nach Korrektur pauschal alle gescannt und online zur Einsicht bereitgestellt.
In der Corona-Pandemie wurden dann erstmals auch Online-Klausuren über das Online-Übungssystem abgewickelt, wozu leichte Erweiterungen der POS-Integration nötig waren, da Klausuren keine mehrtägigen Bearbeitungszeiträume wie Haus- oder Abschlussarbeiten haben, und auch Bearbeitungszeitverlängerungen in Minuten statt Tagen angegeben werden. Außerdem wurden für Online-Klausuren einige Performance-Optimierungen vorgenommen, da sich die parallelen Zugriffe bei Klausuren zeitlich viel weniger verteilen als bei mehrtägigen oder -wöchigen Arbeiten, also eine deutlich höhere Last (bei gleicher Teilnehmerzahl) zu verzeichnen ist.
Nach Ende der Corona-Pandemie werden wieder mehr Klausuren in Präsenz auf Papier geschrieben, aber viele Lehrgebiete bzw. Fakultäten wünschten sich, die Vorteile der Online-Korrektur weiter nutzen zu können. Für diesen Zweck wurden die Schnittstellen für den Klausurservice erweitert, der nun solche Klausuren bereits vor der Korrektur einscannt und in spezielle Präsenzklausur-Umgebungen des Online-Übungssystems einstellt. Die weitere Korrektur erfolgt dann genau wie bei Online-Klausuren auch, d.h. Korrekturkräfte können insb. auch außerhalb von Hagen auf die ihnen zugeteilten zu korrigierenden Klausuren zugreifen, und nach Erfassung der Ergebnisse und Freigabe der Korrekturen durch eine verantwortliche Stelle (z.B. das Prüfungsamt) werden die Noten direkt in die Prüfungsverwaltung (POS) übertragen, und die Studierenden haben direkt eine Möglichkeit zur Online-Einsicht.
Zu Beginn des Wintersemester 2023/24 sollte einerseits zur Steigerung der Übersichtlichkeit des Kursverzeichnisses eine Trennung in Übungen und Prüfungen eingeführt werden, und weil der Name „Online-Übungssystem“ schon lange nicht mehr wirklich sprechend für das Gesamtsystem (sondern nur die Übungs-Rubrik davon) war, wurde in diesem Rahmen nun auch der – vorher schon von bestimmten Benutzerkreisen inoffziell verwendete – Namen „Online-Prüfungssystem“ zusätzlich eingeführt.
Dieser Abschnitt versucht, noch einmal möglichst vollständig auf alle einzelnen Einsatzszenarien des Online-Übungssystems bzw. nun Online-Prüfungssystems an der FernUniversität einzugehen – Stand Ende 2023. (Viele davon wurden im obigen Abschnitt zur Entwicklung schon erwähnt.)
Bei Selbsttestaufgaben handelt es sich um grundsätzlich vollautomatisch korrigierte Aufgaben, die ihre Bewertung unmittelbar nach Einsendung als Sofortfeedback ausgeben. In der Regel wird die Bewertung auch die richtige(n) Antwort(en) / Musterlösung verraten. Das lässt sich auch unterdrücken, aber auch dann können Studierende durch wiederholte Einsendungen ihr Ergebnis kontinuierlich verbessern und letztendlich auf die richtige Lösung kommen.
Diese Aufgaben dienen daher nicht der Lernstandskontrolle, sondern eben nur dem Selbsttest bzw. interaktiven Lernen. Sie fließen daher in der Regel (sollten sie in einer Kursumgebung mit anderen Aufgaben wie Einsendearbeiten zusammen vorkommen) nicht in die Gesamtwertung ein.
Selbsttestaufgaben stehen zwar standardmäßig nur Beleger:innen des zugehörigen Kurses zur Verfügung, können optional aber auch allen FernUni-Studierenden oder auch ganz öffentlich angeboten werden.
Einsendearbeiten (bestehend aus einer oder mehreren Aufgaben) sind gedacht für Lernstandskontrollen ohne Prüfungskontext (ggf. aber als Vorleistung, um an Prüfungen teilnehmen zu dürfen). Die Studierenden erhalten die Korrekturen typischerweise (selbst bei vorzeitiger Abgabe) erst nach Einsendeschluss und können ihre Antworten nach der Bewertung nicht mehr überarbeiten.
Die Korrekturen können auch hier (wie bei Selbsttestaufgaben) vollautomatisch erfolgen, manuelle Korrektur oder Mischformen sind aber ebenfalls möglich.
Unabhängig von der Art der Korrektur ist es möglich, dass entweder alle Studierenden exakt dieselbe Arbeit bearbeiten, oder dass die Arbeit randomisiert wird, also z.B. die Aufgabenreihenfolge zufällig gewählt wird, die Fragen innerhalb einer Aufgabe in Zufallsreihenfolge stehen oder eine zufällige Auswahl an Fragen erfolgt. Auch innerhalb von Fragestellungen ist eine Randomisierung möglich, z.B. eine zufällige Auswahl und/oder Reihenfolge von Antwortalternativen bei Multiple-Choice-Fragen.
Den Studierenden kann optional eine endgültige Abgabe schon vor Einsendeschluss ermöglicht werden. Das hat insbesondere bei Handkorrektur den Vorteil, dass die vorzeitig abgegebenen Arbeiten dann auch schon früher korrigiert werden können, also nicht bis zum Einsendeschluss mit dem Korrekturbeginn aller Arbeiten gewartet werden muss, wodurch sich wiederum die Wartezeit der Studierenden auf die Korrekturen weiter verkürzen lässt.
Optional ist es möglich, dass die Ergebnisse nach der Korrekturfreigabe an SLO übermittelt werden.
Einsendearbeiten erfordern typischerweise eine Kursbelegung als Zugriffsberechtigung.
Selbstkontrollarbeiten können technisch analog zu Einsendearbeiten (s.u.) abgewickelt werden, also ebenfalls mit nur einem einzigen Bearbeitungsversuch und anschließender, ggf. auch manueller Korrektur, nur mit dem (nicht technischen) Unterschied, dass sie tatsächlich nur zur Selbstkontrolle dienen, die Teilnahme freiwillig und die Ergebnisse ohne Relevanz fürs Studium sind.
Darüber hinaus gibt es im Online-Übungssystem aber speziell auch die Unterstützung für automatische Selbstkontrollaufgaben mit Wiederholungsmöglichkeit:
Ähnlich wie Selbsttestaufgaben sind solche Selbstkontrollarbeiten immer vollautomatisch korrigiert. Im Unterschied zu Selbsttestaufgaben liegt hier der Fokus darauf, dass eine ganze Arbeit, bestehend aus mehreren Aufgaben, zunächst bearbeitet wird, ohne Sofortfeedback zu den einzelnen Aufgaben, und abschließend die gesamte Arbeit geschlossen/„abgegeben“ wird, um eine Gesamtauswertung dazu zu erhalten. Im Unterschied zu Einsendearbeiten steht das Ergebnis dann sofort zur Verfügung, vor allem aber kann man den Studierenden dann auch ermöglichen, nach Abruf/Einsicht der Auswertung die Arbeit wieder zurückzusetzen und erneut zu beginnen. Die Aufgabenautoren können bestimmen, ob bei einem solchen neuen Versuch die alten Antworten erhalten bleiben und nachbearbeitet werden können, oder ob dabei alle zuvor gegebene Antworten wieder gelöscht werden sollen, jede Neubearbeitung also wieder mit „leeren“ Aufgabenformularen startet. Eine ggf. aktivierte Randomisierung wird für neue Versuche wiederholt angewendet, so dass bei neuen Versuchen nicht wieder exakt dieselben Fragen (in derselben Reihenfolge) gestellt werden wie beim ersten Versuch, sondern eine neue Variation der Selbstkontrollarbeit erstellt wird.
Das alte LOTSE-System, das schon lange vor der WebAssign-Entwicklung eingesetzt wurde (und auf dem Postweg basierte, siehe Entwicklung / WebAssign), wurde eine Zeit lang noch weiter betrieben und auch um eine Online-Erfassungsmaske ergänzt, ist aber dann schon frühzeitig nach und nach ins Online-Übungssystem integriert worden.
Da auch die LOTSE-Umsetzung innerhalb des Online-Übungssystems weniger Möglichkeiten bietet als eine direkte Umsetzung von Einsende- bzw. Selbstkontrollarbeiten im Online-Übungssystem, wird der Einsatz derzeit zurückgefahren: Es werden keine neuen LOTSE-Kurse mehr angelegt, sondern nur noch bestehende aus Vorsemestern ggf. weiterbetrieben.
Der wesentliche Unterschied ist, dass Lehrende, die noch LOTSE nutzen, die Aufgaben nicht selbst im System erstellen, sondern nach wie vor nur Dokumente mit den Aufgabentexten und Musterlösungen bei der Verwaltung einreichen, welche sich dann um die Realisierung kümmert. Beim alten LOTSE-System war das auch sinnvoll: Aus den eingereichten Dokumenten wurden die Print-Artikel zum Postversand erstellt, und die Musterlösungen für die Autokorrektur mussten damals auch von Mitarbeitenden des URZ ins LOTSE-System eingepflegt werden.
Aus technischer Sicht / Systemsicht unterscheiden sich Hausarbeiten von Einsendearbeiten vor allem in den folgenden Punkten:
Als Zugriffsberechtigung dient keine Kursbelegung, sondern eine Prüfungsanmeldung im entsprechenden Semester der Hausarbeitsumgebung. Mit der Anmeldung werden aus HIS-POS auch ggf. vorliegende individuelle Bearbeitungsfristen und/oder ein individuelles Prüfungsthema ausgelesen. Damit sind wiederum verschiedene Arten von Hausarbeiten möglich:
Es können prinzipiell beliebige Aufgabentypen angeboten werden, in der Regel aber ist zu Hausarbeiten von den Studierenden ein Textdokument (eine Ausarbeitung) zu erstellen und als PDF-Datei einzusenden.
Auch nach der Prüfung der Anmeldungen als Zugangsvoraussetzung ist der Hausarbeitsprozess mit der Prüfungsverwaltung (POS) vernetzt. So wird bei Eingang einer Einsendung in der Prüfungsverwaltung ein Abgabe-Kennzeichen gesetzt, und nach Freigabe der Korrektur werden die Ergebnisse (bestanden, nicht bestanden oder endgültig nicht bestanden, Noten, ggf. auch Punkte) in die Prüfungsverwaltung übertragen.
Falls übrigens eine Prüfung vom Online-Prüfungssystem als endgültig nicht bestanden (wegen Nicht-Bestehens im letzten Versuch) eingestuft wird, erfolgt zur Sicherheit keine sofortige Freigabe, sondern wird zunächst eine Überprüfung und gesonderte Bestätigung eingefordert.
Abschlussarbeiten werden im Online-Prüfungssystem typischerweise als reine Abgabeumgebungen umgesetzt, aber auch hier ist es prinzipiell möglich, ein individuelles Aufgabendokument direkt übers Online-Prüfungssystem zuzustellen. Die Aufgaben haben meist einen relativ simplen Aufbau: Studierende können eine Ausarbeitung ihrer Abschlussarbeit als PDF-Datei einsenden (wie bei typischen Hausarbeiten) und haben in der Regel auch noch die Möglichkeit, weitere Dateien als Anlangen hinzuzufügen.
Technische Besonderheiten liegen zum Ersten in der Anbindung der Prüfungsverwaltung (denn im Gegensatz zu anderen Prüfungen haben Abschlussarbeitsanmeldungen keinen festen Semesterbezug) und zum Zweiten in der Korrektur und Bewertung der Arbeiten:
Hier erstellen ein Erst- und ein Zweitprüfer unabhängig voneinander jeweils eine eigene sog. Teilkorrektur mit jeweils eigenem Gutachten und eigener Bewertung (Note). Dabei ist, je nach Wunsch der Fakultäten, einstellbar, ob die beiden Prüfer die Korrekturen/Gutachten des jeweils Anderen einsehen können oder nicht, und ob beide sofort parallel arbeiten dürfen oder der Zweitgutachter erst korrigieren kann, sobald das Erstgutachten vorliegt.
Die Korrekturzuteilung der Teilkorrekturen an die zuständigen Prüfer erfolgt hier nicht nach einem Verteilerschlüssel (wie z.B. bei Einsendearbeiten), sondern anhand der Prüferzuordnung in HIS-POS.
Liegen beide Teilkorrekturen vor, erkennt das System, ob noch ein Drittgutachten benötigt, wird, in welchem Fall eine dritte Teilkorrektur erzeugt und einem dritten Prüfer/Gutachter zugeteilt werden kann. Die Gesamtnote wird als Mittel aus allen (zwei oder drei) Teilbewertungen gebildet.
Während der COVID-19-Pandemie entstand ein dringender Bedarf für Online-Klausuren, die dann auch erstmals über das Online-Prüfungssystem3 angeboten wurden.
Die ersten Online-Klausuren erfolgten in der Regel unbeaufsichtigt. Damit das unproblematisch ist, sollten spezielle Aufgabenformen gewählt werden, bei denen man nicht einfach die Lösungen z.B. aus Kursunterlagen oder Online-Ressourcen abschreiben kann („Open-Book-Klausuren“). Um ein Befragen von KI-Systemen wie Chat-GPT zumindest zu erschweren, kann in der Klausurumgebung eine Einstellung aktiviert werden, die ein Copy-And-Paste von Aufgabentexten erschwert. (Das ist aber kein absoluter Schutz, hängt vom Browsersupport ab und lässt sich mit etwas Know-How auch umgehen.) Inzwischen können Online-Klausuren auch mit einer eingeschränkten Online-Aufsicht (Proctoring) durchgeführt werden, das erfolgt aber über externe Software und Regelungen und ist kein spezifisches Feature des Online-Prüfungssystems.
Online-Klausuren unterscheiden sich von Online-Hausarbeiten hauptsächlich durch die deutlich kürzere Bearbeitungszeit von wenigen Stunden im Gegensatz zu mehreren Tagen, und dadurch, dass hier explizit auch die Klausurteilnahme ohne Abgabe irgendwelcher Lösungen erfasst wird. Beides bedingt auch eine abweichende Anbindung an die Prüfungsverwaltung (derzeit HIS-POS):
Für Haus- oder Abschlussarbeiten kann dort ein individueller Bearbeitungszeitraum bestehend aus Start- und Enddatum hinterlegt werden kann, aber ohne Uhrzeit4. Für Klausuren ist das also nicht geeignet, um individuelle Schreibzeitverlängerungen zu erfassen. Dazu wurde in POS eine andere Möglichkeit einer Fristverlängerung in Minuten geschaffen, und diese Fristverlängerung in Minuten wird vom Online-Prüfungssystem automatisch ausgelesen und für die betroffenen Teilnehmer:innen auf die reguläre Abgabezeit aufgeschlagen. Dabei ist es dem Prüfungsamt sogar möglich, in begründeten Ausnahmefällen eine solche Verlängerung noch während der Bearbeitungszeit in HIS-POS einzupflegen. Das Online-Prüfungssystem wird diese (ggf. mit ein paar Minuten Verzögerung) erkennen und live anwenden.
Die zweite Besonderheit ist, dass bei Klausuren unterschieden werden soll zwischen angemeldeten, aber nicht zur Klausur erschienenen Studierenden einerseits und andererseits Studierenden, die zwar teilnahmen, jedoch keine Lösungen abgaben. Bei Präsenzklausuren wird das durch das Pflegen einer Teilnehmerliste seitens der Klausuraufsicht erreicht. Analog führt das Online-Prüfungssystem bei Online-Klausuren (anders als bei anderen Online-Prüfungen) auch explizit eine Teilnehmerliste. Dabei wird ein:e Studierende:r genau dann auf diese Teilnehmerliste gesetzt, wenn er/sie innerhalb des Bearbeitungszeitraums mindestens eine Aufgabenstellung eingesehen hat. Sollte jemand nun zwar Aufgaben angesehen haben, ohne jedoch etwas einzusenden, so kann das Online-Prüfungssystem ihn/sie dennoch als Teilnehmer:in erkennen und das Prüfungsergebnis („nicht bestanden“) zusammen mit einem entsprechenden Leerabgabe-Vermerk an die Prüfungsverwaltung (POS) übermitteln.
Im Rahmen der Online-Klausuren erstmals eingeführt, aber nicht auf diese Prüfungsform beschränkt, ist übrigens die Möglichkeit, in POS auch bestimmte Vermerke wie »Verdacht auf Täuschungsversuch« zu hinterlegen, die vom Online-Prüfungssystem automatisch als sog. Freigabehindernis erkannt werden, also eine (ggf. versehentliche) Freigabe der Korrektur und Note für den/die Studierende:n verhindern.
Da Präsenzklausuren im Zweifel doch durch die Aufsicht vor Ort weniger Betrugspotential bieten, kehrten nach der COVID-19-Pandemie manche Lehrende wieder zu Präsenzklausuren zurück. Dabei kam aber fakultätsübergreifend der Wunsch auf, den Online-Korrekturprozess analog zu Online-Klausuren und anderen Prüfungsformen weiterhin nutzen zu können und lediglich die Klausurdurchführung wieder zu „analogisieren“. Dazu wurde folgender Workflow geschaffen (ausführlichere Dokumentation unter Online-Korrektur für Offline-Klausuren):
Im Online-Prüfungssystem werden von den Lehrenden passende „Offline-Klausurumgebungen“ angelegt, in denen eine Online-Bearbeitung durch Studierende nicht möglich ist. Optional können die Lehrenden auch die Klausuraufgabenstellung und/oder Musterlösung hinterlegen. Studierende haben vor und während der Klausurdauer jedoch keinen Zugriff darauf, können weder die Aufgaben einsehen noch online etwas einsenden. Erst nach der Korrekturfreigabe können die Studierenden dort ihre Klausurkorrekturen (und ggf., sofern vorhanden, auch Aufgabenstellungen und Musterlösungen) online einsehen.
Die Klausuren werden (wie früher) in Präsenz und unter Aufsicht auf Papier geschrieben, und die abgegebenen Klausurexemplare wieder physisch zur FernUniversität nach Hagen transportiert. Hier werden sie dem Klausurservice übergeben, der sie digitalisiert (einscannt) und im Online-Prüfungssystem hinterlegt. (Für den Klausurservice unterscheidet sich dieser Vorgang nicht wesentlich vom schon früher etablierten Prozess des Einscannens von bereits fertig korrigierten Klausuren, um diese zur Online-Einsicht bereitzustellen, siehe sonstige Online-Klausureinsicht.) Diese Klausurscans werden dann beim Upload durch den Klausurservice automatisch in die zuvor angelegten „Offline-Klausurumgebungen“ eingefügt, wo sie dann als zu korrigierende „Dateieinsendungen“ vorliegen. Der weitere Korrekturprozess unterscheidet sich also nicht mehr von dem bei echten Online-Klausuren – abgesehen davon, dass hier grundsätzlich dateibasiert korrigiert wird, und zwar für jeden Klausurteilnehmer eine einzige PDF-Datei mit seiner gesamten Klausurlösung zu korrigieren ist5, während Online-Klausuren aus mehreren separaten Klausuraufgaben verschiedenster Art (z.B. automatisch oder handkorrigiert, Online-Formular oder Dateiupload) bestehen können.
Somit sind nach dem derzeitigen Stand für solche Präsenzklausuren auch keine automatisch bewerteten Aufgaben (z.B. Multiple-Choice) möglich (außer über LOTSE-Klausuren).
Normalerweise sind solche Präsenzklausurumgebungen nur für die Korrektur von gescannten Klausuren sowie die anschließende Online-Klausureinsicht durch die Studierenden gedacht. Nun gibt es aber bei unseren Klausuren auch gewisse Sonderfälle wie z.B. Teilnahmen im Ausland (z.B. in Goethe-Instituten) oder in einer JVA, wo herkömmliche physische Klausuren auf Papier problematischer sein können als an regulären Klausurorten.
Daher bietet das Online-Prüfungssystem für Präsenzklausuren / „Offline-Klausuren“ auch die Option an, zumindest für bestimmte Sonderfälle doch eine Online-Teilnahme zuzulassen. Dazu ist dann auch mindestens die Klausuraufgabenstellung in der Umgebung zu hinterlegen.
Als Zugriffsberechtigung für die Online-Teilnahme fungiert hier eine in der Prüfungsverwaltung (HIS-POS) vorliegende Klausuranmeldung mit einem speziellen Online-Sonderfallkennzeichen6. Alle anderen Anmeldungen, also Normalfallanmeldungen zu einem regulären Klausurort sowie Sonderfallanmeldungen ohne spezifisches Online-Kennzeichen berechtigen nicht zum Online-Zugriff (außer natürlich später zur Klausureinsicht).
Solche Sonderfall-Online-Klausurteilnahmen finden dann in der Regel nicht als unbeaufsichtigte Heimklausuren statt, sondern auch unter Aufsicht in Einrichtungen wie einer JVA oder einem Goethe-Institut etc. Aus Kompatibilitätsgründen erfolgen auch die Online-Einsendungen in Form eines Uploads genau einer PDF-Datei mit den Lösungen zur gesamten Klausur. Falls die Sonderfallklausur auf Papier geschrieben wurde, muss sie vor Ort noch im Bearbeitungszeitraum eingescannt (ggf. auch z.B. mit einer Handy-App über die Kamera) und dann hochgeladen werden.
Bei LOTSE-Klausuren handelt es sich ebenfalls um Präsenzklausuren, die unter Aufsicht und auf Papier geschrieben werden, jedoch automatisch korrigiert werden. Die Klausurlösungen werden auf speziellen OCR-Bögen notiert, die in Hagen eingescannt werden. Die davon automatisch erfassten Lösungen werden dann ins Online-Prüfungssystem übernommen und dort vollautomatisch bewertet.
Dieses Verfahren soll auf längere Sicht nicht mehr eingesetzt werden, es gibt aber derzeit auch noch keinen Ersatz für papiergebundene vollautomatisch bewertete Klausuraufgaben.
Ein neuer Prozess ist aber für die Zukunft durchaus denkbar, bei dem der Klausurservice maschinenlesbare Klausurformulare erstellt, die in Präsenz per Stift ausgefüllt und beim Scannen durch den Klausurservice automatisch ausgelesen werden, so dass die Lösungen später vom Online-Prüfungssystem automatisch korrigiert werden. Vom bestehenden LOTSE-Klausur-System würde sich das durch flexiblere Aufgabenformulare unterscheiden – die Lösungsfelder könnten z.B. direkt in den Aufgabenblättern stehen, statt auf einem separaten Formular, und es wären mehr Aufgabentypen möglich als nur 1-aus-5, X-aus-5 oder Zahlenfragen –, und es müsste ein neuerer Weg zur Datenübertragung der Scanerfassungen zum Online-Prüfungssystem geschaffen werden, der nicht mehr über Relikte des alten LOTSE-Systems abläuft.
Solche Überlegungen gibt es schon seit Jahren, sie wurden dann aber seit der COVID-Pandemie (und der Dynexite-Einführung) vorerst nicht weiterverfolgt.
An der Fakultät für Psychologie wird derzeit eine andere Variante von automatisch bewerteten Präsenzklausuren praktiziert, mit Hilfe des Dynexite-Systems. Damit werden Klausuren an den Präsenzstandorten (unter Aufsicht) nicht auf Papier geschrieben, sondern elektronisch mit dort ausgegebenen Tablets.
Während eine Stärke von Dynexite durchaus darin besteht, eine Art von Online-Klausuren zu ermöglichen, die aber nicht übers Internet erreichbar sind, sondern nur standortlokal, wo die Klausuraufsicht sichergestellt ist, so kann das System derzeit (Stand Ende 2023) noch nicht alle unsere Workflows abbilden. Insbesondere fehlen noch eine Online-Klausureinsicht, Benotung oder bestimmte Multiple-Choice-Ratekorrekturmodi, wie sie seit LOTSE an der FernUniversität üblich sind, aber ausschließlich vom Online-Übungs-/Prüfungssystem geboten werden.
Daher werden die mit Dynexite erfassten Klausureingaben derzeit am Ende ins Online-Prüfungssystem übertragen und dort abschließend ausgewertet und benotet, und das Online-Prüfungssystem bietet dann auch die Online-Klausureinsicht für die Studierenden.
Es gibt weiterhin auf Papier geschriebene Präsenzklausuren, die auch konventionell auf Papier korrigiert werden, also nicht in digitaler Form vorliegen. Auch für diese Klausurkorrekturen soll den Studierenden eine Klausureinsicht ermöglicht werden, und damit sie dazu nicht mehr extra nach Hagen anreisen müssen, wurde eine Möglichkeit zur Online-Klausureinsicht geschaffen. In diesem Fall scannt der Klausurservice die fertig korrigierten Klausurexemplare und lädt sie (im PDF-Format) in eine Online-Klausureinsicht-Umgebung des Online-Prüfungssystems hoch, wo die Studierenden daraufhin (nach Login) ihre Korrekturen befristet einsehen können.
Inzwischen werden die meisten Klausuren pauschal nach Korrektur zur Online-Einsicht bereitgestellt, aber es gibt m.W. (Stand Sommersemester 2023) auch noch Fälle, in denen Studierende zunächst einen Antrag auf Online-Klausureinsicht stellen müssen, und erst nach Antragsbearbeitung werden dann die entsprechenden Klausurexemplare an den Klausurservice zur Veröffentlichung gegeben.
Auch zur Antragstellung wurde eine entsprechende Funktionalität im Online-Prüfungssystem implementiert: Der Klausurservice richtet dazu für die betreffenden Prüfungen im Vorfeld im Online-Prüfungssystem entsprechende Antragsoptionen ein, die Studierenden können dann nach der Klausurkorrektur in der Online-Klausureinsichts-Umgebung ihren Antrag auf Klausureinsicht online stellen, der Klausurservice wiederum kann die eingegangenen Anträge einsehen und dann bearbeiten.
Diese Funktionalität ähnelt technisch der (sonstigen) Online-Klausureinsicht, wird aber in einem anderen Szenario benutzt: Für Prüfungen wie z.B. Hausarbeiten, die nicht online durchgeführt werden, wird ggf. ein so genannter Prüfungskommentar erstellt, ein separates Anschreiben, das die Bewertung und Kommentare zur Arbeit enthält. Früher wurden diese dann ausgedruckt und per Post versandt. Um das zu vermeiden wurde im Online-Übungssystem eine Möglichkeit geschaffen, diese Kommentare in digitaler Form (PDF) zur Online-Einsicht für die Studierenden bereitzustellen.
Die Nutzung der Funktion stirbt aber mit zunehmender Digitalisierung der Prüfungen aus.
Bei den beiden folgenden Szenarien handelt es sich jeweils um eine besondere Prüfungsform, bei der Studierende zunächst gewisse Nachweise sammeln müssen – in gewisser Hinsicht vergleichbar mit Leistungsnachweisen – und die fertig gesammelten Nachweise eines gewissen Mindestumfangs dann einreichen müssen, um eine – unbenotete – Prüfungs(vor)leistung bzw. ECTS-Credits dafür angerechnet zu bekommen.
An der Fakultät für Psychologie gibt es hier die Nachweise über geleistete Versuchspersonenstunden. Die Studierenden sammeln diese Nachweise, wobei derzeit (Stand Ende 2023) prinzipiell drei verschiedene „Formate“ existieren:
Sobald die Studierenden Nachweise im geforderten Umfang gesammelt haben, können sie sich in eine entsprechende Umgebung im Online-Prüfungssystem einloggen und dort ihre PDF-Nachweise (Typen 2 und 3) hochladen.
Ein spezifisch für diese Umgebung entwickeltes Korrekturmodul kann die annotierten PDFs (Typ 2) automatisch auswerten und lädt zusätzlich alle in Sona verzeichneten Leistungen (Typ 1) desselben Studierenden über einen Sona-WebService herunter, und erstellt so eine erste Auswertung der vorliegenden Leistungen (ohne Typ 3). Wenn diese im Umfang bereits genügen (z.B. weil gar keine Typ-3-Nachweise darunter waren), kann es direkt die Prüfungsleistung als erbracht bewerten, andernfalls wird die Einsendung zur abschließenden Bewertung einem Menschen vorgelegt, der die übrigen PDF-Nachweise (Typ 3) einsehen muss, um die Gesamtsumme der eingereichten Versuchspersonenstunden zu ermitteln und zu entscheiden, ob die Prüfungsleistung damit erbracht wurde oder nicht.
Wenn die Leistung als erbracht gilt, wird ein entsprechender Eintrag in der Prüfungsverwaltung (HIS-POS) erzeugt.
Die Fakultät für Rechtswissenschaften nutzte bis einschließlich Wintersemester 2022/23 ein ähnliches Verfahren (aber ohne Korrekturmodul oder externes Portal) zur Einreichung von Erfassungsbögen über Pflicht-Arbeitsgemeinschaften.
Seit Sommersemester 2023 sind alle Arbeitsgemeinschaften freiwillig und stellen keine Voraussetzung mehr zur Teilnahme an einer Modulabschlussprüfung mehr dar.
Unabhängig von den konkreten derzeitigen Einsatzszenarien soll hier ein möglichst kompakter Überblick über die wichtigsten Funktionen des Online-Übungs- bzw. Prüfungssystems gegeben werden. Diese Kernfunktionen sind natürlich das Anbieten von Online-Aufgaben unterschiedlichster Form sowie deren Korrektur. Dieses Kapitel beginnt daher – nach einigen Ausführungen zur Studierenden-Sicht – mit einem Überblick über mögliche Aufgabentypen, um anschließend den Korrekturworkflow für manuelle Korrekturen vorzustellen und auch knapp auf die Erstellung von Aufgaben einzugehen. Abschließend werden noch Aspekte wie Individualisierung von Aufgaben durch Randomisierung oder individuelle Aufgabendokumente sowie die Statistikfunktionen kurz vorgestellt.
Aufgaben im Online-Übungssystem sind zunächst zu so genannten Aufgabenheften gruppiert: Ein Aufgabenheft bündelt eine oder mehrere Aufgaben mit insbesondere einem gemeinsamen Bearbeitungszeitraum und für die am Ende ein Gesamtergebnis ermittelt werden soll. In der Praxis entspricht – je nach Anwendungsszenario – ein solches Aufgabenheft also z.B. genau einer Einsendearbeit oder Selbstkontrollarbeit. (Der Name „Aufgabenheft“ geht zurück auf die WebAssign-Ursprünge und bezieht sich auf die grünen bzw. gelben „Hefte“ mit den Aufgabenstellungen, die zu jeder Einsende- bzw. Selbstkontrollarbeit mit den Kursmaterialien per Post verschickt wurden.) In Kursumgebungen des Online-Prüfungssystems entsprechen solche Aufgabenhefte einer Prüfung, also z.B. einer Haus- oder Abschlussarbeit oder Klausur. Neben dem Bearbeitungszeitraum sind diesen dann auch z.B. Prüfungsnummern zugeordnet, und Studierenden kann an Stelle des globalen Einsendungszeitraums ein individueller Zeitraum gewährt werden, wenn der in POS zur Prüfungsanmeldung hinterlegt ist.
Studierende können die Aufgaben eines Aufgabenhefts immer erst ab dessen Bearbeitungsbeginn online einsehen, dann bearbeiten und Lösungen dazu einsenden. Eine solche Einsendung ist dabei nicht endgültig, sondern kann bis zum Einsendeschluss jederzeit wiederholt / überarbeitet werden – oder bis zur Abgabe: Optional kann Studierenden die Möglichkeit einer vorzeitigen endgültigen Abgabe eines Aufgabenhefts (als „Heft-Schließen“ bezeichnet) eingeräumt werden. Damit nimmt sich ein:e Studierende:r zwar die Möglichkeit, noch bis zum Einsendeschluss weitere Änderungen vorzunehmen, dafür könnte er/sie aber davon profitieren, dass die Korrektur früher verfügbar ist. Denn diese Abgabe dient hauptsächlich dazu, dass bei handbewerteten Aufgaben schon früher mit den Korrekturen begonnen werden kann.
(Alternativ gibt es auch die Möglichkeit, insb. bei Prüfungen, ein Aufgabenheft so einzurichten, dass die explizite Abgabe zur Pflicht erklärt wird und Einsendungen zu Aufgabenheften, die vor Einsendefrist nicht explizit abgegeben wurden, als „nicht abgegeben“ angesehen und nicht bewertet werden. Das ist aber nicht üblich.)
Bei der Aufgabenbearbeitung gilt im Online-Übungssystem ein „Einsendeprinzip“. Das soll heißen: Eingaben in ein Aufgabenformular werden nicht ständig / automatisch im Hintergrund bei der FernUni gespeichert, sondern bleiben so lange lokal, bis sie explizit gespeichert bzw. an die FernUni eingesendet wurden. Die Einsendung ist dabei aber nicht final, man kann auch jederzeit Zwischenstände einsenden und später komplettieren oder nachbearbeiten. Ein Einsendevorgang / Speichervorgang wird stets mit einer Quittung beantwortet, die dem/der Einsender:in noch einmal explizit anzeigt, was genau eingegangen ist und gespeichert wurde. Das gilt auch für Dateiuploads: Dort enthält die Quittung einen Link zur eingegangenen Datei und die Empfehlung, zur Kontrolle die Datei über diesen Link wieder abzurufen, um eine versehentliche Einsendung einer falschen Datei oder Übertragungsfehler erkennen zu können.
Aber auch nach Schließen der Quittung und Rückkehr zum Aufgabenformular ist der an der FernUni / im System vorliegende Einsendungsstand jederzeit einsehbar7. Die letzten Eingaben werden wieder direkt im Aufgabenformular eingeblendet und können dort überarbeitet und dann erneut eingesendet werden. Im Falle von Dateiuploads wird zum Uploadfeld dann normalerweise ein Link zur letzten Einsendung eingeblendet, und diese letzte Einsendung kann auch wieder zurückgezogen oder durch einen neuen Upload überschrieben werden.
Dieses „Einsendeprinzip“ stellt insbesondere sicher, dass versehentliche Eingaben oder Löschungen aus dem Aufgabenformular nicht automatisch übertragen werden, und dass für Studierende stets transparent ist, welcher Bearbeitungsstand bei der FernUni gerade vorliegt.
Zur Absicherung gegen Situationen wie versehentliches Verlassen des Aufgabenformulars ohne Einsendung/Speicherung, versehentliches Beenden oder Absturz des Browsers bis hin zu Computerabsturz oder Stromausfall werden die noch nicht eingesendeten Eingaben jedoch lokal im Browser zwischengespeichert. Im Aufgabenmenü werden solche Aufgaben, zu denen es uneingesendete Eingaben gibt, hervorgehoben, und beim erneuten Aufruf des Aufgabenformulars werden zwar zunächst – wie immer – die serverseitig / an der Uni vorliegenden Eingaben angezeigt, aber auch die Option angeboten, die letzten uneingesendeten Eingaben wiederherzustellen. Diese können dann kontrolliert und ggf. noch nachträglich eingesendet (oder, z.B. im Fall versehentlicher Eingaben, auch verworfen) werden.
Nach Bearbeitungsende (bzw. vorzeitiger endgültiger Abgabe) bleiben die Aufgaben und Einsendungen für die Studierenden sichtbar, es können aber keine weiteren Überarbeitungen und nachträglichen Einsendungen mehr vorgenommen werden. Dafür ist dann der Korrekturstatus sichtbar, und nach Freigabe der Korrekturen (siehe Korrekturworkflow) ist die Korrektureinsicht online möglich. Auch Musterlösungen können zur Verfügung gestellt werden, der Zeitpunkt dazu ist von der Kursbetreuung einstellbar (z.B. direkt ab Einsendeschluss oder erst mit Korrekturfreigabe).
Das Online-Übungssystem bietet sehr große Freiheiten bei der Aufgabengestaltung, so dass eine vollständige Auflistung aller möglichen Aufgabentypen nicht möglich ist. Es gibt aber einige sozusagen vordefinierte Aufgabentypen, von denen Aufgaben sehr einfach erstellt werden können, während die Erstellung von Aufgaben anderer Typen entsprechend aufwendiger ist.
Es bietet sich an, Aufgaben zunächst nach der Art der Korrektur und Bewertung ihrer Einsendungen zu klassifizieren in
Da eine vollautomatische Korrektur in der Regel sehr schnell (in Sekunden) abläuft, kann sie zu verschiedenen Zeitpunkten erfolgen: Direkt bei Einsendung als Sofortfeedback (siehe Selbsttestaufgaben), sowie bei Abgabe einer Arbeit bzw. nach Einsendeschluss (wenn keine vorzeitige Abgabe erfolgt).
Es gibt einen systeminternen Aufgabenbewerter, der insbesondere alle Aufgabentypen unterstützt, die LOTSE kannte, jedoch auch mehr. Die wichtigsten dieser Aufgabentypen sind:
Multiple-Choice-Fragen verschiedenster Art wie:
Einfachauswahl (1 aus N)
Mehrfachauswahl (x aus N) in nochmal verschiedenen Varianten, die sich z.B. darin unterscheiden, ob auch alle vorgegebenen Antwortoptionen falsch sein können oder mindestens eine richtige Antwortoption existiert, ob Studierende nur richtige Antwortoptionen ankreuzen sollen und alle nicht-angekreuzten damit implizit als falsch kennzeichnen, oder ob sie drei Antwortmöglichkeiten haben, also Antwortoptionen explizit als richtig oder falsch markieren können oder eben gar keine Einschätzung dazu abgeben. Außerdem gibt es verschiedene Bewertungsmodi mit oder ohne „Ratekorrektur“8 zur Auswahl, insbesondere beide bereits im LOTSE-System eingesetzten Ratekorrekturversionen.
Zuordnungsfragen (Tabelle mit mehreren Einfachauswahlfragen als Zeilen und einheitlichen Antwortoptionen als Spalten)
Sowohl Einfach- und Mehrfachauswahlfragen als auch Zuordnungsfragen können auch als sog. Imagemaps realisiert werden, so dass die Antwortoptionen anklickbare Bereiche in einem Bild (wie z.B. abgebildete Buchrücken, Regionen auf einer Landkarte etc.) sind.
Fragen nach Zahlen (genau eine Zahl, Zahl aus einem Lösungsintervall oder auch Zahl aus einem von mehreren Lösungsintervallen)
Fragen nach Begriffen (z.B. „Nennen Sie 10 deutsche Bundesländer“): Studierende müssen eine bestimmte Anzahl von Begriffen eingeben, die in einer Lösungsmenge liegen müssen. Mit Synonymunterstützung. Begriffe können sich auch in einzeln einzugebende Teilbegriffe untergliedern. Begriffe sind meistens einfacher Text, aber es gibt auch die Möglichkeit, nach Zahlen zu fragen. Statt vorgegebener Musterbegriffe können auch reguläre Ausdrücke verwendet werden, um Lösungsmuster zu beschreiben.
Lückentexte bzw. Fragen nach Begriffen in einer bestimmten Abfolge. Es können Texteingabefelder, Zahleneingabefelder oder auch Auswahlfelder als Textlücken verwendet werden. Ansonsten vergleichbar mit Begriffsfragen.
Bildpunkt-Auswahl: Auf einem Bild soll ein Punkt (in einem bestimmtem Umkreis um einen Lösungspunkt) markiert werden (durch eine Art Stecknadel, die Studierende setzen).
Prinzipiell sind aber noch beliebige weitere Aufgaben mit vollautomatischer Bewertung denkbar. Dafür benötigte eigene Korrekturlogik kann als externes Korrekturmodul jederzeit an Kursumgebungen des Online-Übungssystems angebunden werden.
Korrekturmodule (ebenso wie Vorkorrekturmodule) können in praktisch beliebiger Programmiersprache als SOAP-Webservice selbst entwickelt werden. Für Java gibt es Demo- und Entwicklungspakete, um die Entwicklung zu vereinfachen. Ein Korrekturmodul bekommt jeweils die Eingaben und/oder Dateieinsendungen der Studierenden übermittelt und kann dazu eine Korrekturausgabe (z.B. in Form von Text und/oder Dateien) erzeugen und eine Bewertung in Punkten berechnen, die es ans Online-Übungssystem dann zurück übermittelt. Aus Gründen der Datensicherheit dürfen Korrekturmodule derzeit nur im Netzwerk der FernUniversität betrieben werden.
Bei manueller Korrektur werden die Einsendungen von Menschen korrigiert. Sie durchlaufen dazu einen im Folgenden noch genauer vorgestellten Korrekturworkflow. Dieser ermöglicht es insbesondere, dass nicht nur ein:e Lehrende:r für die Korrekturen zuständig ist, sondern dass der Korrekturprozess an Hilfskräfte wie SHK oder Werkvertragsnehmer delegiert wird. Die zu korrigierenden Einsendungen können automatisch (nach verschiedenen Strategien und Verteilschlüsseln) oder manuell (durch eine:n Betreuer:in) auf diese Korrekturkräfte verteilt werden, und die von den Korrekturkräften fertiggestellten Korrekturen können von den zuständigen Prüfenden oder Lehrenden bei Bedarf kontrolliert und ggf. wieder einer Korrekturkraft zur Nachkorrektur zugeteilt werden.
Neben vollständig automatischer oder manueller Korrektur gibt es noch verschiedene Mischformen.
Zum Ersten ist es möglich, dass eine zu korrigierende Einsendung nacheinander zunächst eine Autokorrektur und anschließend zusätzlich – zumindest wenn die Autokorrektur nicht die volle Punktzahl vergeben hat – eine manuelle Nachkorrektur durchläuft, um z.B. die Punktabzüge der Autokorrektur im Einzelfall zu prüfen oder manuell weitere individuelle Erläuterungen hinzuzufügen.
Zum Zweiten muss eine erste Autokorrektur-Stufe keine komplette Korrektur mitsamt Bewertung (Punkteberechnung) sein, sondern kann eine reine unbewertete Vorkorrektur darstellen. Bei Programmieraufgaben kann eine solche Vorkorrektur z.B. eingegebene Quelltexte kompilieren (und somit insb. Syntaxfehler finden) und ggf. auch schon ein paar Tests durchführen (und damit ggf. schon inhaltliche Fehler aufdecken), ohne eine vollständige Bewertung der Korrektheit oder gar des Programmierstils vorzunehmen. Anschließend erfolgt in der Regel eine manuelle Korrektur, und die Korrekturkraft nimmt dann auch die Bewertung vor.
Die Vorkorrektur unterstützt insbesondere die Korrekturkraft und kann so helfen, die manuelle Korrekturdauer zu verkürzen. Eine weitere Besonderheit von Vorkorrekturen ist aber auch ihr Ausführungszeitpunkt: Im Gegensatz zu „echten“ Autokorrekturen (mit Bewertung) werden Vorkorrekturen nicht erst nach Abgabe bzw. Einsendeschluss erstellt, sondern unmittelbar nach einer Einsendung. Das ermöglicht es, diese Vorkorrektur direkt als Sofortfeedback den Studierenden nach Einsendung anzuzeigen, so dass diese anhand der Vorkorrektur ihre Einsendung nochmals überarbeiten können. So kann eine Art interaktiver Aufgabenbearbeitung stattfinden und der Lernprozess gefördert werden.
Prinzipiell können Vorkorrekturen auch mit abschließender automatischer Bewertung kombiniert werden, also direkt nach Einsendung eine erste Vorauswertung als Sofortfeedback angezeigt werden, und nach Abgabe könnte eine ausführlichere automatische Korrektur und Bewertung (abschließend oder sogar noch mit manueller Nachkorrektur) erfolgen. Das ist aber eher unüblich.
Für eine solche automatische Vorkorrektur können externe Vorkorrekturmodule als WebServices angebunden werden. Technisch unterscheiden diese sich kaum von Korrekturmodulen, sie werden nur zu einem anderen Zeitpunkt aufgerufen und geben keine berechnete Gesamtpunktzahl aus, da sie nicht zur Bewertung gedacht sind.
Es ist auch möglich, „Kombi-Korrekturmodule“ zu entwickeln, die sowohl als Vorkorrekturmodul als auch als Korrektur-/Bewertermodul fungieren können.
Der Korrekturworkflow des Online-Übungssystems sieht einen Prozess in mehreren Schritten vor:
Als Variante der Nachbearbeitung wegen Mängeln kann mit dem obigen Prozess auch eine zweistufige Korrektur nach einem Vier-Augen-Prinzip vorgenommen werden: Wenn ein:e Korrektor:in die Arbeit fertig korrigiert hat, kann ein:e Betreuer:in sie auch direkt (ohne eigene Prüfung) einer anderen Korrekturkraft zuteilen, die für Kontrolle und ggf. Nachkorrektur zuständig ist.
Die Korrekturzuteilung kann manuell durch eine:n Betreuer:in erfolgen oder automatisch. Genauer: Eine automatische Verteilung kann wahlweise vollautomatisch (nachts nach Einsendeschluss bzw. Abgabe) oder manuell durch eine:n Betreuer:in ausgelöst / getriggert werden. In letzterem Fall, also wenn ein:e Betreuer:in eine solche automatische Verteilung manuell anstößt, ist die so erzeugte Zuteilung zunächst vorläufig und kann noch für eine gewisse Zeit anschließend manuell nachbearbeitet werden. Oder die einzelnen Einsendungen können auch komplett manuell ausgewählt und Korrekturkräften zugeordnet werden.
Falls die Verteilung nicht automatisch ausgelöst wird, können alternativ Erinnerungs-E-Mails an die Betreuung verschickt werden, sobald verteilbare / abgegebene Einsendungen vorliegen.
Die (vollautomatisch oder manuell ausgelöste) automatische Verteilung erfolgt in der Regel nach einem Wochenstunden-Verteilungsschlüssel: Korrigieren z.B. SHK oder WHK, so können deren vertraglich vereinbarten Wochenstunden erfasst werden, und die zugeteilten „Paketgrößen“ werden dann proportional zu diesen Wochenstunden gewählt.
Weitere Einstellmöglichkeiten zur Verteilstrategie sind z.B., ob jede Aufgabeneinsendung unabhängig zugeteilt werden soll oder alle Einsendungen eines Studierenden zu einer Arbeit oder Einheit zusammenhängend dem-/derselben Korrekturkraft zugeteilt werden soll. Es ist auch möglich, einzustellen, dass über alle Kurseinheiten/Einsendearbeiten hinweg die Einsendungen eine:r Studierenden immer derselben Korrekturkraft zugeordnet werden sollen, so dass diese z.B. den Lernfortschritt beurteilen kann.
Bei Prüfungen können auch Prüfer-IDs zur Verteilung herangezogen werden. Insbesondere bei Abschlussarbeiten, bei denen die einzelnen Prüfer die Korrektor:innenrolle haben, werden die Arbeiten natürlich nicht irgendeinem Prüfer zugeteilt, sondern genau den jeweiligen Prüfern der Abschlussarbeit, wie in der Prüfungsanmeldung hinterlegt.
Die konkrete Arbeitsweise der Korrekturkräfte hängt nicht zuletzt auch von der Art der Aufgaben ab. Das Online-Übungssystem unterstützt verschiedene Korrekturmodi. Die „herkömmliche HTML-Korrektur“ stammt noch aus dem Original-WebAssign-Projekt. Damit wird eine (HTML-)Korrekturseite mit einer externen Editor-Software bearbeitet. Das wird heute aber in der Regel nicht mehr genutzt.
Moderner und einfacher zu bedienen, ist die In-Browser-Korrektur: Hier bereiten die Aufgabenautoren für die Korrekturkräfte ein eigenes Korrekturformular vor, die Korrigierenden öffnen dann also im Browser eine Webseite, in der sie (neben Gliederungen und ggf. Aufgabentexten o.ä.) im Wesentlichen die Eingaben des/der jeweiligen Einsender:in sehen sowie Eingabefelder, in die sie ihre Kommentare und Bewertung schreiben können. Im einfachsten Fall gibt es nur ein Eingabefeld für einen Korrekturkommentar und die Möglichkeit, die Gesamtpunktzahl zu erfassen. Es können aber auch komplexere Formulare mit mehreren Textboxen oder Text-Eingabezeilen, mehreren Eingabe- oder Auswahlfeldern für Teilpunktzahlen, Checklisten etc. erstellt werden. Die folgende Abbildung zeigt beispielhaft verschiedene Möglichkeiten von Eingabeelementen eines In-Browser-Korrekturformulars:
Darüber hinaus kann auch mit Dateianhängen gearbeitet werden:
An Stelle von (oder zusätzlich zu) Online-Korrekturformularen können auch PDF-Formulare erstellt werden, die von den Korrekturkräften ausgefüllt werden sollen. Diese können z.B. ebenfalls Checklisten und Textfelder enthalten, können automatisch eine Punktzahl und ggf. Note berechnen etc.
Wenn ein solches Formular zur Aufgabe hinterlegt ist, kann eine Korrekturkraft zu jeder Korrektur ein Exemplar davon herunterladen. Felder wie Matrikelnr. und Namen des/der Studierenden oder Name der Korrekturkraft selbst werden dabei bereits automatisch gefüllt. Das fertig ausgefüllte Formular lädt die Korrekturkraft dann wieder hoch. Sollte das Formular eine (von der Korrektor:in manuell eingegebene oder vom Formular berechnete) Bewertung enthalten, wird diese direkt vom Online-Übungssystem wieder ausgelesen und übernommen.
Eine genauere Beschreibung findet sich in einer gesonderten Dokumentation zu PDF-Formularen.
Es gibt auch – insbesondere bei Haus- und Abschlussarbeiten – den Fall, dass die Studierenden ausschließlich Dateien hochladen und keine Webformulare ausfüllen, und dass auch die Korrekturkräfte lediglich mit Dateien arbeiten sollen, also z.B. die von den Studierenden hochgeladenen Dateien einsehen und ggf. mit Kommentaren versehen sowie ggf. noch PDF-Korrekturformulare dazu ausfüllen. Diese Korrekturform, bei der die Korrektor:innen also nur mit Dateien arbeiten und keine In-Browser-Korrekturformulare im Browser ausfüllen sollen, wird auch als rein dateibasierte Korrektur bezeichnet.
Für die rein dateibasierte Korrektur steht optional (neben der Einzel-Korrektur über den Browser) auch ein Offline-Korrekturworkflow zur Verfügung:
Ein:e Korrektor:in kann dann zu einer Arbeit eine ZIP-Datei herunterladen, die alle ihr zugeteilten Dateieinsendungen sowie ggf. noch PDF-Formulare oder – wenn keine Formulare mit Bewertungsfunktion existieren – eine Bewertungstabelle10 pro Aufgabe enthalten. Dann kann er/sie diese Dateien alle offline (ohne Internetverbindung / ohne Interaktion mit dem Online-Übungssystem) bearbeiten bzw. ausfüllen. Nach Fertigstellung der Korrekturen können diese Dateien dann wieder gezippt und ins Online-Übungssystem hochgeladen werden. Die Bewertungen werden, falls vorhanden, aus den PDF-Dateien oder Bewertungstabellen übernommen. Sollte beides nicht genutzt werden, können die Bewertungen auch in einer Online-Tabelle im Übungssystem direkt erfasst werden.
Insbesondere für Abschlussarbeiten wurde eine spezielle Erweiterung des Korrekturworkflows vorgenommen, die sog. Mehrfachkorrektur11.
Der Hintergrund ist, dass bei Abschlussarbeiten zwei oder drei Prüfer:innen beteiligt sind, und dass hier auch kein mehrstufiger Korrekturprozess der oben beschriebenen Art (Erstprüfer erstellt Korrektur mit Gutachten und Note, dann wird an einen Zweitprüfer zugeteilt, der die Korrektur des Erstprüfers überarbeiten und auch die Bewertung anpassen kann) vorgesehen ist, sondern vielmehr jede:r Prüfer:in eine eigene sog. Teilkorrektur bearbeitet: Jede:r Prüfer:in bekommt eine eigene Kopie der abgegebenen Arbeit und kann dort seine/ihre eigenen Anmerkungen anbringen, und jede:r Prüfer:in erstellt ein eigenes Gutachten und vergibt eine Note. Die Gesamtnote der Prüfung wird als Durchschnitt der Noten der Teilkorrekturen gebildet und vom Online-Prüfungssystem automatisch berechnet.
Der Korrekturworkflow sieht – zumindest für Abschlussarbeiten12 – also leicht variiert zum Standardfall wie folgt aus:
Die Aufgabenerstellung wird bereits in zwei separaten Handbüchern ausführlich beschrieben:
Hier soll also nur ein knapper Überblick über grundlegende Möglichkeiten und Spezialfälle gegeben werden:
Das Online-Übungs-/Prüfungssystem bietet zwei Aufgabeneditoren, sog. Aufgabenerstellungs-Assistenten an, mit denen sich vollautomatisch bewertete Aufgaben bzw. rein manuell bewertete Aufgaben relativ einfach im Browser zusammenstellen lassen.
Der Editor für automatisch bewertete Aufgaben enthält verschiedene vorgegebene Fragetypen wie z.B. Multiple-Choice-Fragen oder Zahlenfragen oder Lückentextfragen als konfigurierbare Bausteine, aus denen sich komplexere Aufgabenseiten zusammenfügen lassen.
Für handbewertete Aufgaben gibt es zwar keine vorgefertigten Fragetypen13, aber auch dort werden Aufgabenseiten aus Bausteinen zusammengesetzt, genauer: Eine Aufgabenseite setzt sich aus einer oder mehreren Fragen zusammen, und eine Frage wiederum kann aus Bausteinen wie Überschrift, Aufgabentext, Abbildung, Musterösungstext, Text-Eingabebox für Studierende, Dateiuploadfeld für Studierende, Eingabemöglichkeiten für Korrekturkräfte etc. zusammengefügt werden.
Beiden Editoren gemeinsam sind dann weitere Optionen wie z.B. eine Fragen-Randomisierung. Auch steht in beiden ein Fragenpool zur Verfügung, um einzelne Fragen semesterübergreifend (und ggf. nach Themen hierarchisch organisiert) ablegen und später in anderen Aufgaben wiederverwenden zu können.
Wer mehr Gestaltungsspielräume benötigt, als sie die Aufgabeneditoren bieten, oder erweiterte Funktionen wie eigene Korrekturmodule oder Mischformen der Autokorrektur und manuellen Korrektur nutzen möchte, kann auf die fortgeschrittene Aufgabenerstellung zurückgreifen. Dabei kann eine Aufgabe komplett im fortgeschrittenen Modus erstellt werden, man kann aber auch zunächst mit einem der Assistenten beginnen und erst später zur fortgeschrittenen Aufgabenerstellung wechseln und die assistentengestützt erzeugte Aufgabe dort nachbearbeiten.
Diese fortgeschrittene Aufgabenerstellung erfordert mehr Kenntnisse, bietet dafür aber maximale Freiheiten. Aufgabenressourcen wie das eigentliche Aufgabenformular, Quittungen, Korrekturformulare etc. werden hier direkt als HTML-Seiten erstellt, ggf. auch mit eigenem CSS oder JavaScript.
Auch Konstruktionen wie Mehrschritt-Einsendungen (so dass beim Aufgabenaufruf zunächst nur ein erster Teil der Aufgabe sichtbar ist und nach Einsendung der Eingaben dann wieder ein Teilformular mit dem nächsten Aufgabenteil erscheint) sind beispielsweise möglich.
Dazu kann z.B. beliebige Autokorrekturlogik programmiert und angebunden werden. Auch das Anbinden externer Systeme ist auf verschiedene Weisen möglich, z.B. über Ajax-Requests aus dem Browser (ggf. über einen speziellen Proxy-Dienst des Online-Übungssystems, der nur autorisierte Kursbeleger auf ein im FeU-Netz betriebenes Drittsystem zugreifen lässt) oder über entsprechende Anbindungen in Korrekturmodulen (wie z.B. das Korrekturmodul für Versuchspersonenstunden auf das externe Sona-System zugreift).
Nicht immer ist es gewünscht, dass alle Teilnehmer:innen an einer Arbeit exakt dieselbe Arbeit sehen, sondern dass es individuelle „Exemplare“ davon gibt. Hier gibt es im Wesentlichen zwei Möglichkeiten: Der Einsatz eines Zufallsgenerators für individuelle Reihenfolgen oder Auswahlen auf der einen Seite, sowie komplett individuell erstellte Aufgabenblätter pro Teilnehmer:in auf der anderen Seite.
Unter Randomisierung werden im Online-Übungs-/Prüfungssystem alle Maßnahmen zusammengefasst, in denen ein Zufallsgenerator für jede:n Teilnehmer:in eine individuelle Arbeit aus einer einheitlichen Vorlage erstellt. Insbesondere bei Online-Klausuren mit automatisch bewerteten Aufgaben (wie Multiple Choice) können so heimliche Absprachen unter Teilnehmer:innen erschwert werden.
Dabei kann zunächst unterschieden werden zwischen zwei Randomisierungsmaßnahmen:
Weiterhin kann unterschieden werden, auf welcher Ebene randomisiert wird:
In jedem dieser Fälle gilt dabei, dass eine Randomisierung pro Teilnehmer:in innerhalb der jeweiligen Kursumgebung konstant bleibt: Egal an welchem Tag und wie oft jemand die Arbeit (bzw. Aufgabenseiten daraus) aufruft, er/sie sieht immer dieselbe Arbeit bzw. dieselben Aufgabenseiten, während andere Teilnehmer:innen eben ggf. eine andere Auswahl von Aufgaben bzw. Fragen in anderer Reihenfolge gestellt bekommen. Erst falls ein:e Teilnehmer:in den Kurs in einem späteren Semester wiederholt – und sofern dort immer noch dieselbe Aufgabeneinrichtung vorliegen sollte, die Kursbetreuung also keine neuen Aufgaben erstellt hat –, erfolgt für den neuen Versuch eine neue individuelle Randomisierung. Analog wird bei vollautomatisch korrigierten randomisierten Selbstkontrollarbeiten, bei denen Teilnehmer:innen nach der Auswertung die Arbeit selbst zurücksetzen können, um einen neuen Versuch zu starten, für den neuen Versuch auch eine neue Randomisierung vorgenommen.
In aller Regel bekommen alle Studierenden dieselben Aufgaben gestellt (bzw. bei Randomisierung liegen allen Arbeiten identische Aufgabenstellungen zugrunde).
Darüber hinaus gibt es aber auch die Möglichkeit, für alle Teilnehmer:innen – die dazu im Vorfeld bekannt / angemeldet sein müssen – eigene Aufgabenstellungsdateien zu erstellen und in der Übungssystem-Aufgabe zu verlinken. Dann ist zwar die Aufgaben-Webseite für alle Studierenden gleich, enthält aber (neben ggf. allgemeinen Hinweisen) im Wesentlichen einen Link, der für jede:n Teilnehmer:in zu seinem/ihrem individuellen Aufgabenstellungsdokument führt.
Dieser Mechanismus kann z.B. für die Zuteilung individueller Haus- oder Abschlussarbeitsthemen genutzt werden.
Das Online-Übungssystem bietet diverse Statistiken an, wie z.B.:
Neben den integrierten Statistikfunktionen werden auch verschiedene Datenexporte angeboten, um z.B. bei Bedarf in einer Tabellenkalkulation weitere statistische Auswertungen selbst vornehmen zu können.
Das Online-Übungssystem ist mehr oder weniger eng mit anderen Systemen der ZDI-Systemlandschaft vernetzt. Die folgende Abbildung soll einen ersten Überblick geben:
Einfacherer Natur sind die Anbindung ans FernUni-Single-Sign-On über den SAML-Standard und die weitere Direktanbindung an den LDAP-Server des FIM (FernUni-Identity-Management), über den z.B. lokale Logins möglich sind oder Datenabgleiche oder das Suchen nach bestehenden Accounts bei der Zuteilung von Benutzerrechten.
Die Verbindung mit dem LVU ermöglicht es, dass Übungssystem-Umgebungen auf zugehörigen LVU-Kursportale verlinken können und umgekehrt.
Nach dem LTI-Standard können einzelne Aufgaben oder ganze „Aufgabenhefte“ (z.B. eine Einsendearbeit oder Hausarbeit, bestehend aus mehreren Aufgaben) in externe Lernumgebungen eingebunden werden. An der FernUni wird das z.B. zur transparenten Einbettung von Online-Übungssystem-/Prüfungssystem-Aufgaben in Moodle-Kursumgebungen genutzt.
Die aufwendigste Integration ist die in wichtige datenführende Systeme der FernUniverstität wie Kursverwaltung (derzeit SLO/KVS), Kursbelegungen (SLO/BGS), Studierendenstammdaten (HIS/SOS) oder vor allem auch die Prüfungsverwaltung (HIS/POS). Dazu wurden umfangreiche Schnittstellen entwickelt, die aber keine Direktverbindung darstellen (d.h. das Online-Übungs-/Prüfungssystem ist nicht direkt abhängig von diesen Systemen), sondern die Schnittstellen wurden über die SAP Process Integration (PI) entkoppelt. Das sollte einen Austauch der Alt-Systeme gegen neue (im Rahmen des CM-Projektes) voraussichtlich etwas erleichtern. In dem Fall sind die Schnittstellenimplementierungen im SAP PI anzupassen, idealerweile aber nicht das Online-Übungssystem selbst.
Der eigentliche Kern des Online-Übungssystems ist eine in Java entwickelte Webapplikation. Java ist eine ausgereifte, typsichere Sprache, die zwar compiliert (und nicht interpretiert) wird, jedoch nicht für eine bestimmte Zielplattform (Betriebssystem). Die dadurch erreichte Plattformunabhängigkeit ermöglichte uns z.B. einen relativ einfachen Umzug von Solaris-Servern auf neue Linux-Server.
Als vollständige Eigenentwicklung ist die Abhängigkeit von externen Entwicklungen vergleichsweise gering, und fernunispezifische Erweiterungen lassen sich relativ gut hinzufügen.
Weiterhin hat sich diese Eigenentwicklung bislang als robust gegen verschiedene Hacking-Angriffsversuche gezeigt, da diese typischerweise auf bekannt gewordene Schwachstellen in Standardsoftware abzielten.
Auch wenn das Online-Übungssystem selbst eine komplette Eigenentwicklung ist, wird „darunter“ auch Standardsoftware eingesetzt.
Zunächst greift der selbst entwickelte Code auf fertige Komponenten aus externen Bibliotheken zurück (wie z.B. Apache Log4J fürs Logging, weitere Biblitotheken z.B. zum Mailversand, Kalenderexport, Tabellenexport, Statistikerzeugung, PDF-Funktionen u.v.m.).
Die Ausführung der Webanwendung übernimmt z.B. ein Apache Tomcat Application Container, beides wiederum läuft in einer Open-Source Java-VM (OpenJDK). Als Haupt-Webserver dient ein Apache-HTTPD-Webserver für Linux.
Die Java-VM und der Apache Server werden automatisch zusammen mit dem Linux-Betriebssystem gepatcht, also auf dem aktuellen Stand gehalten.
Gründe für die Entscheidung für diese zwei Namen waren unter anderem, dass der Name Online-Übungssystem für Online-Prüfungen nicht wirklich sprechend war und dass unter diesen zwei Namen nun auch getrennte Verzeichnisse angeboten werden, um die Übersichtlichkeit bei der Suche nach Übungs- oder Prüfungsumgebungen zu fördern. ↩
Im WebAssign-System wurde allerdings noch CORBA als Schnittstellentechnik verwendet, während das Online-Übungssystem heute auf SOAP-WebServices setzt. ↩
Damals, 2020, hieß das System allerdings noch global „Online-Übungssystem“. Hier verwenden wir den aktuellen Namen des Systemteils für Online-Prüfungen. ↩
Diese Einschränkungen gelten zumindest bei derzeitigen Prüfungsverwaltungs-System HIS-POS. Ob ein Nachfolgeprodukt auch für mehrtägige Arbeiten eine Uhrzeit zur Abgabefrist unterstützen wird, ist noch nicht bekannt. Das Online-Prüfungssystem könnte auch damit arbeiten. ↩
Technisch besteht eine solche Präsenzklausurumgebung im Online-Prüfungssystem daher auch nur aus genau einer Aufgabe mit der Möglichkeit, dort genau eine Lösungsdatei „abzugeben“ – nur dass diese Abgabe eben nicht online erfolgt, sondern die abgegebene Papierklausur vom Klausurservice gescannt und dort analog zu einer Dateieinsendung hinterlegt wird. ↩
Für jeden Sonderfall (derzeit »Ausland«, »Behinderung«, »JVA« oder »genehmigte Ausnahmeregelung«) gibt es in HIS-POS derzeit eine spezielle Online-Variante, mit der ein Prüfungsamt kennzeichnen kann, dass für diesen Sonderfall eine Online-Einsendung erlaubt wurde. ↩
Zumindest ist das der Normalzustand, der insbesondere von den Aufgabenerstellungsassistenten, siehe Assistentengestützte Aufgabenerstellung, sichergestellt wird. In der fortgeschrittenen Aufgabenerstellung ist es prinzipiell möglich, von diesem Prinzip abzuweichen. ↩
Es ist einerseits möglich, Multiple-Choice-Aufgaben so zu bewerten, dass jede richtige Antwort (also Markierung einer korrekten Antwort-Option oder Nicht-Markierung einer falschen Option) mit einer festen Punktzahl bewertet wird, jede falsche Antwort mit 0 Punkten. Dann aber kann man allein durch Raten durchschnittlich 50% der erreichbaren Punkte erzielen. So lange eine Arbeit ausschließlich aus MC-Fragen besteht, ist das kein Problem, denn man muss einfach nur die Bestehensgrenze entsprechend höher legen, so dass nicht allein durch Raten mit 50% Wahrscheinlichkeit eine Arbeit bestanden werden kann. Aber das funktioniert nicht mehr, wenn man MC-Fragen mit anderen Fragetypen mischt. Eine Ratekorrektur dient daher einer anderen MC-Bewertung, bei der sich Raten bzw. falsche Antworten stärker (negativ) auf die Gesamtwertung auswirken. Die verschiedenen Bewertungsmodi für Multiple-Choice werden ausführlich in einer gesonderten Dokumentation beschrieben: Bewertung von Mehrfachauswahlaufgaben. ↩
Die Betreuerrolle ist so benannt, da zumindest bei typischen Einsendearbeiten oft die jeweiligen Kurs-/Modulbetreuer diese Rolle innehaben. Es gibt aber auch von einem Zentralbereich wie einem Prüfungsamt gepflegte Kursumgebungen, in denen entsprechende Zentralbereichsmitarbeiter:innen diese Betreuerrolle innehaben. In diesen Umgebungen kann ggf. zusätzlich eine Lehrgebiets-Mitarbeiter:innen-Rolle mit eingeschränkten Rechten vergeben werden. ↩
CSV-Datei, die z.B. in Excel geöffnet werden kann, mit einer Zeile pro Aufgaben-Teilnehmer:in und Spalten für Punkte und/oder Note ↩
Die Mehrfachkorrektur steht zur Zeit nur für die rein dateibasierte Korrektur zur Verfügung, aber das ist auch derzeit die einzige für Abschlussarbeiten verwendete Korrekturform. ↩
Spezifisch für Abschlussarbeiten wurde festgelegt, dass es anfangs immer genau zwei Prüfer gibt und bei Bedarf ein dritter Prüfer hinzugezogen werden kann. Abseits von Abschlussarbeitsumgebungen unterstützt das Online-Übungs-/Prüfungssystem prinzipiell auch eine Mehrfachkorrektur mit anderen Regelungen, z.B. dass im Normalfall nur genau eine Teilkorrektur erstellt wird und nur in Ausnahmefällen ein zweiter Korrektor hinzugezogen wird. Auch ist die Teilkorrekturzahl prinzipiell nicht notwendig auf 3 beschränkt. ↩
Aufgabenseiten zu handbewerteten Aufgaben sind viel vielseitig, um sie durch eine kleine Auswahl fertiger Fragetypen sinnvoll beschreiben zu können. Aber es gibt verschiedene beispielhafte Seitenvorlagen für verschiedene Aufgabentypen, z.B. für Aufgaben mit Freitextfeldern (oder auch mehreren Kurz-Fragen mit einziligen Eigabefeldern) und In-Browser-Korrektur oder für rein dateibasierte Aufgaben (mit PDF-Aufgabenblatt und Dateieinsendung). ↩
die Menge der Vergleichsaufgaben ist auswählbar: Entweder alle Aufgaben der gesamten Kursumgebung oder nur die derselben Arbeit/desselben Aufgabenhefts ↩