Automatische Korrektur von Freitextaufgaben

Die immer weiter steigenden Studierendenzahlen an der TUM bedeuten in der Lehre einen enorm anwachsenden Aufwand für Dozierende, insbesondere bei der Korrektur von Übungsaufgaben und Hausaufgaben. Eine (teil-)automatisierte Korrektur der häufig eingesetzten Freitextaufgaben ist aktuell nicht möglich. Am Lehrstuhl für Angewandte Softwaretechnik soll ein lernendes System entwickelt werden, das die Korrektur von Aufgaben mit Hilfe von maschinellem Lernen automatisch ermöglicht. Die Vision dabei ist es, dass sich der Korrekturaufwand signifikant reduzieren lässt, während sich die Qualität der Korrektur erhöht.

Studierende an der TUM (Foto:TUM, Lehrstuhl für Angewandte Softwaretechnik)

Studierende an der TUM (Foto:TUM, Lehrstuhl für Angewandte Softwaretechnik)

 

Im Wintersemester 2018/19 begrüßte die TUM rund 13.800 neue Studierende und wächst somit auf eine Gesamtzahl von 41.500 Studierenden an. Die hohe Studierendenzahl erhöht den Korrekturaufwand durch Übungs- und Klausuraufgaben immer weiter. So ist es in der Informatik bereits üblich, dass bis zu 2000 Studierende an Grundlagenvorlesungen teilnehmen – Tendenz steigend.

Die Teilnehmerzahl der Grundlagenvorlesung "Einführung in die Softwaretechnik" ist seit dem Jahr 2010 (363 Teilnehmer) stark gestiegen. Für das kommende Sommersemester 2019 werden knapp 2000 teilnehmende Studierende prognostiziert.

Die Teilnehmerzahl der Grundlagenvorlesung „Einführung in die Softwaretechnik“ ist seit dem Jahr 2010 (363 Teilnehmer) stark gestiegen. Für das kommende Sommersemester 2019 werden knapp 2000 teilnehmende Studierende prognostiziert. (Grafik: TUM, Lehrstuhl für Angewandte Softwaretechnik)

 

Da die Dozierenden die Korrektur von Übungsaufgaben bei so vielen Studierenden alleine nicht mehr bewältigen können, helfen üblicherweise Tutoren, welche die Vorlesung ein Jahr zuvor noch als Studierende besucht haben. Dabei ist es in der Informatik nicht unüblich, dass bis zu 100 Tutoren pro Vorlesung eingesetzt werden. Während der Einsatz von Tutoren insbesondere in der Interaktion mit den Studierenden die Qualität der Lehre verbessert, kann es zu Inkonsistenzen in der Aufgabenbewertung durch unterschiedliche Tutoren und somit zur Verringerung der Korrekturfairness führen.

Automatisierte Korrektur: Stand heute

Automatisierte Korrektur von Aufgaben findet bereits im Übungs- und Klausurbetrieb Anwendung, vorzugsweise durch den Einsatz von Multiple-Choice Aufgaben. Das am Lehrstuhl für angewandte Softwaretechnik entwickelte quelloffene System Artemis [1] ermöglicht die automatisierte Korrektur von Programmieraufgaben durch den Einsatz von vorab definierten Testfällen. Programmieraufgaben werden in wenigen Sekunden automatisch korrigiert und Studierende können unmittelbar Feedback auf ihre Einreichung bekommen, aus dem Feedback lernen, und ihre Lösung nochmals einreichen.

Das Konzept der teilautomatisieren Korrektur findet in Artemis bereits im Kontext von UML Modellierungsaufgaben Anwendung. Bewertung und Eingabe von Feedback erfolgen dabei durch den Dozenten. Hierdurch wird das System trainiert, welche Teile einer Einreichung korrekt und welche falsch sind. Artemis lernt während der manuellen Korrektur, die Bewertung und das Feedback auch auf andere (ähnliche) Einreichungen anzuwenden und diese Einreichungen automatisch zu bewerten. Dies führt dazu, dass jeder Studierende ein individuelles Feedback bekommt.

[1] Automated Assessment Management System (Deutsch: Automatisiertes Bewertungsmanagementsystem)

Vision: Automatisierte Korrektur von Freitextaufgaben

Die vorgestellten Techniken helfen Dozierenden heute schon dabei, ein interaktives Lernangebot zu schaffen. Allerdings ist die automatisierte Korrektur besonders für die in Klausuren beliebte Aufgabenform der Freitextaufgaben aktuell noch nicht möglich. Ziel des Projekts am Lehrstuhl für Angewandte Softwaretechnik ist es, analog zu Modellierungsaufgaben eine teilautomatisierte Korrektur von Freitextaufgaben anzubieten: Die Antworten der Studierenden werden digital im System eingereicht. Die Dozierenden korrigieren die Textbausteine der Lösung in ausgewählten Einreichungen manuell und geben Feedback. Das System lernt, die manuelle Korrektur auf ähnliche Textbausteine anderer Einreichungen anzuwenden und generiert das Feedback sowie die Bewertung automatisch.

Der Aufwand für die Korrektur soll damit weiter reduziert werden. Eine teilautomatisierten Korrektur von Freitextaufgaben soll gleichzeitig die Fairness bei der Bewertung erhöhen, sowie die Qualität der Bewertung durch ein individuelles Feedback steigern.

 

Das Projekt „Automatische Korrektur von Freitextaufgaben“ wurde mit dem TUM Lehrfonds im Jahr 2018 ausgezeichnet.

1 Kommentar zu “Automatische Korrektur von Freitextaufgaben”

  1. Julia

    …ich hoffe irgendwann kommen wir an einen Punkt, an dem wir der Software nicht mehr lehren, was wir denken, sondern wie wir es tun… ein weiter Weg 😉

    Antworten

Kommentar hinterlassen

  • (will not be published)

Sie können folgende XHTML-Tags verwenden: <a href="" title=""> <abbr title=""> <acronym title=""> <b> <blockquote cite=""> <cite> <code> <del datetime=""> <em> <i> <q cite=""> <s> <strike> <strong>