Kursthemen

  • Allgemeines

    Alles einklappen Alles aufklappen

    Geschlossene Fragetypen erstellen

    Multiple Choice, Drop-Down und Drag-and-Drop

    CC BY 4.0 Steirische Hochschulkonferenz
    Aktuelle Version: 31.08.2020

    Kurzbeschreibung

    Ob offline oder online, eine Lehrveranstaltung beinhaltet immer wieder Fragen für die Teilnehmer*innen (TN) – sei es für laufende (unbenotete) Self-Assessments oder für Zwischen- bzw. Abschlussprüfungen. Um aus einer Überprüfung des Wissenstandes der TN eine möglichst sinnvolle Aufgabe zu machen, ist die Erstellung qualitativ hochwertiger (Prüfungs-)Fragen essenziell. Dieser Use Case zeigt, wie geschlossene Fragen am besten vorbereitet werden. Informationen zu offenen Fragen finden Sie in einem eigenen UC. 

    Allgemeine Eckdaten

    Die Bildbeschreibung zu den allgemeinen Eckdaten dieses Use Cases finden Sie in der PDF- und WORD-Version.

  • Gründe für den Einsatz

    • Besonders in Lehrveranstaltungen mit hohen TN-Zahlen sind elektronische Prüfungen mit geschlossenen Prüfungsfragen effizienter als analoge Prüfungen.
    • Geschlossene Fragetypen können mit automatischem Feedback versehen werden und so ohne Aufwand für die LP ausgewertet werden.
    • Geschlossene Fragetypen ermöglichen die Erstellung von Self-Assessments mit sofortigem Ergebnis (sowie automatisiertem Feedback) für die TN.

  • Technische Infrastruktur / Empfehlungen

    Wenn die Fragen nicht in einer Prüfungssituation eingesetzt werden, wofür die hochschulinterne Prüfungssoftware verwendet werden muss, gibt es keine Software-Voraussetzungen. Fragen zur Selbst-/Zwischenüberprüfung werden häufig einfach ins verwendete Lernmanagementsystem eingebunden oder über ein externes Quiz-Tool bzw. Audience-Response-System eingesetzt. Für letzteres müssen auch die Hörsaalausstattung und das notwendige Equipment für Studierende bedacht werden (eigene Endgeräte, Beamer, Internet).

  • Rolle der Lehrperson

    Bei der Erstellung von offenen Fragen kommt der Lehrperson vor allem die Aufgabe zu, Constructive Alignment vorzunehmen, also die Lernziele und -methoden der Veranstaltung mit den Prüfungsfragen übereinzustimmen. So deckt sich die Planung der LP, die von den Lernzielen ausgeht, mit der Planung der TN, die von den Prüfungsfragen ausgeht und die Lehrveranstaltung gewinnt an Kohärenz und Transparenz. [1]

  • Einsatzmöglichkeiten / Methoden

    Geschlossene Fragen werden häufig in (Computer-)Prüfungen eingesetzt, haben aber ebenfalls ihren Platz in laufenden (Self-)Assessments oder zur Auflockerung im Hörsaal über ein Audience-Response-System. Geschlossene Fragetypen bieten den Vorteil, dass sie automatisiert ausgewertet werden können. Dadurch können insbesondere bei einer großen Anzahl an TN zeitintensive Korrekturtätigkeiten eingespart werden. Auch ermöglichen geschlossene Fragetypen eine objektive und faire Beurteilung, da das Format keinen Spielraum für Interpretationen bei der Bewertung zulässt. Geschlossene Fragen haben allerdings oftmals den Ruf, dass sie nur die bloße Wiedergabe von Wissen abfragen und mit wenig Vorbereitung (bzw. durch Raten) zu lösen sind. Diese Probleme können durch kluge Formulierung der Fragestellung und der Antwortmöglichkeiten weitgehend vermieden werden, weshalb die Erstellung der Fragen selbst oftmals etwas zeitaufwändiger sein kann.

    Multiple Choice und Single Choice

    Diese Fragetypen sind häufig beide unter dem Begriff „Multiple Choice“ (MC) bekannt. Dabei handelt es sich um eine Frage mit mehreren Antwortmöglichkeiten, wovon genau eine richtig ist (Single Choice) oder mehrere richtig sind (Multiple Choice). Die LP kann dabei entscheiden, ob sie die Anzahl der richtigen Antworten angibt oder nicht.

    Eine Multiple-Choice-Frage besteht in der Regel aus den drei Elementen Stamm (Problembeschreibung), Fragestellung und vorformulierten Antwortoptionen. Grundsätzlich sollte die Kernaussage immer in der Problembeschreibung bzw. Fragestellung stehen. Die Problem- und Fragestellung sollte so formuliert sein, dass sie ohne vorgegebene Antwortalternativen beantwortbar ist. Auch der Hauptteil der Textmenge sollte auf die Frage entfallen, die Antwortmöglichkeiten sind am besten kurzgehalten. Die kürzest mögliche Form ist eine Richtig/Falsch- (bzw. Ja/Nein-)Frage, bei der sich alle Informationen im Fragetext befinden. Verbreiteter ist die Variante, aus zwei oder mehr (häufig drei bis fünf) Möglichkeiten die richtige/n Antwort/en zu finden.

    Ein häufig unterschätzter Faktor für eine gute MC-Frage sind die Distraktoren (falsche Antwortmöglichkeiten). Alle Antwortmöglichkeiten sollten ungefähr gleich lang und gleich aufgebaut sein. Ungewollte Lösungshinweise durch Formulierungsunterschiede (beispielsweise durch eine unausgewogene Verwendung von Fachbegriffen) sollten nach Möglichkeit vermieden werden. Die Schwierigkeit der Frage kann durch die Antwortspreizung (Breite der Antwortmöglichkeiten) gut gesteuert werden. [2] Die Frage „Wie heißt der Erfinder der Glühbirne?“ lässt sich mit den Antwortmöglichkeiten Thomas Edison, Wolfgang Amadeus Mozart oder Andy Warhol einfacher beantworten als mit Antworten wie Thomas Edison, Alexander Bell oder Alfred Nobel.

    Im Übrigen spielt die Formulierungsweise auch bei der Wahl der Lernzielebene, die die Frage abdecken soll, eine Rolle. Fragt man nach Definitionen, Begründungen oder Entscheidungen in einer bestimmten Situation, spricht man verschiedene Ebenen (erinnern, verstehen, anwenden) an. Zu beachten ist, dass Fragen auf höheren Lernzielebenen eine umfangreich formulierte Problemstellung erfordern. [3] Beispiele dafür finden Sie z.B. im Leitfaden Erstellen und Bewerten von Multiple-Choice-Aufgaben (CC BY-SA Marc Krüger).

    Drop-Down-Fragen

    Bei Drop-Down-Fragen (auch Pull-Down-Fragen genannt) befinden sich die Antwortmöglichkeiten in einer Liste, die per Mausklick aufgeklappt werden kann, um die richtige Antwort auszuwählen. Drop-Down-Listen können in verschiedene Fragen eingebaut werden, werden aber besonders häufig für Lückentexte oder Zuordnungsfragen verwendet. So können zum Beispiel Definitionen von Fachbegriffen vorgegeben werden und die TN den richtigen Begriff aus der Drop-Down-Liste auswählen. Mit diesem Fragetyp kann die LP die TN zudem Kategorisierungen vornehmen (z.B. spezifische Szenarien dem richtigen Modell zuordnen), oder Beziehungen darstellen lassen (z.B. Ursache-Wirkung physikalischer Zusammenhänge).

    In der Drop-Down-Liste können die Antwortmöglichkeiten für einzelne Lücken aus einer richtigen Antwort und verschiedenen Distraktoren bestehen oder eine Liste aller Antworten beinhalten, die die TN der jeweils richtigen Stelle im Text zuordnen müssen. Um das Raten zu erschweren, können auch mehr Antwortmöglichkeiten als Lücken vorgegeben werden oder die Fragen so konstruiert werden, dass die gleiche Antwort für mehrere Lücken richtig ist. Es ist allerdings wichtig, die TN über den Modus zu informieren. Einige Tools ermöglichen es, die Items in der Drop-Down-Liste in unterschiedlicher Reihenfolge darzustellen, das erschwert ungewünschte Zusammenarbeit der Studierenden untereinander. Zum Unterschied von offenen Fragen können derartige geschlossene Fragen automatisiert ausgewertet werden.

    Drag-and-Drop-Fragen

    „Drag and Drop“ steht für Ziehen und Ablegen und wird dementsprechend für Zuordnungsfragen eingesetzt. Es können beispielsweise Begriffe aus einer Box an die richtigen Stellen in einem Lückentext oder einem Bild (z.B. für die Beschriftung eines Modells oder einer Abbildung) gezogen werden. Die Begriffe, die zugeordnet werden müssen, sind in der Regel alle richtig und müssen von den TN nur an die entsprechende Stelle gezogen werden, es gibt keine Distraktoren. Je nach Wunsch der LP und Möglichkeit des Tools können aber zum Beispiel zu viele Begriffe vorgegeben sein, sodass am Ende (bestenfalls) die falschen übrigbleiben.

  • Zeitlicher Aufwand

    Der Aufwand für die Erstellung von geschlossenen Fragen ist nicht zu unterschätzen. Besonders die Arbeit an plausiblen Distraktoren ist oft sehr zeitaufwändig. Deshalb ist es empfehlenswert, schon bei der Erarbeitung des Lehrveranstaltungsinhalts an mögliche Fragen zu denken und laufend Ideen zu notieren, die für Abschlussprüfungen eingesetzt werden können. Das erstmalige Erstellen eines Quiz und Einspielen der Fragen auf einer Online-Plattform bzw. die Erstellung einer Prüfung in einem Online-Prüfungstool kann schon einige Stunden in Anspruch nehmen. Die Fragen können danach aber wiederverwendet und in neue Kurse auf Lernplattformen übernommen werden.

  • Tipps zur Umsetzung

    • Fragen Sie sich nicht, welches Wissen Sie einfach prüfen können, sondern welches Wissen Ihre TN am Ende der Lehrveranstaltung haben sollen.
    • Lesen Sie die Fragen und Antwortmöglichkeiten Korrektur. Nicht zusammenpassende Grammatik ist ein Faktor, der Distraktoren leicht enttarnt.
    • Überprüfen Sie, ob Ihre Fragen alle relevanten, aber keine überflüssigen Informationen enthalten und ob sie eindeutig beantwortbar sind.
    • Beinhaltet die Frage eine Verneinung (z.B. „nicht“) oder einen Ausschluss (z.B. „außer“), markieren Sie diese am besten (z.B. fett oder unterstrichen), damit die TN sie nicht übersehen oder versuchen Sie, die Frage ins Positive umzuformulieren.
    • Versehen Sie für Self-Assessments und Übungstests sowohl falsche als auch richtige Antwortmöglichkeiten mit Feedback (warum richtig bzw. falsch?), das nach der Überprüfung angezeigt wird. Das hilft TN beim Lernerfolg.
    • Wollen Sie die Prüfungsleistung benoten, sorgen Sie für eine sichere E-Assessment-Prüfungsumgebung (Browser, Prüfungsserver usw.). Hierbei kann die entsprechende IT-Stelle der Hochschule Unterstützung leisten.

  • Vorteile / Herausforderungen

    • E-Assessments mit geschlossenen Fragen bieten eine große Zeitersparnis, sobald sie einmal erstellt sind. Aufgrund der automatischen Auswertung fällt praktisch kein Korrekturaufwand an.
    • Die Bewertung von geschlossenen Fragen ist einheitlich und objektiv, Mindestpunktezahlen und Notengewichtungen sind eindeutig eingestellt.
    • Die Fragen können multimodal gestellt sein (z.B. mit einem kurzen Video, Hörbeispiel oder Bild).
    • Die Fragen können von einem Zufallsgenerator ausgewählt und/oder in unterschiedlicher Reihenfolge dargestellt werden, was das Abschauen oder Kollaborieren erschwert.
    • Je nach Einstellung können die TN ihre Ergebnisse sofort sehen. [4]
    • Die Durchführung von elektronischen Prüfungen kann durch zahlreiche (technische) Probleme erschwert werden, beispielsweise durch Ausfall des Internets, einzelner Geräte von TN oder durch Vergessen des Passworts., weshalb Lösungswege im Vorhinein bedacht werden sollten.
    • Da geschlossene Fragen immer auf irgendeine Weise beantwortet werden müssen, können die TN auch durch Ausschlussverfahren und Raten zu einem guten Ergebnis kommen.

  • Einfluss auf Lernerfolg

    Durch regelmäßige Überprüfungen kann korrigierend und richtungsweisend in den Lernprozess eingegriffen werden. [5] Das automatisierte Feedback geschlossener Fragen kann den Lernerfolg ebenfalls unterstützen, wenn die Lehrperson die Ergebnisse zum Anlass nimmt, um Inhalte zu wiederholen, die didaktische Gestaltung zu verändern oder mehr Unterstützung zur Verfügung zu stellen. [6] Constructive Alignment, also das Zusammenspiel von Lernzielen, -methoden, und Prüfungsfragen, kann ebenso zu einem besseren Lernerfolg beitragen. [7]

  • Einfluss auf Motivation

    Damit die TN ihre Motivation nicht verlieren, kann umfangreiches Feedback helfen. [8] Positive Rückmeldungen sind zusätzlich Ansporn zu größerem Einsatz, während Feedback darüber, warum ein Gedanke nicht richtig war, einen Motivationsabfall vermeiden kann. Zwischenüberprüfungen zeigen den TN, wo sie stehen und was ihnen noch fehlt [9] (siehe auch UC „Feedback“). Bei geschlossenen Fragen kann Feedback automatisiert hinterlegt werden, was diesen Prozess für LPs erleichtert.

  • Rechtliche Aspekte

    Mit diesem Absatz möchten wir Sie für rechtliche Aspekte beim Einsatz von digitalen Technologien in Unterricht und Lehre sensibilisieren. Gesetzliche Bestimmungen sind jedenfalls einzuhalten. Für diesen Use Case sind insbesondere folgende Rechtsthematiken relevant:

    • Urheberrecht
    • Nutzungsbedingungen (der verwendeten Tools)
    • Datenschutzgrundverordnung (inkl. Datensicherheit)
    • Prüfungsordnung

    Bitte wenden Sie sich bei weiteren Fragen an die zuständige/n Abteilung/en Ihrer Institution.


  • Mögliche Tools für Umsetzung

    Lernmanagementsysteme

    Lernmanagementsysteme (LMS) dienen der Kommunikation und der Verwaltung von Lernprozessen, Materialien sowie TN. Ihr Funktionsumfang beinhaltet die Erstellung von Tests/Quiz. An Hochschulen ist meist ein bestimmtes LMS in Gebrauch, welches von allen LP genutzt werden kann; im steirischen Hochschulraum sind das aktuell:

    • Moodle (freies Lernmanagementsystem)
    • itslearning (kommerzielles Lernmanagementsystem)

    Prüfungssoftware

    Die meisten Hochschulen haben eine bestimmte Prüfungssoftware in Verwendung, die für die Durchführung von Onlineprüfungen verwendet wird. Die Prüfungssoftware ermöglicht eine umfangreiche statistische Auswertung der Fragen (beispielsweise welche Frage sehr häufig falsch beantwortet wird) und einen Export der Ergebnisse. Bei Fragen zum Prüfungstool Ihrer Hochschule setzen Sie sich am besten mit Ihrer IT-Servicestelle in Verbindung.

    Audience-Response-Systeme

    Mit Audience-Response-Systemen können Umfragen, Formulare und oftmals auch Quiz erstellt werden, die einfach über einen Link mit TN geteilt werden können und eine übersichtliche Ergebnisdarstellung bieten. Die unten angeführten Tools bieten die Möglichkeit, verschiedene Varianten von geschlossenen Fragen zu stellen (z.B. Multiple Choice). Sie eignen sich für informelle, anonyme Durchführung von Zwischenüberprüfungen und Self-Assessments.

    • Microsoft Forms von Office 365 – LP benötigt Lizenz – derzeit kostenlos für 1 Jahr verfügbar bzw. oft direkt von Hochschulen zur Verfügung gestellt; Umfrage kann über einen Link geteilt werden; TN anonym; Firmensitz USA
    • GoogleForms – kostenloser Account für Ersteller*innen notwendig; Anmeldung für TN; Firmensitz USA
    • Mentimeter – Freemium (kostenlose Version mit eingeschränktem Funktionsumfang verfügbar) LP benötigt ein Benutzer*innenkonto, Firmensitz USA. Die LP steigt über mentimeter.com, die TN über menti.com ein.
    • ARSnova – Freeware, Open Source, LP benötigt ein Benutzer*innenkonto, Firmensitz Deutschland
    • Feedbackr – Freemium (kostenlose Version mit eingeschränktem Funktionsumfang verfügbar), LP benötigt ein Benutzer*innenkonto, Firmensitz Graz/Österreich (von Studierenden der TU Graz entwickelt)
    • Tweedback – Freeware, kein Benutzer*innenkonto notwendig, Firmensitz Deutschland. Achtung: Ein erstelltes Quiz bleibt nur für einen Tag verwendbar! Danach kann es nur mehr angesehen, aber nicht mehr durchgeführt werden.
    • Kahoot – Freemium (kostenlose Version mit eingeschränktem Funktionsumfang verfügbar à bei der Anmeldung unbedingt Schule auswählen), LP benötigt ein Benutzer*innenkonto, Firmensitz Norwegen. Die LP steigt über kahoot.com, die TN über kahoot.it ein.
    • PINGO – Freeware, LP benötigt ein Benutzer*innenkonto, TN anonym, Firmensitz Deutschland (von der Universität Paderborn entwickelt).

  • Anwendungsbeispiel

    Eine LP unterrichtet jedes Semester eine Einführungslehrveranstaltung und weiß aus Erfahrung, dass es bei der Abschlussprüfung immer wieder zu großen Problemen kommt. Deshalb entscheidet sie sich dafür, die TN zu unterstützen, indem sie regelmäßige Self-Assessments im von der Hochschule genutzten Lernmanagementsystem (Moodle) anbietet. Dazu überlegt sie sich zu jedem Inhaltskapitel 10 Multiple Choice-Fragen, die später in der Aktivität „Test“ von Moodle selbst ausgewertet werden können. Damit die Fragen nicht nur auf Wissensreproduktion fokussieren, bemüht sie sich, auch Anwendungs- und Analysefragen zu stellen. Bei der Eingabe der Antwortmöglichkeiten nutzt die LP die von Moodle gebotene Möglichkeit, jede Antwortmöglichkeit mit Feedback (Begründung für richtig oder falsch) zu versehen. So erhalten die TN nach der Durchführung des Tests sofort Feedback. In der Lehrveranstaltung informiert die LP die TN über die Möglichkeit, regelmäßige Wiederholungstests im Selbststudium durchzuführen. Bei Bedarf lässt sie die Durchführung dieser Tests (nicht aber das Ergebnis) mit 5 – 10 Prozent der Gesamtnote in die Beurteilung der TN einfließen.

    Die LP kann die Tests am Ende des Semesters exportieren und in einem Folgesemester wieder in ihren neuen Moodle-Kurs importieren. Auch wenn die erste Erstellung der Tests und des Fragenpools aufwändig war, erspart sie sich diese Zeit zukünftig und erhöht gleichzeitig den Prüfungserfolg ihrer TN.

  • Weiterführende Literatur und Beispiele

  • Quellen

    [1] Vgl. E-Teaching (2018). Constructive Alignment.

    [2] Vgl. Bernhardt-Melischnig, Johannes, Dragosits, Claudia, & Trinko Sandra (2013). Hochschulübergreifender Leitfaden für den kreativen Teil bei der Erstellung anwendungsorientierter Prüfungsfragen. Graz: Verein Forum Neue Medien in der Lehre Austria. S. 37-39.

    [3] Schmees, Markus; Krüger, Marc & Schaper, Elisabeth (2013): E-Assessments an Hochschulen: Ein vielschichtiges Thema. In: Krüger, Marc, Schmees, Markus (Hrsg.): E-Assessments in der Hochschullehre. Einführung, Positionen & Einsatzbeispiele. Frankfurt: PL Academic Research, S. 28-29.

    [4] Vgl. Handke, Jürgen & Schäfer, Anna Maria (2012). E-Learning, E-Teaching und E-Assessment in der Hochschullehre. Eine Anleitung. München: Oldenburg Verlag. S. 160.

    [5] Vgl. ebda, S. 169.

    [6] Vgl. Arnold, Patricia; Kilian, Lars; Thillosen, Anne Maria & Zimmer, Gerhard M. (2018). Handbuch E-Learning: Lehren und Lernen mit digitalen Medien. Uni-Taschenbücher GmbH Verlag. S. 312.

    [7] Vgl. E-Teaching (2018). Constructive Alignment.

    [8] Vgl. Hochschulforum Digitalisierung: E-Assessment als Herausforderung. S. 7.

    [9] Vgl. Handke, Jürgen & Schäfer, Anna Maria (2012). E-Learning, E-Teaching und E-Assessment in der Hochschullehre. Eine Anleitung. München: Oldenburg Verlag. S. 148.