Kursthemen

  • Allgemeines

    Alles einklappen Alles aufklappen

    Offene Fragetypen erstellen:

    Lückentexte, Kurzantworten, Essays und Open-Book-Prüfungen

    CC BY 4.0 Steirische Hochschulkonferenz
    Aktuelle Version: 31.08.2020

    Kurzbeschreibung

    Ob offline oder online, eine Lehrveranstaltung besteht zu großen Teilen aus Fragen für Teilnehmer*innen (TN): von Verständnisfragen in der Lehrveranstaltung über Hausübungen und (Self-)Assessments bis zur Prüfung am Ende. In der Online-Lehre ist es aber noch wichtiger, präzise zu formulieren, da Rückfragen nicht so einfach möglich sind. Dieser Use Case stellt verschiedene offene Fragetypen und -formate dar, von Kurzantworten und Lückentexten bis zu Essays und Open-Book-Prüfungen. Informationen zu geschlossenen Fragen finden Sie in einem eigenen UC. 

    Allgemeine Eckdaten

    Die Bildbeschreibung zu den allgemeinen Eckdaten dieses Use Cases finden Sie in der PDF- und WORD-Version.

  • Gründe für den Einsatz

    • Offene (Prüfungs-)Fragen ermöglichen die Überprüfung, ob die Teilnehmer*innen (TN) Lerninhalte erklären, anwenden, analysieren und evaluieren, bzw. neue Inhalte kreieren können. Anwendungs- und Problemfälle können geprüft werden. [1]
    • Die TN geben das Gelernte in eigenen Worten wieder und können ihre Antworten begründen.
    • Kreative Lösungsansätze und Querdenken können bei offenen Fragen berücksichtigt werden.
    • Bei elektronischen Assessments kann es zu keinen Problemen mit dem Entziffern von Handschrift kommen.
    • Onlinetools erlauben das Limitieren der Antwortlänge, um die TN dazu zu bringen, beispielsweise Kurzantworten wirklich kurz zu halten.
    • Die Auswertung kann teilautomatisiert durchgeführt werden und Zeit sparen. [2]

  • Technische Infrastruktur / Empfehlungen

    Wenn die offenen Fragen nicht in einer Prüfungssituation eingesetzt werden, wofür die hochschulinterne Prüfungssoftware verwendet werden muss, gibt es keine Software-Voraussetzungen. Fragen werden häufig einfach ins verwendete Lernmanagementsystem eingebunden oder in einem Dokument zur Verfügung gestellt. Für Verständnisfragen, die beispielsweise mit Hilfe von digitalen Tools während einer synchronen Präsenz- oder Online-Lehreinheit gestellt werden, eignen sich auch diverse Audience Response Systeme (ARS). In den meisten Fällen benötigen LP und TN Zugang zum Internet und – je nach Kontext – Endgeräte wie Laptop, Computer, Tablet, oder Smartphone.

  • Rolle der Lehrperson

    Bei der Erstellung von offenen Fragen kommt der Lehrperson vor allem die Aufgabe zu, Constructive Alignment vorzunehmen, also die Lernziele und -methoden der Veranstaltung mit den Prüfungsfragen übereinzustimmen. So deckt sich die Planung der LP, die von den Lernzielen ausgeht, mit der Planung der TN, die von den Prüfungsfragen ausgeht und die Lehrveranstaltung gewinnt an Kohärenz und Transparenz. [3]

  • Einsatzmöglichkeiten / Methoden

    Offene Fragen können in der Lehre für verschiedene Zwecke eingesetzt werden, von Verständnisfragen in der Lehrveranstaltung über Hausübungen und (Self-) Assessments bis zur Prüfung am Ende. Die TN sind dabei gefordert, ihre Aussagen zu begründen, Positionen zu argumentieren oder kreative Lösungsansätze zu finden. Die Fragen eignen sich dementsprechend gut für die Eröffnung von Diskussionen oder Beantwortung in (längerer) Textform.

    Aufgrund der Offenheit der Fragen ist häufig mehr als eine richtige Antwort möglich oder die richtige Antwort kann zumindest auf verschiedene Weisen in eigenen Worten dargestellt und begründet werden. In Texten können die TN ihre Lösungen sogar völlig frei formulieren. Das kann jedoch zu erheblichem Korrekturaufwand führen und die faire und gleiche Beurteilung schwierig gestalten. Deshalb benötigen offene Fragen in der Vorbereitung einerseits eine eindeutige Formulierung und andererseits eine Musterlösung bzw. ein Korrekturschema, das den Vergleich der TN-Leistungen mit der erwarteten Leistung ermöglicht.

    Bei der Formulierung empfiehlt es sich, die Lernzielebenen in den Blick zu nehmen. Mit offenen Fragen kann die LP einfach verschiedene Lernzielebenen prüfen, indem sie bestimmte Fragewörter und/oder Operatoren (Handlungsverben) verwendet. Lautet die Fragestellung „Bennen Sie 5 Faktoren…“, müssen die TN ihr Wissen bloß wiedergeben. Wird stattdessen gefragt „Vergleichen Sie Theorie X mit Theorie Y“, müssen die TN ihr Wissen auch anwenden. In der folgenden Tabelle [4] finden sich einige Beispielverben für verschiedene Lernzielebenen.

    Erinnern/Verstehen aufzählen, wiedergeben, darstellen, beschreiben, benennen, definieren, zusammenfassen
    Anwenden anwenden, anordnen, organisieren, erläutern, vergleichen
    Analysieren ermitteln, beobachten, unterscheiden, klassifizieren, interpretieren, analysieren
    Bewerten bewerten, beurteilen, überprüfen, einstufen, entscheiden, hinterfragen, folgern, einschätzen
    Kreieren kombinieren, konstruieren, herstellen, entwickeln, ableiten, erstellen, berechnen
    Tabelle 1: Beispielverben vgl. Döring, Sandra (2010). Formulierung von Lernzielen. SECo – Sächsisches E-Competence Zertifikat. CC BY SA Sandra Döring.

    Um trotz der Offenheit der Frage vergleichbare Antworten zu bekommen, lohnt es sich, Rahmenbedingungen vorzugeben, beispielsweise den Umfang (z.B. 200 Zeichen, 50 Wörter), die formale Gestaltung (z.B. Zitierweise), Abgabeform (Dateiformat), Bewertung (Punkteschlüssel) oder die Art der Formulierung (z.B. Stichwörter, ganze Sätze, Aufzählung). Details zu den Rahmenbedingungen bietet der UC „Arbeitsaufträge formulieren“. Vor allem für Einschränkungen hinsichtlich der Länge eignen sich Online-Tools ausgezeichnet, da sie die Beschränkung der Länge der Antworten erlauben.

    Je nach gewünschter Komplexität, Länge und Form lassen sich für die Fragestellung verschiedene Aufgabentypen ableiten.

    Kurzantworten

    Wie der Name schon sagt, werden bei Kurzantwort-Aufgaben wenige Wörter bis wenige Sätze verlangt. Online erkennt man derartige Fragen daran, dass nur ein kleines Textfeld für die Antwort angeboten wird. Diese Fragen eignen sich gut für die Überprüfung von Begriffen und Definitionen bzw. für Anwendung von gelernten Informationen. Auch Berechnungen können über Kurzantworten abgefragt werden. [5]

    Bei der Prüfung von Definitionen ist der Fachbegriff optimalerweise in der Fragestellung vorgegeben, während die Definition von den TN als Antwort formuliert werden muss. Damit die TN dennoch in eigenen Worten antworten müssen, empfiehlt es sich, den Wortlaut der Fragestellung, wenn möglich, nicht 1:1 aus den Lehrveranstaltungsunterlagen zu entnehmen.

    Lückentexte

    Lückentexte sind eine Form von Kurzantworten. Dabei fehlen in einem Text einzelne Begriffe (vorrangig Fachausdrücke und Schlüsselwörter), die die TN aus dem Kontext erschließen und ergänzen müssen. Im Gegensatz zu den obigen Kurzantworten ist hier also eine Definition/ein Sachverhalt vorgegeben und ein einzelner Begriff zu ergänzen. Dafür ist es wichtig, den Text so zu formulieren, dass nur eine Antwort sinnvoll ist. Dies erleichtert die Korrektur für die Prüfer*innen. Sind im Lückentext Antwortmöglichkeiten vorgegeben, handelt es sich nicht mehr um eine offene, sondern um eine geschlossene Frage (z.B. Drag & Drop).

    Essays und andere Texte

    Für die Darstellung von komplexen Zusammenhängen und Argumentationssträngen sowie Interpretationen von Daten genügt eine Kurzantwort nicht. Hierfür kann man die Aufgabe stellen, ein Essay oder einen argumentativen Text zu verfassen bzw. eine Fallstudie zu bearbeiten. Bei letzterem bearbeiten die Studierenden verschiedene Fragen/Aufgaben zu einem realitätsnahen Beispiel/Fall. Auch wenn die LP eine genaue Aufgabenstellung formuliert, ist dieser Fragentyp der freieste unter den offenen Fragen. Aus der Antwort geht dementsprechend nicht nur hervor, was der*die TN weiß, sondern auch, wie der Lösungsweg logisch/argumentativ aufgebaut wurde.

    Open-Book-Prüfungen

    Open-Book-Prüfungsformate, wo TN ihre Unterlagen (und ggf. andere Hilfsmittel) verwenden dürfen, sind vor allem in Online-Settings beliebt, aber werden in Präsenz-Settings ebenfalls verwendet. Bei Open-Book-Prüfungen ist es besonders wichtig, mit den Fragen höhere Lernzielebenen anzusprechen. Wird bloß die Wiedergabe abgefragt (aufzählen, benennen), können die TN die Antworten einfacher aus ihren Unterlagen entnehmen. Deshalb sollten die Fragen, wenn möglich, zumindest auf die Anwendungs- und Analyseebene gehoben werden, um die eigene Denkleistung der TN zu fordern. Aus diesem Grund eignen sich für Open-Book-Prüfungen die oben genannten längeren Texte mit komplexen Arbeitsaufträgen gut. Eine Variante der Open-Book-Prüfung ist das Take-Home-Exam, bei dem Aufgaben über einen längeren Zeitraum hinweg, üblicherweise mehrere Tage, bearbeitet werden dürfen. Dieses eignet sich beispielsweise gut für Fallstudien oder längere Projektarbeitsaufträge.

  • Zeitlicher Aufwand

    Offene Fragen lassen sich relativ schnell erstellen, da keine vorgegebenen Antwortmöglichkeiten entwickelt werden müssen. Trotzdem sollte Zeit für das Formulieren einer Musterlösung bzw. von Beurteilungskriterien eingeplant werden. Auch für das Einspielen in Online-Tools benötigen offene Fragen weniger Zeit als geschlossene. Dafür fällt bei offenen Fragen meist ein größerer Korrekturaufwand an. Vor allem Fragen, die in Textform beantwortet werden, können mehrere Stunden für die Korrektur beanspruchen. Digitale Tools können diese Arbeit erleichtern, indem sie Probleme mit unleserlichen Handschriften verhindern, die digitale Korrektur ermöglichen und alles automatisch zentral abspeichern.

    Für die TN sind offenen Fragen ebenfalls aufwändiger, da eigene, mehr oder weniger umfangreiche, Wissensproduktion auf verschiedenen Lernzielebenen verlangt wird.

  • Tipps zur Umsetzung

    • Achten Sie bei der Formulierung der Frage genau darauf, welches Fragewort bzw. welchen Operator Sie verwenden, um die gewünschten Antworten zu bekommen.
    • Bitten Sie andere LP, Ihre Fragen auf Verständlichkeit, Nachvollziehbarkeit und Vollständigkeit gegenzulesen.
    • Planen Sie bereits während der Erstellung der Fragen, nach welchen Beurteilungskriterien Sie bei der Korrektur vorgehen werden (z.B. Welche Punkte müssen bei welcher Frage jedenfalls genannt sein?) und wie Sie die Fragen gewichten. [6] Stellen Sie die Beurteilungskriterien am besten im Voraus zur Verfügung. TN sollen eine klare Vorstellung davon haben, was von ihnen erwartet wird.
    • Überlegen Sie bereits vor der Tool-Auswahl, welche Fragen Sie stellen wollen. Ein Essay-Text ist in einem Textverarbeitungsprogramm am einfachsten zu erstellen und korrigieren. Die TN geben solche Leistungen am besten über das Lernmanagementsystem ab (Moodle-Aktivität „Aufgabe“). Für Lückentexte benötigen Sie ein Quiz-Tool wie Microsoft Forms oder die Aktivität „Test“ auf Moodle bzw. itslearning. Für Online-Prüfungen ist ein Abgleich mit den unterstützten Software-Varianten der Hochschule notwendig.
    • Bei der Korrektur von offenen Fragen empfiehlt es sich, vergleichend vorzugehen, also die gleichen Aufgaben hintereinander zu korrigieren, nicht ganze Prüfungen von vorne bis hinten. Außerdem ist es hilfreich, vor der Punktevergabe einige Lösungen zur Orientierung durchzulesen, um einzuschätzen, auf welchem Niveau die Antworten sich befinden. [7]

  • Vorteile / Herausforderungen

    • Online können Fragen multimodal gestellt werden (z.B. mit einem kurzen Video, Hörbeispiel oder Bild).
    • E-Assessment-Tools ermöglichen die zufällige Auswahl von Fragen aus einem Fragenpool und die Darstellung in unterschiedlicher Reihenfolge, um die Abschreib-Gefahr zu verringern.
    • Verlassen Sie sich bei (kurzen) offenen Fragen nicht auf die automatische Auswertung des Tools. Egal, wie viele Antwortmöglichkeiten Sie als richtig hinterlegen, manche TN denken vielleicht anders und geben eine richtige Antwort, die das Tool als falsch markieren würde.

  • Einfluss auf Lernerfolg

    Überprüfungen mit offenen Fragen decken Verständnisprobleme von TN auf. [8] Im Gegensatz zu geschlossenen Fragen kann über offene Fragen auch der erfolgreiche Kompetenzerwerb in Anwendungssituationen erkannt werden, nicht nur der bloße Wissenserwerb. [9] Constructive Alignment, also das Zusammenspiel von Lernzielen, -methoden, und Prüfungsfragen, kann ebenso zu einem besseren Lernerfolg beitragen. [10]

  • Einfluss auf Motivation

    Damit die TN ihre Motivation nicht verlieren, kann umfangreiches Feedback helfen. [11] Positive Rückmeldungen sind außerdem Ansporn zu größerem Einsatz. Zwischenüberprüfungen zeigen den TN, wo sie stehen und was ihnen noch fehlt. [12] (siehe auch UC „Feedback“)

  • Rechtliche Aspekte

    Mit diesem Absatz möchten wir Sie für rechtliche Aspekte beim Einsatz von digitalen Technologien in Unterricht und Lehre sensibilisieren. Gesetzliche Bestimmungen sind jedenfalls einzuhalten. Für diesen Use Case sind insbesondere folgende Rechtsthematiken relevant:

    • Urheberrecht
    • Nutzungsbedingungen
    • Datenschutzgrundverordnung (inkl. Datensicherheit)
    • Prüfungsordnung

    Bitte wenden Sie sich bei weiteren Fragen an die zuständige/n Abteilung/en Ihrer Institution.


  • Mögliche Tools für Umsetzung

    Lernmanagementsysteme

    Lernmanagementsysteme (LMS) dienen der Kommunikation und der Verwaltung von Lernprozessen, Materialien sowie TN. Ihr Funktionsumfang beinhaltet die Erstellung von Tests/Quiz. An Hochschulen ist meist ein bestimmtes LMS in Gebrauch, welches von allen LP genutzt werden kann; im steirischen Hochschulraum sind das aktuell:

    • Moodle (freies Lernmanagementsystem)
    • itslearning (kommerzielles Lernmanagementsystem)

    Prüfungssoftware

    Die meisten Hochschulen haben eine bestimmte Prüfungssoftware in Verwendung, die für die Durchführung von Onlineprüfungen verwendet wird. Die Prüfungssoftware ermöglicht zudem eine umfangreiche statistische Auswertung der Fragen (beispielsweise welche Frage sehr häufig falsch beantwortet wird) und einen Export der Ergebnisse. Bei Fragen zum Prüfungstool Ihrer Hochschule setzen Sie sich am besten mit Ihrer IT-Servicestelle in Verbindung.

    Audience-Response-Systeme

    Mit Audience-Response-Systemen können Umfragen, Formulare und oftmals auch Quiz erstellt werden, die einfach über einen Link mit TN geteilt werden können und eine übersichtliche Ergebnisdarstellung bieten. Die unten angeführten Tools bieten die Möglichkeit, neben geschlossenen Fragen (z.B. Multiple Choice) auch offene Freitext-Fragen zu stellen. Sie eignen sich für informelle, anonyme Durchführung von Zwischenüberprüfungen und Self-Assessments.

    • Microsoft Forms von Office 365 – LP benötigt Lizenz; derzeit kostenlos für 1 Jahr verfügbar bzw. oft direkt von Hochschulen zur Verfügung gestellt; Umfrage kann über einen Link geteilt werden; TN anonym
    • GoogleForms – kostenloser Account für Ersteller*innen notwendig; Anmeldung für TN
    • Mentimeter – Freemium (kostenlose Version mit eingeschränktem Funktionsumfang verfügbar) LP benötigt ein Benutzer*innenkonto, Firmensitz USA. Die LP steigt über mentimeter.com, die TN über menti.com ein.
    • ARSnova – Freeware, Open Source, LP benötigt ein Benutzer*innenkonto, Firmensitz Deutschland
    • Feedbackr – Freemium (kostenlose Version mit eingeschränktem Funktionsumfang verfügbar), LP benötigt ein Benutzer*innenkonto, Firmensitz Graz/Österreich (von Studierenden der TU Graz entwickelt)
    • PINGO – Freeware, LP benötigt ein Benutzer*innenkonto, TN anonym, Firmensitz Deutschland (von der Universität Paderborn entwickelt).

  • Anwendungsbeispiel

    Eine LP möchte in ihrer BWL-Lehrveranstaltung eine unbenotete Lernzielkontrolle in Vorbereitung auf die spätere Prüfung durchführen. Da sie möchte, dass die TN Zusammenhänge verstehen und nicht nur Definitionen auswendig lernen, entscheidet sie sich dafür, die Fragen offen zu stellen. Sie gibt einen Sachverhalt vor und fragt „Welche Schritte würden Sie setzen? Kommentieren und begründen Sie“. Die Aktivität erstellt sie als „Aufgabe“ auf Moodle, kündigt diesen Test früh genug an und führt ihn am Anfang einer Präsenzeinheit durch. Die TN bringen dafür ihre eigenen mobilen Endgeräte mit, eine sichere Prüfungsumgebung ist in diesem Fall nicht notwendig. Die Korrektur nimmt die LP direkt auf Moodle vor, kommentiert die Einträge und geht zu Beginn der nächsten Einheit zusammenfassend auf die Ergebnisse ein. Durch diesen Vorgang erfahren die TN, was die LP in der Prüfung von ihnen erwartet, kennen ihren derzeitigen Wissensstand und können sich zielgerichteter auf die Abschlussprüfung vorbereiten.

  • Weiterführende Literatur und Beispiele

  • Quellen

    [1] Vgl. WU Wien (2019). Prüfungsfragen formulieren 1: Geschlossene und offene Fragetypen, Teaching & Learning Academy, Wirtschaftsuniversität Wien, November 2019. CC BY-SA 4.0 International.

    [2] Vgl. ELAN Verein. E-Assessment. E-Assessments & E-Klausuren Wiki. CC BY-NC-ND Elan e.V.

    [3] Vgl. E-Teaching (2018). Constructive Alignment.

    [4] Vgl. Döring, Sandra (2010). Formulierung von Lernzielen. SECo – Sächsisches E-Competence Zertifikat. CC BY SA Sandra Döring.

    [5] Vgl. WU Wien (2019).

    [6] Vgl. ebda.

    [7] Vgl. WU Wien. Checkliste zur Durchführung von Prüfungen mit offenen Fragen.

    [8] Vgl. Handke, Jürgen & Schäfer, Anna Maria (2012). E-Learning, E-Teaching und E-Assessment in der Hochschullehre. Eine Anleitung. München: Oldenburg Verlag. S. 148.

    [9] Vgl. Arnold, Patricia; Kilian, Lars; Thillosen, Anne Maria & Zimmer, Gerhard M. (2018). Handbuch E-Learning: Lehren und Lernen mit digitalen Medien. Uni-Taschenbücher GmbH Verlag. S. 309

    [10] Vgl. E-Teaching (2018). Constructive Alignment.

    [11] Vgl. Hochschulforum Digitalisierung: E-Assessment als Herausforderung. S. 7.

    [12] Vgl. Handke, Jürgen & Schäfer, Anna Maria (2012). E-Learning, E-Teaching und E-Assessment in der Hochschullehre. Eine Anleitung. München: Oldenburg Verlag. S. 148.