Kursthemen

  • Allgemeines

    Alles einklappen Alles aufklappen

    Eine Open-Book-Prüfung planen, erstellen und durchführen

    CC BY 4.0 Steirische Hochschulkonferenz
    Aktuelle Version: 10.12.2020

    Kurzbeschreibung

    Open-Book-Prüfungen mit der Verwendung von zur Verfügung stehenden Hilfsmitteln (z.B. Unterlagen, Skripten oder dem Internet) sind auf den ersten Blick ein vielleicht unkonventionelles Prüfungsformat, haben aber einen hohen didaktischen Wert: Die Prüfungsfragen zielen auf höhere Kompetenzniveaus ab und die Teilnehmer*innen (TN) müssen ihr Wissen aktiv einsetzen, anstatt auswendig Gelerntes wiederzugeben (oder bloß aus Unterlagen abzuschreiben). Damit sind diese Prüfungen nicht nur, aber vor allem auch für Online-Settings gut geeignet, wo die TN die Prüfungen in der Regel von zuhause aus in einem vordefinierten Zeitrahmen absolvieren. Didaktische Tipps und Überlegungen für gelungene Open-Book-Prüfungen finden Sie in diesem Use Case. 

    Allgemeine Eckdaten

    Die Bildbeschreibung zu den allgemeinen Eckdaten dieses Use Cases finden Sie in der PDF- und WORD-Version.

  • Gründe für den Einsatz

    • Die Open-Book-Prüfung zielt auf höhere Lernzielebenen ab und dient u.a. zur Überprüfung von Synthese- und Transferleistungen.
    • Die Fragen erfordern keine bloße Wiedergabe von Wissen und haben keine einfachen Ja/Nein-Antworten, sondern erfordern den Einsatz und die Verknüpfung des bisher Gelernten gepaart mit eigener Denkleistung.
    • Diese Art von Prüfung kann in Präsenz und insbesondere digital im Rahmen der Fernlehre (Online-Lehre) durchgeführt werden.
    • Die Bearbeitung von praxisnahen und umfangreichen Fallstudien, Rechenaufgaben, Textanalysen, Essayaufgaben oder das Verfassen von Reviews kann im Rahmen von Open-Book-Prüfungen durchgeführt werden.

  • Technische Infrastruktur / Empfehlungen

    Soll die Open-Book-Prüfung von zu Hause aus durchgeführt werden, benötigen die Lehrperson (LP) und die Teilnehmer*innen (TN) Computer bzw. Laptops mit stabiler Internetverbindung. Müssen Aufgaben händisch gelöst werden (beispielsweise in Mathematik oder Chemie), benötigen die TN eine Kamera, ein Smartphone oder einen Scanner, um ihre Ergebnisse fotografieren und z.B. wieder ins Prüfungssystem bzw. Lernmanagementsystem (LMS) hochladen zu können. Sollte es auf der Seite der TN technische Probleme geben, wird ein Kommunikationskanal ohne Internetverbindung empfohlen, am besten eine Telefonnummer. Für die Dauer der Prüfung sollte die LP online sowie per Telefon für Fragen erreichbar sein. Sollte sich die Hochschule zu einer Art Überwachung der Kandidat*innen in diesem Prüfungssetting entscheiden, wird entsprechende Software und/oder Hardware benötigt (z.B. Safe Exam Browser, Plagiatssoftware, Webcam).

  • Rolle der Lehrperson

    Die LP ist in diesem Format nicht nur als Prüfer*in aktiv, sondern auch für die technische Instruktion und Unterstützung zuständig. Wenn möglich, kann dafür eine weitere Person (beispielsweise Kolleg*innen, Studienassistent*innen oder Personen aus der IT-Abteilung) hinzugezogen werden. Wichtig ist, dass die LP die TN bereits während des Semesters mit entsprechenden Informationen und Übungen auf die Open-Book-Prüfung vorbereitet (Stichwort Constructive Alignment, also die Abstimmung von Lernzielen, Methoden, LV-Inhalten und Prüfungsaufgaben).

  • Einsatzmöglichkeiten / Methoden

    Eine Open-Book-Prüfung zeichnet sich dadurch aus, dass Unterlagen (z.B. Mitschriften, Zusammenfassungen) zum Lösen der Prüfungsaufgaben verwendet werden dürfen („open“ book).[1] Open-Book-Prüfungen unterscheiden sich deshalb in ihrer Konzeption grundlegend von „herkömmlichen“ Prüfungen, da trotz des offenen Charakters eine eigenständige Leistung von den TN zu erbringen ist.[2]

    Formate

    Prüfungsaufgaben, die auf eine bloße Reproduktion von Wissen abzielen oder über eine schnelle Internetrecherche gelöst werden können, sind für dieses Prüfungsformat nicht geeignet. Stattdessen wird die Prüfung so konzipiert, dass Transfer- und Syntheseleistungen erforderlich sind, zum Beispiel durch einen Vergleich mehrerer Theorien oder die Frage nach Gegenargumenten. Geeignete Aufgabenformate für Open-Book-Prüfungen sind neben klassischen offenen Fragen und Essays auch Fallbeispiele, Rechenbeispiele, Textanalysen, Rezensionen, Creative-Response-Aufgaben (Beantwortung bspw. als Diagramm oder Mind-Map), oder Lernportfolios.[3]

    Die Open-Book-Prüfung kann im Hörsaal handschriftlich, im Computerraum digital, oder von zuhause aus über eine Online-Prüfungssoftware oder ein Lernmanagementsystem für digitale Abgaben durchgeführt werden. Bei letzterer Variante müssen aufgrund der unterschiedlichen Aufenthaltsorte von LP und TN einige Punkte beachtet werden, die für eine Vor-Ort-Prüfung nicht im selben Maße relevant sind, wie die Formulierung der Fragen, die technischen Voraussetzungen und die Eigenständigkeit der TN.


    Fragenformulierung

    Für den gelungenen Einsatz des Open-Book-Formats im Online-Setting ist eine möglichst präzise, eindeutige Formulierung der Prüfungsfragen wichtig, da das Setting das Nachfragen und die Klärung von Unklarheiten erschwert. Die Open-Book-Fragen sollten keine klaren Ja-/Nein-Antwort haben, sondern die Einbindung umfangreicher Lehrveranstaltungsinhalte und eigener Denkleistung erfordern. Somit eignen sich offene Fragen, die höhere Lernzielebenen (analysieren, evaluieren) abfragen, am besten. Unterschiedliche Typen von offenen Fragen können unterschiedliche Kompetenzen abfragen, beispielsweise[4]:

    • Klärungsfragen wie „Was ist Ihrer Meinung nach das Hauptproblem?“
    • Annahmefragen wie „Welche Vermutung/Annahme stellt XY hier an? Warum?“
    • Grund- und Beweisfragen wie „Können Sie den Grund dafür erklären? Gibt es einen Grund, an den Belegen zu zweifeln? Was kann ein anderes Beispiel sein?“
    • Herkunfts- und Quellfragen wie „Wurde Ihre Meinung von jemandem beeinflusst? Woher kommt Ihre Ansicht?“
    • Implikationen und Konsequenzfragen wie „Welchen Effekt würde das haben? Was wäre die Alternative?“
    • Standpunktfragen wie „Wie würden andere Gruppen auf diese Fragen antworten? Was würde jemand, der*die XY glaubt, denken?“

    Die Frageformulierung auf höheren Lernzielebenen sind im UC „Offene Fragetypen“ nochmals genauer beschrieben.

    Vorbereitung

    Um die TN für die Online-Prüfung zu rüsten, ist es wichtig, sie frühzeitig darüber zu informieren, was dieses Prüfungsformat auszeichnet, wie die Prüfung ablaufen wird (Zeitpunkt, Dauer und „Ort“, technische Voraussetzungen, Anzahl und Art der Prüfungsaufgaben, Bewertungsschema, etc.) und wie die TN sich darauf vorbereiten können. Es sollte vermieden werden, dass die TN den Schwierigkeitsgrad unterschätzen und sich darauf verlassen, durch reines Nachschlagen in ihren Unterlagen bzw. eine Internetrecherche bestehen zu können. Gemeinsam besprochene Beispielfragen und Musterlösungen können dem vorbeugen.[5] Im besten Fall wird das Prüfungsformat vom Beginn der Lehrveranstaltung an mitbedacht und auf die gewünschten Lernziele ausgerichtet, damit die TN in der Prüfung nicht mit Überraschungen konfrontiert werden und die LP genau die Kompetenzen abprüft, deren Erreichung gewünscht ist.


    Varianten

    Eine längere Variante der Open-Book-Prüfung ist das Take-Home-Exam. Dabei ist zum Beispiel ein Projektauftrag oder ein Fallbeispiel zu lösen. Wie der Name sagt, ist diese Art der Prüfung jedenfalls von zuhause aus zu absolvieren. Der Zeitrahmen für die Lösung der Aufgaben beträgt dabei mehrere Stunden, Tage oder sogar Wochen. Diese Zeit können sich die TN entweder völlig frei einteilen oder die TN können innerhalb eines vorgegebenen Zeitfensters entscheiden, wann sie die Prüfung absolvieren (beispielsweise eine 2-stündige Online-Prüfung, die jederzeit in einem 48-stündigen Zeitfenster absolviert werden kann). Dabei können die TN sich die Bearbeitung der Aufgaben flexibel einteilen und auch technische Probleme spielen eine weniger gravierende Rolle, da das Abgabefenster lang genug ist. Je größer die angegebenen Zeitfenster sind, desto eher können die TN aber zusammenarbeiten, weshalb die Aufgabenstellungen am besten entweder sehr individuell sind (beispielsweise Lösung als Video) oder sogar als Teamarbeit vorgesehen sein können.

    Ebenso ist es möglich, kreativere Prüfungsformate für die Open-Book-Prüfung einzusetzen. Dazu gehören zum Beispiel die oben genannten Antworten in Grafiken oder Mind-Maps, aber auch Pro- und Contradebatten oder andere Onlinediskussionen.[5]

  • Zeitlicher Aufwand

    Die Erstellung der Fragen ist bei einer Open-Book-Prüfung erstmals aufwändig, da bestehende Prüfungsformate und -fragepools meist adaptiert werden müssen. Der Korrekturaufwand der langen und individuell formulierten Antworten der TN ist außerdem höher als bei geschlossenen Fragen. Aus diesem Grund empfiehlt es sich, Musterlösungen oder Beurteilungsraster vorzubereiten, die die Korrektur beschleunigen. Einen englischen Leitfaden für Beurteilungsraster (genannt Rubics) bietet beispielsweise die University of South Wales. Die Dauer einer Open-Book-Prüfung sollte aufgrund der Komplexität der Aufgaben großzügiger angesetzt werden und zumindest 60-90 Minuten betragen.

  • Tipps zur Umsetzung

    • Informieren Sie Ihre TN vorab über die geplante Open-Book-Prüfung und deren Abhaltung. Teilen Sie den TN mit, wann die Prüfung stattfindet (Datum, Uhrzeit, Prüfungsdauer), wo die Prüfung abgehalten wird (Prüfungssoftware oder auch Lernmanagementsystem, z.B. Moodle) und wie die Prüfung abzulegen ist (technische Voraussetzung seitens der TN: z.B. Laptop, Textverarbeitungsprogram; Erklärung der Prüfungsform „Open-Book-Prüfung“; genauer Ablauf).
    • Eine präzise Formulierung der Prüfungsaufgaben ist wichtig, da die TN weniger Möglichkeiten haben, bei Unklarheiten ad hoc nachzufragen. Kommunizieren Sie eine geeignete Kontaktmöglichkeit während der Prüfungsdauer, damit TN Fragen stellen können (z.B. Telefon, E-Mail, ein Forum im Lernmanagementsystem, etc.)
    • Überprüfen Sie die komplexen Prüfungsfragen im besten Fall nach dem Vier-Augen-Prinzip kritisch.
    • Bedenken Sie, dass die TN den Schwierigkeitsgrad einer Open-Book-Prüfung unterschätzen könnten. Es ist deswegen wichtig, dass Sie Ihre TN informieren, welche Art von Leistungen zu erbringen ist. Dafür kann es hilfreich sein, bereits in Ihrer Lehre wiederholt beispielhafte Prüfungsaufgaben einfließen zu lassen und ggf. Musterlösungen zur Verfügung zu stellen.
    • Geben Sie Ihren TN den Tipp, sich für die Prüfung einen Timer zu stellen (z.B. alle 30 Minuten bzw. 10 Minuten vor Prüfungsende), um die Zeit nicht zu übersehen und weisen Sie Ihre TN darauf hin, Zeit für die Abgabe einzuplanen.
    • Überlegen Sie vorab, wie Sie mit Komplikationen umgehen (z.B. TN geben Prüfungen außerhalb des Zeitfensters ab). 

  • Vorteile / Herausforderungen

    • Die Open-Book-Prüfung überprüft höhere Kompetenzebenen und zeigt, ob die TN die Inhalte verstanden haben und anwenden können oder bloß auswendig lernen.
    • Bei der erstmaligen Erstellung von einer Open-Book-Prüfung besteht die Gefahr, dass Lehrpersonen die Komplexität ihrer Aufgaben unterschätzen oder die TN entsprechend fordern wollen und die Prüfungsdauer daher zu kurz ansetzen.[7]
    • Die Durchführung von Prüfungen im Online-Modus stellt unter Umständen eine Herausforderung bei der Einrichtung der technischen Umgebung dar. Deshalb sollte sich die Lehrperson frühzeitig mit den technischen Rahmenbedingungen vertraut machen und die Online-Prüfungsumgebung einrichten.
    • Ebenso sind die Sicherstellung der Eigenständigkeit und der Ausschluss unerlaubter Hilfsmittel in einer Online-Prüfung schwierig. Fragestellungen, die höheren Lernzielebenen entsprechen (analysieren, evaluieren, erschaffen), bieten weniger Spielraum für Erfolg durch Schummeln als bloße Wiedergabefragen. Erklärungen zur Eigenständigkeit und Plagiatsprüfungen können ebenfalls mehr Sicherheit schaffen. Hier gilt es auch, mit den Studierenden vorab zu thematisieren, was ein Plagiat ist und dass bei der Verwendung externer Quellen diese ordnungsgemäß zitiert werden müssen. Letztlich kann die Hochschule natürlich unterschiedliche Methoden der „Überwachung“ einsetzen (z.B. Safe Exam Browser, Studierende loggen sich für die Dauer der Prüfung in eine Videokonferenz ein und müssen ihre Kameras aktivieren, etc.). Überwachungsinstrumente dieser Art sind jedoch entweder teuer in der Anschaffung und/oder benötigen dementsprechende (technische) Ressourcen bzw. werfen datenschutzrechtliche Fragen auf. Bei der entsprechenden Konzeption der Fragen sind sie deshalb meist für dieses Prüfungsformat nicht nötig. Für genauere Informationen dazu wenden Sie sich bitte an die zuständigen Abteilungen Ihrer Institution.

  • Einfluss auf Lernerfolg

    Nachhaltiger Lernerfolg kann nicht durch eine einzelne Prüfungsleistung abgebildet werden. Wenn Lernende aber über das Semester hinweg in Vorbereitung auf die Open-Book-Prüfung auf höhere Kompetenzniveaus trainiert werden, kann sich eine höhere Behaltensleistung und Kompetenzerreichung einstellen.[8] [9]

  • Einfluss auf Motivation

    Wie mehrere Studien zeigen, kann das offene Prüfungsformat bei entsprechender Vorbereitung unter anderem zum Abbau von Prüfungsangst bei TN beitragen. [10] [11] Kreative Aufgaben und praxisnahe Beispiele können auch motivierend wirken und letztere jedenfalls zur beruflichen Handlungskompetenz beitragen. [12]


  • Rechtliche Aspekte

    Mit diesem Absatz möchten wir Sie für rechtliche Aspekte beim Einsatz von digitalen Technologien in Unterricht und Lehre sensibilisieren. Gesetzliche Bestimmungen sind jedenfalls einzuhalten. Für diesen Use Case sind insbesondere folgende Rechtsthematiken relevant:

    • Urheberrecht (bei der Verwendung von Bildern und Fotos)
    • Nutzungsbedingungen der verwendeten Tools
    • Datenschutzgrundverordnung (inkl. Datensicherheit)
    • Prüfungsordnung

    Bitte wenden Sie sich bei weiteren Fragen an die zuständige/n Abteilung/en Ihrer Institution.


  • Mögliche Tools für Umsetzung

    Lernmanagementsysteme

    Lernmanagementsysteme (LMS) dienen der Kommunikation und der Verwaltung von Lernprozessen, Materialien sowie TN. Durch die eindeutige TN-Zuordnung von Leistungen und Abgaben können sie auch für Online-Prüfungen eingesetzt werden. An Hochschulen ist meist ein bestimmtes LMS in Gebrauch, welches von allen LP genutzt werden kann; im steirischen Hochschulraum sind das aktuell:

    • Moodle – freies LMS; (Aktivität „Aufgabe“ für Dateiabgaben oder „Test“ für Quiz mit offenen und geschlossenen Fragen – an manchen Hochschulen für Prüfungsszenarien im Einsatz, an anderen lediglich für Lernzielkontrollen)
    • its learning – kommerzielles LMS (Aktivität „Auftrag“)

    Prüfungssoftware

    Die meisten Hochschulen haben eine bestimmte Prüfungssoftware in Verwendung, die für die Durchführung von Onlineprüfungen verwendet wird (das kann ein externes Tool wie Perception sein, aber auch die Aktivität „Test“ auf Moodle). Bei Fragen zum Prüfungstool Ihrer Hochschule setzen Sie sich am besten mit Ihrer IT-Servicestelle in Verbindung.


  • Anwendungsbeispiel

    Open-Book-Prüfung: In einer Vorlesungsprüfung aus Archäologie müssen die TN Objekte ihrem Ausgrabungsort zuordnen, datieren und ihre Verwendung erklären. Die LP führt diese Prüfung als 90-minütige Open-Book-Prüfung durch, da sie nicht möchte, dass die TN Listen mit Daten und Orten auswendig lernen, sondern stattdessen diese Listen mit Objekten verknüpfen und ihr Wissen auf diese anwenden können. Im Prüfungstool können die TN die Bilder der Objekte nacheinander anschauen und jeweils Freitextantworten geben. Die LP verwendet dafür selbst erstelle Fotos, die keine bekannten im Internet leicht auffindbaren Objekte darstellen, sondern anhand von sichtbaren Merkmalen von den TN selbst identifiziert werden. In diesem Modus müssen die TN Analysekompetenzen beweisen, einfaches Nachschlagen in den Unterlagen genügt dafür nicht.

    Take-Home-Exam: In einem Seminar zu quantitativen Forschungsmethoden möchte die Lehrperson die tatsächlich gewonnenen Forschungskompetenzen der TN überprüfen. Aus diesem Grund stellt sie ein Take-Home-Exam zusammen, in dem die TN vorgegebene Rohdaten nach selbst gewählten Schwerpunkten auswerten, zusammenfassen und interpretieren müssen. Die Aufgabenstellung wird den TN nicht nur zur Verfügung gestellt, sondern auch in der letzten Einheit vor dem Take-Home-Exam besprochen, um Unklarheiten klären zu können. Die LP gibt den TN eine Woche Zeit, um die Auswertung, Zusammenfassung der Ergebnisse und kurze Diskussion auf Moodle über die Aktivität „Aufgabe“ abzugeben. Aufgrund des großen Zeitfensters werden die TN explizit darauf hingewiesen, dass eine verspätete Abgabe nicht möglich ist.

  • Weiterführende Literatur und Beispiele


  • Quellen

    [1] Vgl. Schulz, Alexander & Apostolopoulos, Nicolas (2010). FU E-Examinations: E-Prüfungen am eigenen Notebook an der Freien Universität Berlin. In: Ruedel, Cornelai und Mandel, Schewa (Hrsg.): E-Assessment. Einsatzszenarien und Erfahrungen an Hochschulen. Waxmann, 23-46.

    [2] Vgl. Myyry, Liisa, & Joutsenvirta, Taina (2015). Open-book, open-web online examinations: Developing examination practices to support university students’ learning and self-efficacy. Active Learning in Higher Education, 16(2), 119–132. https://doi.org/10.1177/1469787415574053.  

    [3] Vgl. Universität Salzburg (2020). Schriftliche online-Prüfungen. 5.

    [4] Vgl. Anderson, Lorin W. & Krathwohl, David R. (2001). A taxonomy for learning, teaching and assessing: A revision of Bloom’s taxonomy of educational objectives. New York: Longman.

    [5] Vgl. Khare, Anshuman & Lam, Helen (2008). Assessing student achievement and progress with online examinations: Some pedagogical and technical issues. International Journal of E-Learning 7(3): 383–402.

    [6] Vgl. Universität Salzburg (2020). Schriftliche online-Prüfungen. 5.

    [7] Vgl. Eilertsen, Tor Vidar & Valdermo, Odd (2000). Open-book assessment: A contribution to improved learning? Studies in Educational Evaluation, 26(2), 91–103. https://doi.org/10.1016/s0191-491x(00)00010-9.  

    [8] Vgl. Francis, John (1982). A case for open‐book examinations. Educational Review, 34(1), 13-26, https://doi.org/10.1080/0013191820340102.

    [9] Vgl. Williams, Jeremy B., & Wong, Amy (2009). The efficacy of final examinations: A comparative study of closed-book, invigilated exams and open-book, open-web exams. British Journal of Educational Technology, 40(2), 227–236. https://doi.org/10.1111/j.1467-8535.2008.00929.x.  

    [10] Vgl. Francis, John (1982).

    [11] Vgl. Eilertsen, Tor Vidar & Valdermo, Odd. (2000).

    [12] Vgl. Widulle, Wolfgang (2009). Prüfungen als Schritt zur Handlungskompetenz. In: Handlungsorientiert Lernen im Studium. VS Verlag für Sozialwissenschaften. https://doi.org/10.1007/978-3-531-91855-6_7.