Bewerten im Umgang mit ChatGPT u ä

Liebe alle

Um was geht’s?
Lehrpersonen werden unweigerlich mit Large Language Models (LLM) wie ChatGPT konfrontiert. Verbote sind unrealistisch und Kontrollen wie bei Plagiaten werden nicht greifen. Anstatt Aufträge umständlich anzupassen, müssen wir lernen, damit umzugehen.
Ich sehe darin eine grossartige Chance, dass Automatisierung das Repetitive übernimmt und somit Raum für kritisches Denken und tiefgreifendes Verständnis schafft.
Nur; wie sollen wir bewerten, wenn wir nicht wissen, wie gross die Eigenleistung bei Schüler*innen-arbeiten ist?

Mein Vorschlag
Ich möchte, dass Schüler*innen souverän mit LLMs arbeiten, deren Output _verstehen_und LLMs insgesamt das Lernen verbessern.

  1. Ich fordere Belege für alle Quellen, inklusive Sprachmodelle. Das hilft mir, die Eigenleistungen in den Arbeiten der Schülerinnen nachzuvollziehen. Bei ChatGPT können die Schülerinnen bequem Links zu ihren Chat-Verläufen erstellen. Der Aufwand ist also kaum grösser als bei einer Fussnote oder einem bibliografischen Beleg.

  2. Die Schüler*innen bearbeiten den Auftrag, ggf. auch zuhause oder in anderen Situationen, in denen ich ihnen nicht auf die Finger schauen kann. Sie geben ab.

  3. Ich bewerte die Arbeit vorerst ohne besondere Berücksichtigung von LLMs. Ich beurteile aufgrund fachlicher Kriterien, darunter das transparente Verwenden von Quellen und fremden Inhalten. Daraus generiere ich eine Note.

  4. Wir führen eine mündliche Diskussion ähnlich wie bei der Verteidigung einer Doktorarbeit, in der ich Fragen stelle, um das Verständnis zu prüfen, dass die Schüler*innen zu ihrer eigenen Arbeit haben. Teile der Arbeit, bei denen ich den Verdacht habe, dass sie unkritisch irgendwoher übernommen wurden, beleuchte ich besonders intensiv. Das kündige ich genau so an. Ich bewerte ihre Erklärungen und gebe einen Faktor zwischen 0.5 und 1.5: 0.5 wenn die eigene Arbeit schlecht begründen konnte, 1 wenn sie gut erläutert werden konnte und 1.5 wenn deutlich wird, dass der Lernende über seine Arbeit hinaus sattelfest ist.

  5. Die Endnote ergibt sich aus der Multiplikation der Note aus Schritt 3 mit dem Faktor aus Schritt 4.

*Beispiel: Eine Arbeit erhält eine 5.5, aber der Schüler erklärt sie nicht gut (Faktor 0.8). Die Endnote ist 5.5 * 0.8 = 4.4.
*

Meine Fragen

  1. Darf ich Noten auf diese Weise berechnen? Vor allem was den Faktor angeht habe ich bedenken?
  2. Die Diskussion ist aufwändig. Darf ich sie nur auf Verdacht hin durchführen? Bei jenen Arbeiten, bei denen ich keinen Verdacht habe, würde ich den Faktor 1 verwenden. D.h. die Note aus Schritt 3 entspricht der Endnot.
  3. Welche didaktischen Implikationen sind zu Erwarten?

Ich bin sehr gespannt auf Eure Antworten!
Herzliche Grüsse
AdiBlo

Liebe/r AdiBlo

Besten Dank für deine Frage, die bei uns angekommen ist.
Wir haben sie intern der zuständigen Expertin/dem zuständigen Experten weitergeleitet. Eine Antwort folgt so bald als möglich.

Herzliche Grüsse,
die Redaktion

Lieber AdiBlo

Herzlichen Dank für deine Anfrage und die Einsicht in deine Gedankengänge.
Erstmal ein grosses Kompliment an dich und deine intensive Auseinandersetzung mit ChatGPT und einer dafür geeigneten Bewertungsweise. Sprachmodelle wie ChatGPT sind erst seit kurzem für die grosse Masse verfügbar und fordern Lehrende auf allen Bildungsstufen heraus. Im Moment sind Bildungsinstitution ebenfalls damit beschäftigt, einen passenden Umgang mit den Sprachmodellen zu finden. Aufgrund dessen wäre es nun falsch, eine Beurteilung darüber abzugeben, inwiefern dein Vorgehen richtig oder falsch ist.
Hier unsere Gedankengänge:

  1. Es muss davon ausgegangen werden, dass Schüler*innen sowie Studierende Sprachmodelle wie ChatGPT benutzen. Es muss also grundsätzlich hinterfragt werden, was bewertet werden soll und welche Prüfungssituationen sinnvoll sind.
    
  2. Sprachmodelle wie ChatGPT erleichtern unsere Arbeit enorm. Allerdings darf die Kompetenz der Modelle nicht überschätzt werden. Es braucht uns Menschen als Kontrollinstanz. Dementsprechend wird die Kompetenz «Kritisches Denken» (Literaturvorschlag: *Ausbilden nach 4K: ein Bildungsschritt in die Zukunft* (vgl. Sterel et al., 2018)) zunehmend wichtiger. Aus diesem Grund ist dein Ansatz, eine mündliche Diskussion über die Arbeiten zu führen lobenswert, denn damit kannst du einerseits erkennen, inwiefern die Schüler*innen bzw. Studierenden über die Thematik Bescheid wissen und andererseits, inwieweit sie reflektiert über die Inhalte sprechen können. 
    
  3. Eine Beurteilung darüber, inwiefern deine Notenberechnung sinnvoll ist, möchten wir nicht abgeben. Wichtiger ist vielmehr, dass die Beurteilungskriterien transparent kommuniziert werden und dass für die Schüler*innen bzw. Studierenden nachvollziehbar wird, wie eine Note zu Stande kommt. Die Entscheidung darüber, was beurteilt wird und wie die Beurteilung stattfindet, liegt in der Kompetenz jeder professionellen Lehrperson. Ein spannendes Interview zur Vergabe von Schulnoten findest du [hier](https://www.klett.ch/rundgang/im-gespraech/sind-schulnoten-noch-sinnvoll).
    

Nun unsere Frage: Sind diese Ausführungen für dich hilfreich? Gibt es weitere Anregungen von deiner Seite? Gerne hören wir von dir.

Herzliche Grüsse
Trendscouting

@trendscouting:
vielen Dank für deine ausführliche Antwort und das Lob.

Deine Betonung der 21st Century Skills unterstreicht die Wichtigkeit der Themen, die wir in der Bildung heutzutage berücksichtigen müssen. Ich stimme mit dir überein und versuche das in meinem Unterricht zu fördern.
Die Diskussion über den Sinn von Noten ist sicherlich ein bedeutsamer Aspekt der pädagogischen Praxis. Es ist nicht leicht, eine Balance zu finden zwischen der Erkundung neuer Methoden und der Einhaltung der rechtlichen und didaktischen Normen, und ich schätze deine Unterstützung bei dieser Herausforderung. Ich hatte gehofft, mehr Klarheit über die spezifischen rechtlichen Aspekte zu erlangen. Ich verstehe jedoch, dass dies ein komplexes Feld ist.

Herzliche Grüsse
AdiBlo

Lieber Adiblo
Spontan: Ich würde sinngemäss mit einem Komptenzenraster arbeiten. Mit den _SuS die Kriterien erarbeiten, die notwendig sind für Lösungen, mit Fremdeinschätzung durch dich, Selbsteinschätzung durch die SuS.
Fördert Selbstreflexion, Kriterien sind für Drittpersonen nachvollziehbar, Lernprozess wird transparent beschrieben.
Begrifflicher Austausch wird möglich. Du darfst fast alles :), Transparenz ist wichtig.

Herzliche Grüsse
jomali

Hallo und danke für die Gedanken zu diesem wichtigen Thema. Als Lehrperson an der Oberstufe einer Volksschule möchte ich nebst dem bereits Geschriebenen folgende Bemerkungen anbringen:

Eine wie bei Vorschlag 1 gemachte Vorgabe bezüglich Quellenangabe und präziser Ausweisung von KI-Prompts ist für einen beträchtlichen Teil der Lernende der Volksschule gar nicht erreichbar. Solche Vorgaben passen eher ans Gynmasium oder zum Studium.

Explizit ausserhalb der Schule an Aufträgen mit KI arbeiten zu dürfen (oder gar zu sollen) benachteiligt die Lernenden, die eigentlich Förderung und Unterstützung am nötigsten hätten: solche mit wenig sprachlichen Kompetenzen und ohne (bildungsnahe) Unterstützung im Elternhaus.

Vorschlag 4 geht, wenn er allgemein gefasst wird, in eine Richtung, die auch am Ende von Arbeiten mit KI-Hilfe eingesetzt werden kann: Lernende erbringen „menschliche“ Kompetenznachweise: Vorträge, Präsentationen, Erklärvideos, Lerngespräche etc. Schriftliche Arbeiten (mit oder ohne KI) sind bloss noch ein möglicher Zwischenschritt auf dem Weg zum menschlichen Kompetenznachweis.
Damit lässt sich auch die unter „Um was geht’s?“ Frage beantworten: Wir bewerten nur Produkte von Lernenden, in denen sie ihre menschlichen Kompetenzen nachweisen können.