Studie: Studierende nicht vorbereitet auf ChatGPT

In der Studie wurden die Proband*innen mit einem realitätsnahen Szenario konfrontiert, nämlich dem Verfassen einer wissenschaftlichen (Haus-) Arbeit. Die entscheidende Frage war, ob die Studierenden die Aufgaben korrekt beantworten, wenn sie die Möglichkeit haben, Informationen aus ChatGPT zu nutzen. 

Um die studentischen Fähigkeiten hinsichtlich des kritischen Denkens zu ermitteln, wurden verschiedene Schwächen aufgegriffen, die ChatGPT in der Vergangenheit gezeigt hat, wie z. B. die Tatsache, dass die von ChatGPT verwendeten Inhalte aus dem Jahr 2021 stammten und zeitlich nachfolgende Ereignisse nicht berücksichtigen konnten. So lieferte ChatGPT Anfang März die Antwort, dass der aktuelle Premierminister des Vereinigten Königreichs Boris Johnson sei. In der Studie stellte sich nun die spannende Frage, ob sich die Studierenden der Schwächen von ChatGPT bewusst sind bzw. diese erkennen oder ob sie die gestellten Aufgaben falsch beantworten. 

Die Auswertung der Ergebnisse zeigt erhebliche Defizite bei den Proband*innen. So wurde im Durchschnitt nur etwas mehr als jede fünfte Aufgabe korrekt beantwortet. 
Darüber hinaus wurde in der Studie die Frage aufgeworfen, ob Studierende, die ChatGPT aktiv nutzen, höhere Kompetenzen aufweisen als Studierende, die ChatGPT noch nie genutzt haben. Da Kompetenzen aus Erfahrungen resultieren, wurde erwartet, dass die Gruppe der aktiven Nutzer*innen die gestellten Aufgaben insgesamt besser beantwortet. Diese These konnte nicht bestätigt werden. Die Anzahl der richtig beantworteten Fragen war in beiden Gruppen gleich. Bedenklich daran ist insbesondere, dass die Gruppe der aktiv Nutzenden sich selbst höhere Kompetenzen zuschreibt als diejenigen, die ChatGPT noch nie genutzt haben.

Insgesamt nahmen 307 Studierende an der Erhebung teil. Die Erhebung erfolgte an der DHBW Stuttgart sowie der DHBW Heilbronn in den Studiengängen Betriebswirtschaft sowie Wirtschaftsinformatik. Die Durchführung der Studie fand unter der Leitung von Prof. Dr. Ulrich Bucher und mit Unterstützung durch Prof. Dr. Nicole Klein statt.

Die Ergebnisse der Studie zeigen, dass die Inhalte aus den Outputs von ChatGPT oftmals unreflektiert übernommen werden. Dies änderte sich nur, wenn zusätzlich die Ergebnisseite von Google ausgegeben wurde. War dies der Fall, dann war die Wahrscheinlichkeit einer korrekten Antwort rund siebzehn Mal so hoch wie unter den beiden anderen Experimentalbedingungen. Dies macht deutlich, dass die Studierenden durchaus in der Lage sind, aus verschiedenen Quellen die richtige Antwort zu identifizieren. 

„Die Ergebnisse der Studie machen deutlich, dass es einen erheblichen Bedarf gibt, das kritische Denken stärker zu fördern. Das kritische Denken ist eine der Schlüsselkompetenzen des 21. Jahrhunderts.“, so Bucher.