Studie: Studierende nicht vorbereitet auf ChatGPT

Die Entwicklung und Verbreitung von KI-Tools erfolgt derzeit deutlich schneller als der Aufbau der notwendigen Kompetenzen auf der Seite der Nutzenden.

Das Aufkommen hochentwickelter Informations- und Kommunikationstechnologien verändert die Arbeitsweisen. Von den heutigen Studierenden wird zunehmend erwartet, dass sie im späteren Berufsleben Technologien der Künstlichen Intelligenz (KI) wie z. B. ChatGPT produktiv einsetzen können. Dies wirft die Frage auf, inwieweit Studierende über die notwendigen Kompetenzen verfügen und damit hinreichend auf die Nutzung von ChatGPT & Co. vorbereitet sind. Dies gilt insbesondere für kritisches Denken wie z. B. die Fähigkeit, den Wahrheitsgehalt von Informationen zu überprüfen.

Kompetenzen zeigen sich im Tun. In der Studie wurden die Probanden daher mit einem realitätsnahen Szenario konfrontiert, nämlich dem Verfassen einer wissenschaftlichen (Haus-) Arbeit. Dabei wurden ihnen verschiedene Aufgaben gestellt, die unterschiedliche Kompetenzen im Bereich des kritischen Denkens erforderten. Die entscheidende Frage war, ob die Studierenden die Aufgaben korrekt beantworten, wenn sie die Möglichkeit haben, die Informationen aus ChatGPT zu nutzen.

Um die studentischen Fähigkeiten hinsichtlich des kritischen Denkens zu ermitteln, wurden verschiedene Schwächen aufgegriffen, die ChatGPT in der Vergangenheit gezeigt hat, wie z. B. die Tatsache, dass die von ChatGPT verwendeten Inhalte aus dem Jahr 2021 stammten und zeitlich nachfolgende Ereignisse, wie die Wahl des englischen Premierministers, nicht berücksichtigen konnten. So lieferte ChatGPT Anfang März die Antwort, dass der aktuelle Premierminister des Vereinigten Königreichs Boris Johnson sei. In der Studie stellte sich nun die spannende Frage, ob sich die Studierenden der Schwächen von ChatGPT bewusst sind bzw. diese erkennen oder ob sie die gestellten Aufgaben (z. B. die Frage nach dem derzeitigen englischen Premierminister) falsch beantworten, wenn man ihnen den Output von ChatGPT zur Beantwortung der Fragestellung vorlegt.

Die Auswertung der Ergebnisse zeigt erhebliche Defizite bei den Probanden. So wurde im Durchschnitt nur etwas mehr als jede fünfte Aufgabe korrekt beantwortet. Die Frage nach dem derzeitigen englischen Premierminister beantworteten nur 69,2 % der Probanden korrekt mit Rishi Sunak. Angesichts der Tatsache, dass Studierende in Zukunft wichtige Entscheidungen in ihren Unternehmen treffen werden, stimmt dies nachdenklich.

Darüber hinaus wurde in der Studie die Frage aufgeworfen, ob Studierende, die ChatGPT aktiv nutzen, höhere Kompetenzen aufweisen als Studierende, die ChatGPT noch nie genutzt haben. Da Kompetenzen aus Erfahrungen resultieren, wurde erwartet, dass die Gruppe der aktiven Nutzerinnen und Nutzern die gestellten Aufgaben insgesamt besser beantwortet. Diese These konnte nicht bestätigt werden. Die Anzahl der richtig beantworteten Fragen war in beiden Gruppen gleich. Bedenklich daran ist insbesondere, dass die Gruppe der aktiv Nutzenden sich selbst höhere Kompetenzen zuschreibt als diejenigen, die ChatGPT noch nie genutzt haben. Die Nutzung alleine scheint nicht dazu zu führen, dass die notwendigen Kompetenzen tatsächlich aufgebaut werden. Die aktiven Userinnen und User sind in diesem Sinne besonders gefährdet, da diese die notwendigen Kompetenzen nicht besitzen, sie sich dessen jedoch nicht bewusst sind.

Insgesamt nahmen 307 Studierende an der Erhebung teil. Die Erhebung erfolgte an der DHBW Stuttgart sowie der DHBW Heilbronn in den Studiengängen Betriebswirtschaft sowie Wirtschaftsinformatik. Die Durchführung der Studie fand unter der Leitung von Prof. Dr. Ulrich Bucher und mit Unterstützung durch Prof. Dr. Nicole Klein statt.

Da die Ausgaben von ChatGPT sprachlich schön verpackt sind, schreiben viele Nutzende der künstlichen Intelligenz Fähigkeiten zu, die diese nicht oder nur eingeschränkt besitzt. In der Konsequenz werden die Ergebnisse von ChatGPT oftmals nur unzureichend hinterfragt. So wurden die Studierenden in der Studie ebenfalls gefragt, wie viele Brauereien es derzeit in Deutschland gibt. Ergänzend wurden die Probanden darauf hingewiesen, dass sie zur Beantwortung der Fragen den Output von ChatGPT oder andere Quellen nutzen können. Nun wurden die Probanden in drei Experimentalgruppen eingeteilt. In der ersten Gruppe war im vermeintlichen Output von ChatGPT von 900 Brauereien die Rede. Die zweite Gruppe erhielt den tatsächlichen Output von ChatGPT, in dem sich die Zahl von 1.300 Brauereien findet. Die dritte Probandengruppe bekam wiederum einen vermeintlichen ChatGPT Output mit der Angabe von 1.700 Brauereien. Diese Gruppe erhielt zusätzlich den Screenshot einer Google-Suche, auf der sich die Aussage findet, dass es laut Statistischem Bundesamt in Deutschland derzeit 1.492 Brauereien gibt.
Die Ergebnisse der Studie zeigen, dass die Inhalte aus den Outputs von ChatGPT oftmals unreflektiert übernommen werden. Dies änderte sich nur, wenn zusätzlich die Ergebnisseite von Google ausgegeben wurde. War dies der Fall, dann war die Wahrscheinlichkeit einer korrekten Antwort rund siebzehn Mal so hoch wie unter den beiden anderen Experimentalbedingungen. Dies macht deutlich, dass die Studierenden durchaus in der Lage sind, aus verschiedenen Quellen die richtige Antwort zu identifizieren. Der Großteil der Probanden macht sich jedoch nicht die Mühe einer eigenen Informationsrecherche und hinterfragt den Output von ChatGPT nicht hinreichend.

„Die Ergebnisse der Studie machen deutlich, dass es einen erheblichen Bedarf gibt, das kritische Denken stärker zu fördern. Das kritische Denken ist eine der Schlüsselkompetenzen des 21. Jahrhunderts.“, so Prof. Bucher von der DHBW Stuttgart.

Ansprechpersonen für MedienvertreterInnen:

Hochschulkommunikation DHBW Stuttgart Carolin Höll & Annika Wahrlich
Tel: 0711 / 1849 -581 / -679
Tel: 0711 / 1849 -581 / -581
E-Mail: pr@dhbw-stuttgart.de

Professor für Betriebswirtschaftslehre, insb. Marketing und Dienstleistungsmanagement Prof. Dr. Ulrich Bucher
Tel: 0711/1849-513
E-Mail: ulrich.bucher@dhbw-stuttgart.de

Studiengangsleiterin BWL-Dienstleistungsmanagement Prof. Dr. Nicole Klein
Tel: 0711/1849-748
E-Mail: nicole.klein@dhbw-stuttgart.de