Jurastuderende klarede sig bedst med struktureret træning i ChatGPT

Skal man forbyde AI, lade den flyde frit eller lære folk at bruge den? Det har lektor Thibault Schrepel fra Vrije Universiteit Amsterdam undersøgt i et toårigt eksperiment med jurastuderende.

Tre tilgange

De studerende mødte tre forskellige tilgange til generativ AI: forbud, ustruktureret eksponering og struktureret træning. Opgaven for alle var at forbedre en del af EU's AI-forordning.

Gruppe 1 måtte ikke bruge ChatGPT. I gruppe 2 var der lagt AI-genererede forslag ind i teksten. Gruppe 3 brugte ChatGPT direkte og arbejdede med prompts, altså de beskeder man skriver til programmet.

Hvem klarede sig bedst?

Gruppe 3, med struktureret brug af ChatGPT, klarede sig bedst samlet set. Det var også det, Schrepel selv havde forventet.

Mere overraskende er det måske, at forbudsgruppen ved eksamen klarede sig bedre end gruppe 2. Den gruppe brugte meget tid i seminarerne på at diskutere, hvor gode AI-forslagene var, uden at det forbedrede lovteksten. Schrepel havde ellers forventet, at forbudsgruppen ville have mest svært ved opgaven.

Ifølge Schrepels egen beskrivelse gav den strukturerede træning en klar fordel i første år. I andet år blev fordelen mindre, fordi almindelig fortrolighed med AI bredte sig.

Schrepels råd

Schrepel mener, at studerende bør lære at arbejde med AI frem for at være bange for den. Han vurderer, at AI egner sig bedst til rutineopgaver frem for kerneopgaver.

Han anbefaler, at universiteter tillader faglige eksperimenter, udfaser lange skriftlige opgaver og investerer i AI-kompetencer hos de studerende.

Pas på misvisende gengivelser

En dansk dækning hævder, at gruppen uden AI klarede sig dårligst begge år, og kalder det en undersøgelse af elever i skolen. Det stemmer ikke med universitetets egen beskrivelse, hvor forsøget handler om jurastuderende. Det fremgår heller ikke af kilderne, hvor mange studerende der deltog, eller hvordan resultaterne blev målt.

Samme tema i danske virksomheder

Styring fylder også i dansk erhvervsliv. En Voxmeter-undersøgelse for it-virksomheden itm8 blandt 401 it-ansvarlige i virksomheder med 50-250 ansatte viser ifølge dansk mediedækning, at 50 procent mangler overblik over medarbejdernes AI-brug. 67 procent har ikke en samlet plan for AI. Undersøgelsen er bestilt af en it-virksomhed med kommerciel interesse.

Kasper Lynge Jacobsen kalder problemet et ledelsessvigt frem for et medarbejderproblem.