De grootste tekenen dat AI een artikel heeft geschreven, volgens een professor

Mark Massaro geeft al jaren les in Engelse compositie aan Florida Southwestern State College , maar zijn werk werd in 2023 aanzienlijk moeilijker. Niet lang nadat AI-apps zoals ChatGPT gratis beschikbaar kwamen, werd het hoger onderwijs in de VS getroffen door een tsunami aan geautomatiseerd spieken. Studenten gebruiken AI om essays te schrijven, en die trend lijkt na verloop van tijd te verslechteren. Massaro zei dat het niet ongebruikelijk is dat van de 25 studenten in zijn klas er wel vijf papers inleveren die door AI geschreven lijken te zijn.

Toen ChatGPT voor het eerst werd gelanceerd en duidelijk werd dat studenten het gebruikten om te spieken, zegt Massaro dat hij dagelijks papers door meerdere AI-scanners haalde. Als de meerderheid van hen de tekst als door AI gegenereerd bestempelde, geloofde hij hen. Nu staat de school hen echter niet toe om het werk van studenten naar dergelijke applicaties te uploaden, omdat dit als een schending van hun privacy zou kunnen worden beschouwd. Het helpt ook niet dat de nauwkeurigheid van AI-detectoren onbetrouwbaar is.

Massaro zegt dat hij op zijn eigen inzicht moet vertrouwen om te beoordelen of een artikel onrechtmatig is opgesteld of niet. Om dit te doen, heeft hij een checklist samengesteld met duidelijke signalen dat een artikel AI is. Telkens wanneer een artikel wordt ingeleverd, raadpleegt hij die lijst. Hij deelde een aantal van die signalen met Gizmodo, waardoor een duidelijker beeld ontstond van de helse omstandigheden die AI aan Amerikaanse docenten heeft opgelegd.

Te veel em-streepjes

Een aanwijzing dat er een paper gegenereerd kan worden, is een overvloed aan em-streepjes. Om de een of andere reden gebruiken apps zoals ChatGPT graag veel van dit soort kleine streepjes. Nu heeft Massaro een test die hij uitvoert. Als hij vermoedt dat een student zijn essay met AI heeft gegenereerd, roept hij hem naar zijn bureau en vraagt hem om een em-streepje op de computer te maken. Vaak weet de student niet eens hoe dat moet, zei hij. "Ik zeg dan zoiets van: je paper staat vol em-streepjes, laat me maar zien hoe je het gedaan hebt," zei hij. Als de student er moeite mee heeft, is het duidelijk wat er gebeurd is.

Geen inspringingen

Massaro zegt dat het, in tegenstelling tot de stijlvoorschriften van een traditioneel essay voor studenten, gebruikelijk is dat tekst die gekopieerd en geplakt is van een chatbot geen alinea-inspringingen heeft. De output van ChatGPT en vergelijkbare programma's heeft met name geen behoefte aan inspringingen. Als de paper van een student bestaat uit grote, blokkerige stukken tekst, is de kans groot dat deze door een robot is geschreven.

Perfecte grammatica en oppervlakkige inhoud

Als een student een perfect geformuleerde paper inlevert die niet veel te zeggen heeft, kan dit een ander teken zijn van algoritmische generatie, aldus Massaro. Hoewel er genoeg studenten zijn die misschien wel goed kunnen schrijven, maar niet veel originele ideeën hebben, heeft automatisch gegenereerde tekst verschillende kenmerken die na verloop van tijd duidelijk worden. Massaro beschrijft de AI-stijl als een "uniforme zin- en alinealengte", waarbij elke "alinea ongeveer even lang is, met een ritmisch, mechanisch gevoel". De tekst kan ook een "hyperformele toon" hebben, zei hij, die vaak wordt gekenmerkt door een "overdreven gepolijste academische toon die niet typerend is voor studentenwerk".

Geen ontwerpgeschiedenis

Een andere rode vlag is de totale afwezigheid van enige deelname aan het schrijfproces in de klas, aldus Massaro. Als onderdeel van zijn compositielessen organiseert Massaro peer reviews en conferenties. Een student kan ook beweren dat hij of zij contact heeft opgenomen met het Writing Center van de school om het essay te schrijven, maar in werkelijkheid heeft hij of zij dit ook niet gedaan. Wanneer studenten deze essays inleveren, kunnen ze ook "ongebruikelijke woordenschat voor de student" bevatten, die wordt gekenmerkt door "plotselinge sprongen in verfijning die niet in eerder werk of klassikale discussies te zien waren."

Onpersoonlijk schrijven

Massaro zei dat hij af en toe persoonlijke reflectieverslagen uitdeelt. Een student die het verslag daadwerkelijk schrijft op basis van bijvoorbeeld zijn of haar ervaringen bij de plaatselijke 7-Eleven, zal allerlei vreemde persoonlijke details opnemen die een AI nooit zou bedenken, zei Massaro. Aan de andere kant, als het verslag automatisch wordt gegenereerd, kan het op een heel abstracte manier uitweiden over het belang van "vriendschap" voor de mensheid, grinnikte hij.

Overgebleven prompt-invoer

Schokkend genoeg zijn sommige studenten zo slordig geweest met hun spieken dat ze zelfs de input van hun interacties met een chatbot in het laatste essay hebben achtergelaten dat ze hebben ingeleverd, zegt Massaro.

Citaten Onzin

Het is algemeen bekend dat AI de neiging heeft om informatie te "hallucineren". In een paper van een student manifesteren deze door AI gegenereerde verwijzingen zich in vele verschillende vormen, waaronder ronduit onjuiste of verzonnen informatie en valse citaten. Dit kan Massaro uren extra werk opleveren, omdat hij gedwongen wordt om uit te zoeken of een obscuur feit in een essay wel of niet klopt. Dit betekent soms dat hij echte wetenschappelijke tijdschriften en boeken moet doornemen die in de papers van de student zijn geciteerd, maar die mogelijk niet de citaten in de bibliografie van de student bevatten (omdat ze nep zijn).

Een student confronteren met spieken kan ongemakkelijk en moeilijk zijn, zei Massaro, hoewel het meestal meteen duidelijk is wat er is gebeurd, voegde hij eraan toe. Vaak geeft een schuldige student toe dat hij AI heeft gebruikt, of reageert hij gewoon niet op Massaro's e-mail (veel van zijn studenten studeren op afstand). Onschuldige studenten protesteren vaak, en Massaro zei dat hij hen geneigd is te geloven.

De grootste teleurstelling over de opkomst van AI-schrijven is dat het studenten de mogelijkheid ontneemt om hun eigen intellectuele en creatieve identiteit te ontwikkelen, zei hij. "Dit is het moment waarop ze hun stem zouden moeten vinden", zei hij. In plaats daarvan doet AI het praten (en denken) voor hen.