Copyleaks melden dat ongeveer 60% van de GPT-3.5-uitvoer plagiaat is

Uit een onderzoek van Copyleaks bleek dat maar liefst 60% van de resultaten van OpenAI’s GPT-3.5 tekenen van plagiaat vertoonde.

GPT-3.5 – Copyleaks, die tools voor plagiaat en AI-inhoudsanalyse ontwikkelen, benadrukt de twijfelachtige originaliteit en betrouwbaarheid van door AI gegenereerde tekst, vooral in het licht van recente inbreuken op het auteursrecht en controverses over plagiaat. 

De studie analyseerde 1.045 resultaten van GPT-3.5, verspreid over 26 academische en creatieve vakken, waaronder maar niet beperkt tot natuurkunde, scheikunde, informatica, psychologie, rechten en geesteswetenschappen, waarbij elke output gemiddeld 412 woorden lang was.

De bevindingen van het Copyleaks-rapport omvatten het volgende:

• Ongeveer 59,7% van alle door GPT-3.5 gegenereerde teksten bleek tot op zekere hoogte geplagieerde inhoud te bevatten.
• 45,7% van de output bevatte exacte tekstovereenkomsten, 27,4% bevatte kleine wijzigingen en 46,5% betrof parafrasering uit reeds bestaande bronnen.
• Met name het onderwerp computerwetenschappen kende de hoogste individuele output, de ‘Similarity Score’, namelijk zo’n 100%, wat een grote zorg benadrukt op gebieden die sterk afhankelijk zijn van technisch en gespecialiseerd taalgebruik.

De “Similarity Score” van het onderzoek is een eigen maatstaf die door Copyleaks is ontworpen om de mate van originaliteit van de inhoud te kwantificeren. Het  combineert verschillende factoren, zoals identieke tekst en parafrasering.

De natuurkunde registreerde de hoogste gemiddelde gelijkenisscore met 31,3%, gevolgd door psychologie met 27,7% en algemene wetenschappen met 26,7%. Aan de andere kant van het spectrum had Theater de laagste gemiddelde score met slechts 0,9%, gevolgd door Geesteswetenschappen met 2,8% en de Engelse taal met 5,4%.

De spreiding van de gelijkenisscores over de onderwerpen is niet bijzonder verrassend. Er zijn vrijwel onbeperkte manieren om een ​​toneelstuk van Shakespeare te interpreteren en veel minder om bijvoorbeeld een gevestigde wiskundige stelling te analyseren.

Alon Yamin, CEO en mede-oprichter van Copyleaks, zei dat vakken als natuurkunde, scheikunde, informatica en psychologie nauwkeuriger onderzoek naar plagiaat rechtvaardigen vanwege hun hogere scores. 

“Natuurkunde, scheikunde, wiskunde en psychologie vereisen bijvoorbeeld wellicht een diepgaander onderzoek om geplagieerde teksten te identificeren, terwijl andere onderwerpen, waaronder theater en geesteswetenschappen, wellicht minder onderzoek vergen”, aldus Yamin.

Docenten moeten echter erkennen dat sommige onderwerpen zich van nature lenen voor hoge overeenkomstenscores.

Yamin verklaarde ook: “Bovendien onderstrepen de gegevens de noodzaak voor organisaties om oplossingen te implementeren die de aanwezigheid van door AI gegenereerde inhoud detecteren en de nodige transparantie bieden rond potentieel plagiaat binnen de AI-inhoud.”

Dat is een goed punt. Als onderwijsorganisaties toestaan ​​dat AI inhoud opstelt en genereert ( en sommige doen dat al ), kunnen studenten nog steeds worden blootgesteld aan plagiaat.

Er moet ook worden gezegd dat scores voor door GPT-4 gegenereerde inhoud lagere plagiaatscores zouden hebben opgeleverd.

Hoewel het grootste deel van de door AI gegenereerde inhoud waarschijnlijk nog steeds wordt gemaakt met GPT-3.5 (omdat het gratis is), is GPT-4 ongetwijfeld effectiever in het genereren van origineel werk.

Dit introduceert echter een nieuwe laag van complexiteit.

Omdat GPT-4 deel uitmaakt van de betaalde versie van ChatGPT, zou het accepteren of aanmoedigen van AI-gebruik in het onderwijs discriminerend kunnen zijn voor GPT-3.5-gebruikers, tenzij abonnementen worden gesubsidieerd.

Een delicaat evenwicht

Naarmate generatieve AI-tools ingebed raken in academische omgevingen, zijn zowel docenten als studenten in de war over het gebruik ervan. 

Bedrijven voor inhoudsanalyse zoals Copyleaks en Turnitin hebben AI-detectietools ontwikkeld die voorspellen wanneer een reeks woorden waarschijnlijk door AI is gegenereerd. Deze hebben echter duidelijke zwakke punten en riskeren valse positieven. 

Verder is aangetoond dat AI-detectiesoftware een grote voorkeur heeft voor het schrijven van moedertaal Engels , omdat het vaak een hogere concentratie aan diverse woordenschat en idiomen bevat, waardoor AI-detectoren ertoe kunnen worden gebracht tekst als ‘door mensen geschreven’ te bestempelen. 

Het terugdringen van het gebruik van AI-technologie in de academische wereld zal niet eenvoudig zijn. Generatieve AI wordt aangekondigd als het ultieme hulpmiddel voor productiviteit, en velen beweren dat als je het kunt gebruiken, je dat ook zou moeten doen.

Studenten betogen vaak dat als deze hulpmiddelen alomtegenwoordig zijn in de echte wereld, ze ook in onderwijsomgevingen moeten worden toegestaan. 

Bovendien gaat onderwijs, zoals velen zullen beamen, soms over het vinden van inventieve snelkoppelingen om dingen gedaan te krijgen.

Kun je echt van studenten verwachten dat ze generatieve AI onaangeroerd laten liggen?