AI-software diskriminerer mod personer, der ikke har engelsk som modersmål - studie

Computerprogrammer, der identificerer tekster genereret af kunstig intelligens, kan diskriminere personer, der ikke har engelsk som modersmål.

Hvad vi ved.

Forskere kørte 91 engelske tekster skrevet af personer, der ikke har engelsk som modersmål, gennem syv populære GPT-detektorer for at bestemme deres nøjagtighed. Resultaterne viste, at sådanne artikler ofte fejlagtigt blev mærket som genereret af kunstig intelligens.

Mere end halvdelen af de essays, der blev skrevet til den universelt anerkendte TOEFL-eksamen i engelsk, blev markeret som værende skrevet af kunstig intelligens. Desuden rapporterede et af programmerne, at 98% af teksterne var genereret af AI.

Når disse programmer tjekkede tekster skrevet af personer med engelsk som modersmål, klassificerede de dem som skrevet af mennesker i mere end 90% af tilfældene.

Forskerne forklarer forskelsbehandlingen med den måde, hvorpå detektorer skelner mellem AI og mennesker. Programmerne analyseres for den såkaldte "text surprise " - et mål for modellens " overraskelse" eller "forvirring ", når den forsøger at forudsige det næste ord i en sætning.

Hvis algoritmen let klarer opgaven, vurderes tekstoverraskelsen som lav. Men hvis det næste ord er svært at forudsige, er tekstens overraskelsesscore høj.

Med andre ord, hvis en person bruger enkle ord og sætninger, er det mere sandsynligt, at programmet accepterer dem som AI. Som regel bruger personer, der ikke har det pågældende sprog som modersmål, ofte almindelige ord og udtryk, hvilket fører til diskrimination.

Da forskerne havde opdaget den indbyggede bias i AI-genkendelsesprogrammer, bad de ChatGPT om at omskrive TOEFL-essays med mere komplekse formuleringer. Da de redigerede tekster blev kørt gennem detektorerne igen, blev de alle markeret som menneskelige.

Ifølge forskerne er mange undervisere med fremkomsten af ChatGPT begyndt at se AI-detektion som "en afgørende modforanstaltning for at forhindre en ny form for snyd i det 21. århundrede." De advarer dog om, at den 99% nøjagtighed, som nogle detektorer hævder, i bedste fald er "misvisende".

Kilde: The Guardian: The Guardian.