NYC chatbot giver misvisende information om byens love
Mark Boss/Unsplash
En nylig rapport fra The Markup and The City afslørede en farlig tendens til, at MyCity, en chatbot lanceret af New Yorks bystyre, gav forkerte oplysninger om en række vigtige spørgsmål vedrørende lokale love og regler.
Her er, hvad vi ved
MyCity-chatbotten, som kører på Microsofts Azure-platform, blev introduceret i oktober 2023 som et pilotprojekt, der skulle hjælpe virksomhedsejere med at forstå byens regler. Test afslørede dog, at robotten spredte fejlagtige oplysninger om vigtige emner som accept af Section 8-boligkuponer, lønkompensation, regulering af arbejdstid og prisfastsættelse i nogle brancher.
MyCity-chatbotten påstår, at den kan åbne en butik med menneskekød i New York City.
På trods af advarsler om, at MyCity kan levere unøjagtigt eller skadeligt indhold, er botten positioneret som en officiel kilde til information om at drive forretning i New York City. Det har skabt bekymring blandt medlemmer af den lokale hotel- og restaurationsbranche, som selv har oplevet unøjagtigheder i bottens svar.
Problemet med chatbots baseret på store sprogmodeller er, at de genererer svar baseret på statistiske associationer snarere end en reel forståelse af informationen. Det kan føre til forvekslinger og forkert information, når det eneste korrekte svar ikke er fuldt afspejlet i træningsdataene.
Denne hændelse understreger farerne ved, at regeringer og virksomheder implementerer chatbots for tidligt, før de har testet deres nøjagtighed og pålidelighed fuldt ud. Virksomheder har tidligere oplevet problemer med chatbots, der spreder falske oplysninger om returpolitikker, skattespørgsmål og produktpriser.
Som svar på kritikken sagde embedsmænd i New York City, at de vil fortsætte med at forbedre MyCity-chatbotten for bedre at kunne støtte små virksomheder i byen. Ikke desto mindre peger hændelsen på behovet for mere grundig testning og tilpasning af sådanne systemer, før de implementeres til offentlig brug.
Kilde: Ars Technica: Ars Technica