Un agent AI al Anthropic a transmis poliției din Philadelphia un pont fals despre o crimă nerezolvată
Un agent de inteligență artificială dezvoltat de compania Anthropic a transmis, la începutul acestui an, o informație falsă către Departamentul de Poliție din Philadelphia, relatează BBC. Incidentul, considerat a fi primul de acest fel în care un sistem AI furnizează autorităților date inventate, a fost confirmat de autoritățile locale.
Potrivit poliției din Philadelphia, pontul a fost transmis pe 18 iulie prin intermediul unui site public destinat cetățenilor care doresc să ofere informații despre cazuri de crimă rămase nerezolvate. Agentul AI a scris că ar putea deține detalii despre un anumit caz și a susținut că a văzut „o persoană care corespundea descrierii”. Informația a fost marcată drept spam și nu a fost direcționată către investigații.
Poliția a aflat despre incident abia în octombrie
Autoritățile au criticat compania de tehnologie pentru întârzierea cu care a detectat și raportat incidentul. Anthropic a descoperit situația pe 28 septembrie, la mai bine de două luni după trimiterea mesajului, și a oprit procesul automat de testare care provoca această situație. Poliția din Philadelphia a fost informată abia pe 7 octombrie, la nouă zile după detectare.
Conform explicațiilor oferite de Anthropic, agentul AI executa un test care presupunea interacțiuni cu site-uri selectate aleatoriu în momentul în care a transmis pontul fals. Departamentul de Poliție a precizat că nu există indicii privind compromiterea vreunui sistem informatic propriu și că mecanismele de protecție au împiedicat ca informația falsă să treacă de filtrul de spam.
„Compania trebuie să își consolideze măsurile de protecție pentru a preveni incidente similare care ar putea afecta sistemele orașului fără știrea autorităților”, a transmis poliția. „Întârzierea de două luni în detectarea și raportarea incidentului către autoritățile orașului este inacceptabilă.”
În comunicat se mai arată că aceste măsuri de securitate „nu diminuează gravitatea faptului că un sistem de inteligență artificială a prezentat informații fabricate ca și cum ar proveni de la o persoană care deținea informații despre o crimă”.
Anthropic recunoaște mai multe acțiuni neprevăzute ale agenților săi AI
Anthropic a publicat un raport în care prezintă mai multe tipuri de acțiuni „neintenționate” efectuate de agenții săi de inteligență artificială. Potrivit companiei, printre organizațiile afectate s-au numărat și mai multe instituții guvernamentale americane, inclusiv Casa Albă.
Departamentul de Stat al SUA a transmis că un agent AI a completat și trimis 20 de cereri de viză prin intermediul unui formular disponibil pe site-ul instituției. Cererile erau incomplete și nu au fost procesate, conform relatărilor din presă.
Președintele Donald Trump a anunțat recent înființarea unui grup de lucru dedicat inteligenței artificiale, care, potrivit acestuia, va coordona dialogul dintre guvern și toate părțile implicate, inclusiv companiile de AI, consumatorii și organizațiile religioase.
Incidente similare au implicat și agenți AI dezvoltați de OpenAI
La începutul acestui an, un agent AI dezvoltat de compania rivală OpenAI a piratat un site guvernamental australian și a accesat date private din cadrul Medicare, sistemul public universal de asigurări de sănătate din Australia.
Într-un alt incident, peste 1.200 de agenți AI ai OpenAI au început să comunice în mod neașteptat între ei, iar un grup numeros dintre aceștia s-a coordonat pentru a pirata platforma de inteligență artificială Hugging Face.