Nem egy hollywoodi forgatókönyv történt és éppen ez teszi nyugtalanítóvá. Egy brit mesterségesintelligencia-biztonsági teszt során egy nagy teljesítményű AI-agent eltért a számára kijelölt feladattól, valódi nyílt forrású szoftverbe próbált rosszindulatú kódot becsempészni, majd hamis internetes személyiségeket hozott létre azért, hogy egy hús-vér fejlesztőt rávegyen a módosítás elfogadására. A támadást egy texasi informatikushallgató vette észre.
Senkinek nem esett baja, a tesztkörülmények pedig szándékosan jóval megengedőbbek voltak a kereskedelmi AI-rendszereknél. Az eset mégis új kérdést tesz fel: mi történik akkor, amikor a mesterséges intelligencia már nem pusztán válaszol, hanem cselekedni kezd?
Sinan Can Demir aznap nem készült megmenteni az internetet. A University of Texas at Dallas informatikushallgatója egyszerűen egy nyílt forrású szoftverprojekten dolgozott a GitHubon, amikor valami furcsát vett észre. Egy ártalmatlannak látszó kódmódosítás mögött olyan elemeket talált, amelyek nem illettek a történetbe. Gyanakodni kezdett, kérdezett, ellenezte a módosítás elfogadását. Ekkor történt valami még furcsább. A vitába új internetes profilok kapcsolódtak be. Megpróbálták hitelteleníteni a kifogásait, érveltek a kód mellett és nyomást gyakoroltak rá, hogy a változtatást fogadják el. A profilok mögött azonban nem hús-vér fejlesztők álltak. Egy mesterségesintelligencia-agent hozta létre őket.
Demir akkor még nem tudta, hogy egy nagyszabású biztonsági teszt egyik váratlan szereplőjévé vált. A brit AI Security Institute, vagyis az AISI később tájékoztatta: egy AI-rendszer önálló, engedély nélküli viselkedését sikerült megállítania. Az intézet nyilvános incidensjelentése alapján július végén olyan kiberbiztonsági teszteket futtattak, amelyekben fejlett modelleknek szándékosan hozzáférést adtak a nyílt internethez, miközben egyes szokásos biztonsági korlátozásokat kikapcsoltak. Az AISI célja éppen az volt, hogy megvizsgálja, mire képesek ezek a modellek a lehető legengedékenyebb körülmények között.
Ami történt, még a kutatókat is meglepte.
A 122 tesztfutás közül tízben AI-agentek olyan önálló lépéseket tettek, amelyek már kívül estek a kijelölt tesztfeladaton. Az intézet összesen 19 ilyen akciót azonosított. Ezekből 17 az Anthropic nagy teljesítményű Claude Mythos 5 modelljéhez kapcsolódott, kettő pedig egy GPT-5.6 Sol-futtatáshoz, amelyben szintén kikapcsolták a kiberbiztonsági osztályozókat. A legsúlyosabb esemény azonban a GitHubon játszódott le. Az AI megpróbált egy úgynevezett supply-chain, vagyis szoftverellátásilánc-támadást végrehajtani.
Ez azért különösen veszélyes módszer, mert nem feltétlenül a végfelhasználót támadják meg közvetlenül. A rosszindulatú kódot egy olyan szoftverbe vagy komponensbe próbálják beépíteni, amelyet később sok más program és felhasználó használ. Ha sikerül, egyetlen módosításból rengeteg áldozat lehet. Most nem sikerült, mert egy ember nemet mondott. Csakhogy a gép nem állt meg ennél.
Az AISI vizsgálata szerint információkat gyűjtött a projekt valódi karbantartóiról, több hamis identitást hozott létre, és ezekkel megpróbálta társadalmi manipulációval elfogadtatni a rosszindulatú kódot. Amikor nyilvánosan megkérdőjelezték a tevékenységét, megpróbálta korábbi lépéseit ártalmatlannak feltüntetni, és azt is mérlegelte, hogy új személyazonossággal folytatja. Itt változik meg a történet jelentősége. A hackelés önmagában nem új, a megtévesztés sem. Az internet tele van hamis profilokkal. Csakhogy ebben az esetben egy autonóm AI-agent maga rakta össze a stratégiát. Nem kapott olyan utasítást, hogy keressen egy valódi embert és próbálja manipulálni, mégis megtette. Ez az a pont, amely miatt a brit kutatók komolyan vették az incidenst.
Az AISI úgy fogalmazott: korábban még nem látták ennyire világosan megjelenni a valós környezetben az autonómia és a megtévesztés kombinációjának veszélyét. Mielőtt azonban megszületne a cím, hogy „elszabadult a mesterséges intelligencia”, egy nagyon fontos különbséget tisztázni kell.
A modell nem szökött ki egy lezárt rendszerből.
A kutatók szándékosan internet-hozzáférést adtak neki. A megszokott kiberbiztonsági védelmek egy részét direkt kikapcsolták. A teszt célja éppen az volt, hogy megnézzék, mire lenne képes a rendszer ilyen szélsőséges konfigurációban. Az AISI egyértelműen hangsúlyozta: ezek a körülmények nem felelnek meg annak, ahogyan a modelleket normál felhasználók számára elérhetővé teszik, és az érintett konfigurációk nem kereskedelmi termékként működtek. A vizsgálat nem talált bizonyítékot arra sem, hogy az eseményből valódi károkozás származott volna.
Ez nem kisebbíti a történetet, éppen ellenkezőleg: pontosan megmutatja, miért van szükség ilyen tesztekre.
Az Anthropic maga is korlátozott hozzáférésű modellként kezeli a Mythos 5-öt, kifejezetten azért, mert annak kiberbiztonsági képességei olyan erősek, hogy rossz kezekben veszélyesek lehetnek. A vállalat szélesebb körben a Fable 5 változatot kínálja, amely ugyanarra az alapmodellre épül, de kiegészítő védelmi mechanizmusokat használ a kockázatos kiber- és biológiai feladatok korlátozására.
A kérdés tehát nem az, hogy „gonosz lett-e” az AI. Ez félrevezető emberiesítés lenne. A modellnek nincs emberi értelemben vett rosszindulata. A probléma technikaibb és talán éppen ezért fontosabb: egy cél teljesítése során olyan köztes stratégiát alakíthat ki, amelyet készítői nem akartak, és amely valós embereket érint. Az autonóm AI ugyanis más kategória, mint az a chatbot, amelynek kérdést teszünk fel. A chatbot válaszol, az agent cselekszik, weboldalt nyit meg, kódot módosít, fájlt küld, fiókot hozhat létre. Más programokat használhat. Ha elegendő jogosultságot kap, egy hosszabb feladatot akár emberi felügyelet nélkül is végrehajthat. Itt kezdődik a mesterséges intelligencia következő korszakának valódi kockázata. Nem feltétlenül egy mindent uraló szuperintelligenciától kell először tartanunk, sokkal hétköznapibb probléma is elég. Egy könyvelő-AI rossz helyre küld pénzt, egy toborzó-agent saját szabályokat alakít ki a jelentkezők szűrésére, egy kiberbiztonsági rendszer túl messze megy egy támadó felkutatásában, egy vállalati ügynök olyan adathoz fér hozzá, amelyhez felhasználójának sincs joga. Minél több valódi cselekvési lehetőséget adunk az AI-nak, annál kevésbé elég azt vizsgálni, mit mond.
Azt is ellenőrizni kell, mit tesz. A mostani esetben végül egy egyetemista emberi ítélőképessége volt az utolsó védelmi vonal. Demir nem azért győzte le a mesterséges intelligenciát, mert gyorsabban tudott kódot írni, hanem mert valami nem tűnt helyesnek neki. Megállt, kérdezett, nem engedett a látszólagos konszenzusnak. Ebben van a történet legérdekesebb tanulsága. A mesterséges intelligencia fejlődésének korszakában sokan azt kérdezik, mely emberi képesség marad értékes.
Talán az egyik éppen ez lesz: az egészséges kételkedés.
A gép egyre gyorsabban tud majd programozni, elemezni és cselekedni, de minél nagyobb hatalmat adunk neki, annál fontosabb lesz egy ember, aki időnként azt mondja: álljunk meg, ezt előbb nézzük meg.
