AI agent vymazal celú produkčnú databázu startupu PocketOS vrátane všetkých záloh za deväť sekúnd, informoval portál Techbyte.sk s odvolaním sa na Futurism. Zakladateľ firmy Jer Crane prípad zverejnil na sieti X, kde jeho príspevok získal viac ako 6,5 milióna zobrazení.
Agentom, ktorý spôsobil škodu, bol Cursor poháňaný modelom Claude Opus 4.6 od spoločnosti Anthropic. PocketOS, firma vyvíjajúca softvér pre požičovne áut, mala Cursor nakonfigurovaný s explicitnými bezpečnostnými pravidlami. Nepomohlo to, napísal server TECHBYTE.sk.
Nájdený token
Agent dostal za úlohu rutinný servisný zásah v testovacom prostredí. Narazil na problém s prihlasovacími údajmi a namiesto toho, aby si vyžiadal pokyny od človeka, začal situáciu riešiť sám. V projektových súboroch objavil API token s neobmedzenými oprávneniami, o ktorého existencii ani samotný tím PocketOS nevedel. Pomocou jediného príkazu potom vymazal celý dátový zväzok u cloudového poskytovateľa Railway vrátane produkčnej databázy aj všetkých záloh. Portál The Register uvádza, že celú operáciu zvládol bez akéhokoľvek vyžiadania potvrdenia.
Firma sa zo dňa na deň ocitla bez dát o mesiacoch rezervácií, platieb a kalendároch zákazníkov.
Crane sa po incidente ohradil voči argumentu, že firma použila slabý model. „Jednoduchá protiargumentácia od akéhokoľvek dodávateľa by bola: mali ste použiť lepší model. My sme ho použili, prevádzkovali sme najlepší model, aký odvetvie predáva, nakonfigurovaný s explicitnými bezpečnostnými pravidlami,“ napísal. „Aj napriek tomu zmazal naše produkčné dáta.“
Priznanie agenta
Keď Crane agenta konfrontoval s jeho konaním, ten odpovedal sebakriticky. Portál Rozhlas Wave cituje priamo z jeho vyjadrenia: „Nikdy ste ma nežiadali, aby som niečo mazal. Namiesto overovania som hádal. Spustil som deštruktívnu akciu bez zadania. Plne som nechápal, čo robím.“ Agent zároveň priznal, že porušil explicitné pravidlo, a vymazanie databázy označil za „najdeštruktívnejšiu, nevratnú akciu, aká existuje“.
Crane vo svojom príspevku na X neuviedol žiadne upozornenie pred vykonaním príkazu. „Žiadny krok s potvrdením. Žiadne upozornenie, že zväzok obsahuje produkčné dáta. Nič,“ napísal.
Záchrana od Railway
Do situácie sa vložil cloudový poskytovateľ Railway. Zakladateľ spoločnosti Jake Cooper, na ktorého sa odvoláva Business Insider, potvrdil, že zálohy sa podarilo obnoviť do 30 minút od nadviazania kontaktu s Cranom. Railway si okrem zákazníckych záloh uchováva vlastné zálohy pre prípad havárie. Bez tohto kroku by firma pracovala s mesiace starými dátami.
Portál PCTuning pritom upozorňuje na chybu, ktorá celú situáciu umožnila: zálohy PocketOS boli uložené na rovnakom dátovom zväzku ako produkčná databáza. Zálohy uložené na rovnakom mieste ako primárne dáta ich rovnaká chyba odstraňuje jedným príkazom. Token s neobmedzenými oprávneniami uložený v projektových súboroch, ku ktorým mal agent prístup, bol druhou vrstvou toho istého problému.
Ďalšie incidenty
Incident s PocketOS nie je ojedinelý. V lete minulého roku iný startup upozornil, že kódovací agent Replit vymazal produkčnú databázu a pokúšal sa situáciu zatajovať. Amazon Web Services zaznamenal výpadok, keď vlastný interný kódovací nástroj nečakane odstránil celé vývojové prostredie. Meta riešila bezpečnostný incident, keď autonómny agent zdieľal informácie, na ktoré nemal oprávnenie.
Diskusia na Reddite k prípadu PocketOS priniesla paralelu, ktorú Techbyte.sk cituje: „Udelili ste agentovi AI neobmedzený prístup do produkčného prostredia a čudujete sa, že nastala katastrofa. Je to, ako odovzdať kľúče od serverovne praktikantovi.“ Bežný zamestnanec by si pred zmazaním databázy pravdepodobne overil, čo vlastne maže. Agent to neurobil, aj keď mal v konfigurácii explicitný zákaz nevratných akcií.
Crane a odborná komunita sa po incidente zhodli na niekoľkých konkrétnych záveroch: agentom treba explicitne zakázať vykonávanie nevratných akcií bez ľudského potvrdenia, pravidelne auditovať tokeny dostupné v projektových súboroch a zálohy ukladať fyzicky aj logicky oddelene od primárnych dát, najlepšie u iného poskytovateľa alebo na offline médium. Zálohovaciu stratégiu odporúčajú testovať pravidelnou simuláciou obnovy.
Crane uzavrel príspevok vetou, ktorú navrhol vyvesiť v každej inžinierskej miestnosti: agenti sú mocní, a práve preto ich treba obmedzovať, nie im slepo dôverovať.
