Pět expertů varuje: útočné techniky proti AI systémům se posunuly za prompt injection

Virtuální panel bezpečnostních odborníků shrnul aktuální stav AI hrozeb a ukázal, že útoky na strojové učení už nejsou jen teoretickým rizikem. Claudio Masolo, Elham Arshad, Sabri Allani, Vijay Dilwale a Igor Maljkovic popsali konkrétní incident response případy, kde útočníci zneužívají autonomní agenty, manipulují s tréninkovými daty a kombinují AI nástroje se sociálním inženýrstvím. Pro firmy, které integrují jazykové modely do produkčních workflow, panel přináší první strukturovanou mapu toho, co konkrétně musí security týmy dělat jinak než u klasických aplikací.

Data poisoning cílí na firemní fine-tuning, ne jen na veřejné datasety

Elham Arshad upozornila na posun v útocích na tréninkovou fázi modelů. Zatímco dřívější demonstrace data poisoningu se týkaly akademických datasetů, nově dokumentované případy ukazují cílené pokusy o kontaminaci firemních fine-tuningových sad. Útočník, který získá přístup k interním dokumentům používaným pro dotrénování modelu, může vložit škodlivé vzory, které model naučí generovat konkrétní výstupy na základě specifických vstupů.

Sabri Allani doplnil konkrétní scénář z finančního sektoru: útočník přidal do tréninkových dat desítky dokumentů s falešnými compliance pravidly, které model následně prezentoval jako platná interní směrnice. Detekce takového útoku je složitá, protože kontaminovaná data vypadají jako legitimní firemní obsah a chyba se projeví až v produkčním nasazení, kdy model začne doporučovat nesprávné postupy.

Autonomní agenti otevírají útočnou plochu mimo tradiční perimetr

Igor Maljkovic popsal kategorii útoků specifickou pro AI agenty, které mají oprávnění provádět akce v externích systémech. Klasická bezpečnostní opatření jako firewall nebo access control fungují na úrovni uživatelských účtů, ale agent jedná jménem systému s širšími privilegii. Útočník, který dokáže manipulovat s promptem nebo kontextem agenta, efektivně získává schopnost provádět akce, na které by sám neměl oprávnění.

Panel zdokumentoval incident, kde útočník zneužil customer service agenta připojeného k CRM systému. Agent měl oprávnění měnit zákaznická data za účelem řešení reklamací. Útočník poslal sérii dotazů napsaných tak, aby agent interpretoval požadavek jako legitimní servisní operaci a změnil fakturační údaje na účtu třetí strany. Tradiční audit log ukázal pouze legitimní API volání autorizované agentským účtem.

AI-powered social engineering kombinuje generativní modely s klasickými technikami

Vijay Dilwale představil analýzu phishingových kampaní, kde útočníci použili jazykové modely k personalizaci zpráv v dosud nedosažitelném měřítku. Místo hromadného rozesílání šablon útočník nasadil model, který pro každého cíle vygeneroval unikátní zprávu na základě veřejně dostupných informací z LinkedIn, firemních webů a konferenčních prezentací.

Claudio Masolo doplnil technické pozadí: útočník použil open-source model, který fine-tunoval na korpusu legitimních firemních e-mailů získaných z úniku dat. Výsledné zprávy měly přirozený tón, obsahovaly správnou terminologii a referovaly konkrétní projekty, které cíl skutečně řešil. Detekční systémy založené na rozpoznávání šablon nebo gramatických chyb tyto zprávy neodhalily.

Incident response musí zahrnovat inspekci trénovacích dat a prompt historie

Panel formuloval změny v incident response procesu specifické pro AI systémy. Standardní forensní analýza se soustředí na síťový provoz, logy autentizace a změny v souborových systémech. U AI incidentu je nutné přidat inspekci trénovacích dat, prompt historie, kontextových databází a výstupních logů modelu.

Sabri Allani popsal postup, kdy security tým musel rekonstruovat, které konkrétní dokumenty v RAG databázi vedly k problematickému výstupu modelu. Klasické nástroje pro log analýzu nejsou stavěné na parsování embeddings nebo vector search výsledků. Tým musel vyvinout vlastní skripty pro zpětné trasování od problematického outputu přes retrieved chunks zpět k původním dokumentům.

Security týmy potřebují nové role na rozhraní ML a klasické bezpečnosti

Elham Arshad uzavřela diskusi popisem organizačních změn. Firmy, které nasazují AI do produkce, potřebují lidi, kteří rozumí jak tradičním útokům, tak statistickým vlastnostem modelů. Klasický penetration tester neví, jak testovat robustnost modelu proti adversarial examples. ML inženýr zase nerozumí lateral movement nebo privilege escalation v síťovém prostředí.

Panel doporučil hybrid role, kde jeden člověk pokrývá security implikace celého AI pipeline od dat přes trénink až po deployment. Igor Maljkovic zmínil, že jejich firma vytvořila pozici AI Security Engineer, která kombinuje znalost OWASP Top 10 s porozuměním MITRE ATLAS framework pro AI-specific hrozby. Tento člověk koordinuje mezi data science týmem a klasickým SOC.