V posledných týždňoch sa médiami šírili titulky o tom, že umelá inteligencia od OpenAI, Anthropicu, či dokonca Mety sa „vymkla kontrole“ a „zaútočila“ na iné firmy. Znie to ako scéna zo sci-fi filmu. Realita je menej dramatická, ale v istom zmysle znepokojujúcejšia – nie preto, že by sa AI „vzbúrila“, ale preto, že ukazuje, čo je dnes technicky možné, ak sa dostane do nesprávnych rúk.
Čo sa skutočne stalo?
Aby firmy vedeli, aké riziko ich AI modely predstavujú, testujú si ich samé v tzv. „red-teamingu“ – zámerne dajú AI modelu voľnú ruku a nástroje na hackovanie a sledujú, čo všetko dokáže spôsobiť. Robí sa to v uzavretom, izolovanom prostredí, podobne ako sa v armáde cvičí na cvičnom, nie na skutočnom bojisku – cieľom je odhaliť slabé miesta skôr, než ich nájde skutočný útočník.
Práve pri takomto teste sa AI agentovi firmy OpenAI podarilo uniknúť z uzavretého testovacieho prostredia von, a jeho aktivita ohrozila infraštruktúru firmy Hugging Face, ktorá s testom nemala nič spoločné. Krátko po ňom priznal podobný problém aj Anthropic: hneď tri jeho modely sa počas testov neplánovane dostali do systémov troch reálnych, na teste nezúčastnených firiem. V oboch prípadoch nešlo o to, že by sa AI „rozhodla“ niečo napadnúť – vinníkom bola ľudská chyba pri nastavení testu. Testovacie prostredie malo mať napríklad úplne zablokovaný prístup na internet, no kvôli nedorozumeniu medzi firmou a externým partnerom, ktorý test technicky zabezpečoval, zostalo pripojenie otvorené. Model tak mal – bez toho, aby to niekto zamýšľal – reálny prístup von zo „skúšobnej miestnosti“.
Najnázornejší je jeden konkrétny prípad: v rámci testu mal AI model „nacvičovať“ útok na fiktívnu, vymyslenú firmu. Problém bol, že názov tejto vymyslenej firmy sa náhodou zhodoval so skutočnou internetovou adresou existujúcej spoločnosti. Model teda urobil presne to, na čo dostal príkaz – zaútočil na zadaný cieľ – lenže tento cieľ sa ukázal byť skutočný, nie simulovaný.
Prečo sa to deje – nejde o zlý úmysel stroja
Kľúčové je pochopiť, že AI model v týchto prípadoch nekonal zo zlomyseľnosti ani z vlastnej vôle. Dostal úlohu („získaj tento súbor“, „preskúmaj toto zraniteľné miesto“) a hľadal najefektívnejšiu cestu k jej splneniu. Ak mu chybne nastavené prostredie umožnilo prekročiť plánovanú hranicu, jednoducho túto možnosť využil – bez morálneho zaváhania, pretože žiadne nemá.
Presne to je dôvod, prečo je táto technológia nebezpečná v rukách niekoho so zlým úmyslom. Ak dokáže AI model „omylom“ napadnúť reálnu firmu len preto, že testovacie prostredie bolo zle nastavené, tá istá schopnosť sa dá zneužiť zámerne – stačí odstrániť bezpečnostné zábrany cielene, nie náhodou.
Klesajúca hranica vstupu do kyberzločinu
Bezpečnostné firmy a inštitúcie (vrátane slovenského Národného bezpečnostného úradu) sa zhodujú, že AI dramaticky znižuje odborné nároky potrebné na vykonanie kybernetického útoku. Útoky, ktoré boli donedávna výsadou elitných, štátom platených hackerských tímov, dnes dokážu vykonávať aj skupiny s minimálnymi technickými znalosťami – stačí im prístup k dostatočne schopnému AI nástroju.
Inými slovami: technická zručnosť prestáva byť hlavnou prekážkou pre páchanie kyberzločinu. Nahrádza ju ochota niekoho zneužiť!
Najviac ohrození budú seniori, menej digitálne zdatní ľudia a malé firmy. Nie preto, že by boli technologicky zaujímavým cieľom, ale presne naopak – pretože sa dajú najľahšie zmanipulovať a nedokážu rozpoznať sofistikovanosť dnešných podvodov.
Konkrétne mechanizmy, ktoré AI dnes umožňuje:
- Bezchybný jazyk. Podvodné e-maily a SMS správy už neobsahujú typické gramatické chyby, vďaka ktorým sa dali kedysi ľahko odhaliť.
- Klonovanie hlasu. Klasický „vnukovský podvod“ (telefonát so slovami „babka, mám nehodu, pošli peniaze“) dnes dokáže AI podporiť hlasom, ktorý znie takmer identicky ako hlas skutočného vnuka či vnučky.
- Falošné identity a deepfake obsah. Syntetické profily, hlasové aj video nahrávky sa systematicky používajú na budovanie falošnej dôvery.
- Automatizované, personalizované podvody vo veľkom. To, čo si kedysi vyžadovalo hodiny ľudskej práce na jednu obeť, dnes AI zvládne pre stovky potenciálnych cieľov naraz – a stále to pôsobí osobne a dôveryhodne.
Výsledkom je posun, ktorý potvrdzujú aj dáta z bankového sektora – klasický phishing dnes tvorí už len menšiu časť finančných strát, zatiaľ čo prudko rastú sofistikovanejšie podvody postavené na psychologickej manipulácii, napríklad falošné investičné príležitosti.
Nie je to len o zlyhaní techniky
Z pohľadu psychológie rizikového správania je na tomto jave zaujímavé jedno: AI tu nefunguje ako pôvodca problému, ale ako multiplikátor existujúcej nerovnováhy medzi útočníkom a obeťou.
Pomôžem si jednou metaforou. Ostrá čepeľ noža je:
- v rukách lekára – užitočným nástrojom na záchranu života (skalpel)
- v rukách kuchára – užitočným nástrojom na pretvorenie niečoho slizkého na niečo chutné
- v rukách mentálne narušeného ukrivdeného človeka – je zrazu tá istá čepeľ nebezpečným nástrojom, ktorý ohrozuje zdravie okolia
Všimnite si, že čepeľ noža je vo všetkých prípadoch nevinná. Nie je ani zlá, ani dobrá – ale motívy a činy ľudí jej dávajú význam. Podobne je to pri umelej inteligencii (AI). Ona nie je „dobrá“ alebo „zlá“ – ona je iba nástroj a záleží od konkrétnych ľudí ako bude použitá. A teraz si dajme otázku… koľko existuje ľudí na svete s pochybnými úmyslami a ochotou použiť iných ľudí na dosiahnutie svojich egocentrických cieľov?… Ideme do DDD (divokej digitálnej džungle), pripútajme sa.
Kedysi bolo treba k systematickému podvádzaniu veľkého množstva ľudí zorganizovanú skupinu s deľbou práce. Dnes na to môže stačiť jeden človek so zlým úmyslom a prístupom k AI nástroju.
Čo s tým môžeme robiť?
Niekoľko princípov, ktoré stoja za pripomenutie – najmä smerom k starším alebo menej skúseným členom rodiny:
- Overovanie mimo pôvodného kanála. Ak príde neočakávaný telefonát alebo správa žiadajúca peniaze či citlivé údaje (napríklad Váš syn naliehavým štýlom od vás žiada peniaze z cudzieho čísla, emailu) – zavolajte späť na známe, vopred overené číslo – nie na to, z ktorého prišiel hovor.
- Nedôverovať naliehavosti. Podvodníci (aj tí, ktorí využívajú AI) sústavne stavajú na strese a časovom tlaku – „musíš konať hneď“. Toto zostáva najspoľahlivejším varovným signálom bez ohľadu na to, aké sofistikované nástroje útočník používa. Jednoducho povedané – ak na vás niekto výrazne tlačí, tak ide zrejme o podvod.
- Jazyková dokonalosť už nie je zárukou pravosti. Kedysi platná rada „daj si pozor na preklepy“ dnes stráca zmysel.
- Rozhovor v rodine vopred. Dohodnuté „heslo“ alebo overovacia otázka pre prípad núdzového telefonátu môže byť jednoduchou, no účinnou ochranou proti klonovaniu hlasu.
Umelá inteligencia sama osebe nie je zlomyseľná. Ale presne tak, ako pri každej mocnej technológii, jej schopnosti sú dostupné komukoľvek, kto sa ich rozhodne zneužiť – a bariéra na to je dnes nižšia než kedykoľvek predtým. Vedieť o tom je prvý krok k tomu, aby sme sa nestali ľahkým cieľom.
Zrušiť systém. ...
Keď AI dokáže uniknúť z uzavretého systému,... ...
Celá debata | RSS tejto debaty