Az AI hallucinációi komoly biztonsági kockázatokat vezetnek be a kritikus infrastruktúrák döntéshozatalába azáltal, hogy kihasználják az emberi bizalmat a magabiztos, mégis helytelen kimeneteken keresztül. Amikor egy AI-modell bizonytalan, nincs mechanizmusa ennek felismerésére. Ehelyett a legvalószínűbb választ generálja a betanítási adataiban található minták alapján, még akkor is, ha ez a válasz pontatlan. Ezek a kimenetek mérvadónak tűnhetnek, ami különösen veszélyessé teszi őket a valós biztonsági döntések meghozatalakor.
Az Artificial Analysis AA-Omniscience benchmarkja alapján egy 2025-ös, 40 AI-modell értékelése kimutatta, hogy négy kivételével mindegyik tesztelt modell nagyobb valószínűséggel adott magabiztos, helytelen választ, mint helyeset a nehéz kérdésekre. Ahogy a AI egyre nagyobb szerepet kap a kiberbiztonsági műveletekben, a szervezeteknek minden AI által generált választ potenciális sebezhetőségként kell kezelniük, amíg egy ember nem ellenőrizte azt.
Mik azok a mesterséges intelligencia által okozott hallucinációk?
Az AI által kiváltott hallucinációk magabiztosan bemutatott, hihetőnek hangzó kimenetek, amelyek tényszerűen pontatlanok. Az alapnyelvi modellek nem ellenőrzött információkat nyernek ki; a válaszokat a adataikban található tanult mintákból megjósolva alkotják meg. Mivel válaszaik statisztikailag valószínűek, de nem feltétlenül igazak, a hallucinált kimenetek nagyon hasonlíthatnak a pontos információkra. Hallucinálva az AI modellek nem létező forrásokra hivatkozhatnak, soha el nem végzett kutatásokra, vagy kitalált adatokat mutathatnak be ugyanolyan meggyőződéssel, mint megbízható információkat.
A szervezetek számára az AI által keltett hallucinációkkal kapcsolatos fő probléma nemcsak a pontatlanság, hanem a félreértelmezett bizalom is. Amikor egy AI által kibocsátott információ a teljes igazságnak tűnik, az alkalmazottak feltételezhetik, hogy az helyes, és ellenőrzés nélkül cselekedhetnek. Kiberbiztonsági környezetben a helytelen az AI által kibocsátott információk jelentős biztonsági kockázatot jelentenek, mivel nemcsak kulcsfontosságú döntéseket befolyásolnak, hanem közvetlenül az automatizált rendszerekbe is betáplálódnak, amelyek operatív intézkedéseket indíthatnak el. Az eredmények rendszerleállásokat, pénzügyi veszteséget és új sebezhetőségek kialakulását okozhatják.
Mi okozza a mesterséges intelligencia által okozott hallucinációkat?
Az AI-hallucinációk hatásának enyhítése felé az első lépés annak megértése, hogyan alakulnak ki. Íme a különböző tényezők, amelyek hozzájárulhatnak az AI-hallucinációkhoz:
Hibás betanítási adatok: Az AI modellek a betanított adatokból tanulnak. Ha ezek az adatok elavult információkat vagy nyilvánvaló hibákat tartalmaznak, a modell beépíti ezeket a hibákat a kimeneteibe. Nem jelzi az eltéréseket, hanem tanul belőlük.
Torzítás a bemeneti adatokban: Bizonyos minták vagy forgatókönyvek túlreprezentációja azt eredményezheti, hogy egy AI-modell ezeket a mintákat univerzálisan alkalmazhatóként kezeli, még akkor is, ha a kontextus eltérő.
A válaszok validálásának hiánya: Az alapnyelvi modellek nem a tényszerű pontosság ellenőrzésére készültek. Összefüggő, hihető kimenetekre optimalizálnak. Míg egyes rendszerek visszakeresési vagy földelési rétegeket adnak hozzá a kockázat csökkentése érdekében, a maggenerálási folyamat továbbra is sebezhető marad a hallucinációkkal szemben.
Kétértelműség a promptban: A homályos bemenetek növelik annak valószínűségét, hogy az AI modellek feltételezésekkel töltik ki a hiányosságokat, ami növeli a helytelen kimenetek és a hallucinációk kockázatát.
Három módon befolyásolják az AI hallucinációi a kiberbiztonságot
Nem minden AI-hallucinációnak van egyforma hatása, de a helytelen vagy kitalált információk komoly kiberfenyegetésekkel szemben tehetik sebezhetővé a szervezeteket. Az AI-hallucinációk három fő megjelenési módja: a figyelmen kívül hagyott fenyegetések, a kitalált fenyegetések és a helytelen megoldások.
- Elmulasztott fenyegetések
Az AI általi fenyegetések észlelése gyakran a minták és anomáliák azonosítására támaszkodik a korábbi adatok és a tanult viselkedés alapján. Amikor egy kibertámadás összhangban van az ismert viselkedésekkel, az AI modellje jól teljesít; de amikor nem, a modellnek nincs mihez viszonyítania, így a fenyegetés észrevétlen maradhat. Ez különösen problémás az alulreprezentált támadási technikák és a nulladik napi támadások esetében, amelyek a szállító számára ismeretlen sebezhetőségeket használják ki, és ezért nincsenek javítva. Mivel ezek a fenyegetések nem tükröződnek a betanítási adatokban, a mesterséges intelligencia modelljének nincs elegendő kontextusa a jelzésükhöz, ami nagyobb valószínűséggel mutat észrevétlen sebezhetőségeket és nagyobb kitettséget eredményez a környezetben. - Kitalált fenyegetések
A figyelmen kívül hagyott fenyegetésekkel ellentétben az AI modellek téves riasztásokat is generálhatnak azáltal, hogy a normál tevékenységet rosszindulatúnak minősítik, és olyan fenyegetésekre riasztják a csapatokat, amelyek nem léteznek. Például a normál hálózati forgalmat gyanúsnak értelmezhetik, ami riasztásokat válthat ki, amelyek szükségtelen incidens-válaszintézkedéseket tesznek szükségessé. Ezek a téves riasztások rendszerleállásokhoz, erőforrás-pazarláshoz és a kitalált fenyegetések miatti működési zavarokhoz vezethetnek. Idővel az ismétlődő téves riasztások riasztási kifáradáshoz vezethetnek, ahol a biztonsági csapatok érzéketlenné válnak minden figyelmeztetésre. Ez növeli annak kockázatát, hogy a jogos fenyegetéseket figyelmen kívül hagyják olyan környezetekben, ahol a csapatokat arra kondicionálták, hogy ne bízzanak a riasztásokban. - Helytelen kármentesítés
Ez az egyik legveszélyesebb AI-hallucináció, mivel a bizalom kialakulása után következik be . Például egy AI-rendszer magabiztosan javasolhatja érzékeny fájlok törlését, rendszerkonfigurációk módosítását vagy tűzfalszabályok letiltását. Ha ezeket a műveleteket végrehajtják, különösen privilegizált fiókokon keresztül, a szervezeteket identitásalapú támadásoknak, oldalirányú mozgásnak vagy visszafordíthatatlan adatvesztésnek tehetik ki. Még akkor is, ha az AI általi fenyegetésészlelés pontos, a hallucinációkon alapuló útmutatás egy korlátozott biztonsági incidenst szélesebb körű behatolássá eszkalálhat.
Hogyan csökkenthetik a szervezetek az AI okozta hallucinációk kockázatát?
Bár a mesterséges intelligencia okozta hallucinációkat nem lehet teljesen kiküszöbölni, hatásuk jelentősen csökkenthető a következő ellenőrzési és irányítási intézkedésekkel.
Emberi felülvizsgálat szükséges a művelet előtt
Az AI által generált kimenetek nem indíthatnak el érzékeny vagy privilegizált műveleteket anélkül, hogy először emberi ellenőrzést végeznének. Ez különösen fontos az infrastruktúra-változásokat, hozzáférés-frissítéseket vagy incidensekre adott válaszokat tartalmazó munkafolyamatok esetében. A felülvizsgálati követelménynek nem csak akkor kell megtörténnie, ha valami hibásnak tűnik; a modellek ugyanolyan magabiztosnak kell tűnniük, függetlenül attól, hogy helyesek-e vagy sem.
A betanítási adatokat biztonsági eszközként kezelje
Az AI által generált hallucinációk gyakran a betanítási adatokra vezethetők vissza. Az AI-rendszerek betanításához vagy megalapozásához használt adatok rendszeres ellenőrzése az elavult rekordok, az elfogult adatkészletek és a pontatlan információk eltávolításával csökkenti annak valószínűségét, hogy ezek a hibák megjelenjenek a kimenetekben. Ahogy az AI által generált tartalom egyre gyakoribb az interneten, egyre nagyobb a kockázata annak, hogy a jövőbeli modelleket korábbi modellek által előállított, kitalált információkon tanítják, ezt a jelenséget néha modellösszeomlásnak is nevezik. Folyamatos adatkezelés nélkül a hibás AI-kimenetek kockázata csak növekszik.
A legkevésbé jogosult hozzáférés kikényszerítése mesterséges intelligenciarendszerekhez
Az AI által vezérelt rendszereknek csak a feladataik elvégzéséhez szükséges engedélyeket szabad megadni. Ez úgy nézhet ki, mint egy olyan AI által vezérelt rendszer, amely csak fájlok olvasására jogosult, törlésére nem – még akkor sem, ha egy hallucinációs ajánlás erre utasítja. A hozzáférés minimális jogosultsággal történő korlátozásával a szervezetek biztosítják, hogy még ha egy AI által vezérelt rendszer helytelen útmutatást is generál, ne tudjon végrehajtani a megengedetteken túlmutató műveleteket.
Fektessen be a gyors mérnöki képzésbe
Az AI kimeneteit nagymértékben befolyásolja a bemenet minősége, így egy homályos prompt több lehetőséget ad a modellnek a hiányosságok helytelen feltételezésekkel való kitöltésére, növelve a hallucinációk kockázatát. A szervezeteknek prioritásként kell kezelniük az alkalmazottak, különösen azok képzését, akik közvetlenül kapcsolatba lépnek az AI rendszerekkel, hogy hogyan írjanak olyan konkrét promptokat, amelyek ellenőrizhető kimeneteket eredményeznek. Azok az alkalmazottak, akik megértik, hogy az AI kimeneteit használat előtt mindig validálni kell, kisebb valószínűséggel értelmezik az AI rendszert alapértelmezés szerint mérvadónak.
Helyezze az identitásbiztonságot az AI-irányítás középpontjába
Az AI által okozott hallucinációk valódi biztonsági kockázattá válnak, amikor cselekvéshez vezetnek, ami elsősorban nem modellprobléma, hanem inkább hozzáférési probléma. Biztonsági incidensek akkor fordulnak elő, amikor az AI által kibocsátott rendszerek elegendő hozzáféréssel rendelkeznek ahhoz, hogy helytelen útmutatás alapján cselekedjenek, vagy amikor egy ember ellenőrzés nélkül bízik meg a kimenetekben.
Tovább a cikkre: thehackernews.com (Ashley D’Andrea)
