Pražská společnost Agnostix spustila první službu v České republice, která poskytuje bezpečnostní detekci konverzačních AI systémů, jako jsou chatboti a voiceboti. Takzvaný Defender, který rozšiřuje a doplňuje platformu E.V.A. Insights, je navržen tak, aby firmy varoval před rostoucími riziky spojenými s využíváním AI – od sofistikovaných útoků a toxického obsahu až po úniky citlivých dat.
Studie Agnostixu ukazují, že se zhruba polovina Čechů obává zneužití AI například ke kyberkriminalitě a téměř stejně častá je obava z úniku citlivých dat. Různé formy bezpečnostních incidentů jsou přitom stále častější nejen v zahraničí, ale i v Česku.
„Zatímco se velká část diskuse o AI točí kolem zániku profesí, jen málo se mluví o zásadních rizicích pro samotné firmy a organizace, jako jsou úniky dat, reputační škody i právní rizika. S Defenderem dáváme firmám do rukou nástroj, který jim umožní plně využívat potenciál konverzační AI, aniž by ztratily přehled o bezpečnostních hrozbách, jako jsou nevhodné odpovědi či útoky ze strany uživatelů,“ říká Mário Mitas, spoluzakladatel společnosti Agnostix.
Defender se zaměřuje na devět klíčových rizik. Především se soustředí na ochranu soukromí a dodržování GDPR detekcí úniků citlivých údajů. Díky specializovanému Privacy Risk Analyzeru nástroj rozpoznává citlivé údaje podle GDPR i v případě, že je uživatel zadá do konverzace, což je podle společnosti pro firmy zásadní pro připravenost na audity a regulátory.
Defender dále pomáhá s detekcí potenciálních trestných činů tím, že odhaluje podporu nelegálního nebo neetického chování asistenta. Současně se zaměřuje na ochranu reputace značky a upozorňuje na odpovědi, které by mohly negativně ovlivnit její obraz, a také detekuje halucinace či toxický obsah, jako je bias, hate speech nebo stereotypy. Díky funkcím jako Output Risk Classifier a Adversary Detector pak automaticky hodnotí škodlivý výstup.
Klíčová je také detekce útoků uživatelů, jako jsou prompt injection a jailbreak scénáře, kdy se uživatelé snaží model zneužít. Firmy tak získají okamžitý přehled o místech zranitelnosti, a mohou se lépe připravit na pokusy o „hacknutí“ nebo „přepromptování“ botů.
„Defender přichází v době, kdy se tyto problémy ve větší míře dostávají i do Česka. Naše zkušenosti z praxe ukazují, že boti velkých českých firem musí čelit desítkám různých forem útoků denně. Včasná detekce těchto rizik bude stále důležitější nejen ve fázi testování bota před uvedením na trh, ale i v plném provozu,“ upozorňuje Mitas. Defender je plně kompatibilní s předními AI modely, jako jsou OpenAI GPT, Anthropic Claude a další.
