Інтеграція великих мовних моделей (LLM) та автономних AI-агентів у корпоративну інфраструктуру створює нові виклики для безпеки. За даними Microsoft, 49% бізнес-чатів у Copilot залучені до складних когнітивних завдань. Проте класичні засоби захисту (WAF) безсилі проти семантичних маніпуляцій у промптах, оскільки в архітектурі LLM розмита межа між кодом та даними.
Критичні загрози для корпоративного ШІ
Згідно з класифікацією OWASP 2025, головними загрозами для систем штучного інтелекту є:
- Prompt Injection (LLM01:2025): маніпуляція вхідним текстом для обходу системних інструкцій.
- Sensitive Information Disclosure (LLM02:2025): витік конфіденційних даних через відповіді моделі, зокрема в архітектурах RAG (Retrieval-Augmented Generation).
- Непряма ін'єкція (Indirect Prompt Injection): впровадження шкідливих інструкцій через зовнішні джерела, які зчитує AI-агент.
За даними Cisco, лише 13% організацій готові до протидії таким загрозам на архітектурному рівні.
Що це означає для індустрії
Низький рівень готовності компаній до нових загроз на тлі стрімкої інтеграції ШІ-інструментів створює передумови для масштабних інцидентів безпеки. Нехтування специфікою семантичних атак може призвести до неконтрольованого витоку комерційної таємниці та персональних даних через RAG-системи. Для бізнесу це означає не лише репутаційні втрати, а й прямі фінансові збитки та юридичну відповідальність за порушення конфіденційності.
Що робити: архітектурний захист за стандартами NIST та OWASP
Для мінімізації ризиків експерти рекомендують впроваджувати фреймворк NIST AI RMF 1.0, який передбачає чотири функції: керування (Govern), картування (Map), вимірювання (Measure) та управління (Manage).
Практичний захист інфраструктури базується на таких кроках:
- Ізоляція даних на рівні СУБД: застосування Row-Level Security (RLS) та рольового доступу (RBAC) до того, як інформація потрапить у контекст моделі.
- Розділення інструкцій і даних: використання структурованих API-шаблонів для розмежування ролей системи та користувача.
- Валідація та фільтрація: автоматичне маскування персональних даних (PII) на виході моделі через системи Guardrails.
- AI Red Teaming: регулярне тестування стійкості систем за методологією MITRE ATLAS.
Практична реалізація: вітчизняний досвід
Прикладом безпечної інтеграції є рішення компанії Softengi, яка впроваджує AI-системи за принципом Security by Design на базі low-code платформи UnityBase від InBase. Завдяки вбудованій підтримці RLS та аудиту на рівні бази даних, система RAG фізично не здатна отримати доступ до конфіденційних документів, на які користувач не має прав, навіть у разі успішної атаки Prompt Injection.
Матеріал підготовлено учасником Software Ukraine — InBase. Оригінальна публікація.