У AI-агентів є критичні недоліки у ключових технологіях… Випущено попередження LangChain «LangGrinch»

robot
Генерація анотацій у процесі

У виявленій серйозній уразливості безпеки у бібліотеці “LangChain Core”, яка відіграє ключову роль у роботі AI-агентів, названій “LangGrinch”, зловмисники можуть викрасти конфіденційну інформацію з AI-систем. Це питання отримало високий рівень ризику за системою оцінки вразливостей (CVSS) 9.3 балів. Проблема полягає в тому, що внутрішні допоміжні функції LangChain Core під час серіалізації та десеріалізації можуть неправильно класифікувати введені користувачем дані як довірені об’єкти. Зловмисники, використовуючи техніку “ін’єкції підказок”, можуть маніпулювати структурованим виводом агентів, вставляючи внутрішні маркери, які потім обробляються як довірені об’єкти.

LangChain Core виконує центральну роль у багатьох фреймворках AI-агентів і за останні 30 днів був завантажений десятки мільйонів разів. Загалом його завантаження перевищили 8.47 мільярдів разів. Враховуючи застосунки, підключені до екосистеми LangChain, експерти вважають, що вплив цієї уразливості буде дуже широким.

Інженер з безпеки Cyata Security Yarden Porat пояснив: “Особливість цієї уразливості полягає не просто у проблемі десеріалізації, а у тому, що вона виникає безпосередньо у процесі серіалізації. Процес збереження, потокової передачі або подальшого відновлення структурованих даних, створених за допомогою AI-підказок, сам по собі відкриває нові вектори атаки.” Cyata підтвердила, що існує 12 чітких шляхів атаки, які можуть призвести до різних сценаріїв при одному й тому ж підказці.

Після запуску атаки через віддалений HTTP-запит можна витекти всі змінні середовища, що містять цінну інформацію, таку як облікові дані у хмарі, URL-адреси доступу до баз даних, інформацію про векторні бази даних, ключі API LLM тощо. Особливо важливо, що ця уразливість є внутрішньою структурною помилкою самого LangChain Core і не вимагає сторонніх інструментів або зовнішніх інтеграцій. Cyata попередила, що це є “загрозою, яка існує на рівні трубопроводу екосистеми”.

В даний час випущено безпечний патч для виправлення цієї проблеми у версіях LangChain Core 1.2.5 та 0.3.81. Перед публікацією Cyata повідомила команду розробників LangChain, яка, за повідомленнями, не лише швидко відреагувала, а й вжила заходів для посилення довгострокової безпеки.

Співзасновник і генеральний директор Cyata Shahar Tal підкреслив: “Зі зростанням застосування AI-систем у промисловості, питання, які права мають отримати системи, стає більш важливим за саму безпеку виконання коду. У архітектурі, заснованій на ідентифікації агентів, мінімізація прав і радіус впливу мають бути базовими принципами дизайну.”

Ця подія, ймовірно, стане поштовхом для індустрії AI (яка поступово переходить від людського втручання до автоматизації на основі агентів) переосмислити основні принципи безпеки проектування.

Переглянути оригінал
Ця сторінка може містити контент третіх осіб, який надається виключно в інформаційних цілях (не в якості запевнень/гарантій) і не повинен розглядатися як схвалення його поглядів компанією Gate, а також як фінансова або професійна консультація. Див. Застереження для отримання детальної інформації.
  • Нагородити
  • Прокоментувати
  • Репост
  • Поділіться
Прокоментувати
0/400
Немає коментарів
  • Закріпити