Зміна одного рядка документа — і AI-помічник програмування отруєний: повідомляється, що Wu Enda Context Hub пройшов повний ланцюг без перевірки

За даними моніторингу 1M AI News, засновник DeepLearning.AI та позаштатний професор Стенфордського університету Вонду Енду, дві тижні тому запустив сервіс документації для програмування на основі ШІ — Context Hub, який був виявлений дослідниками безпеки як потенційна загроза ланцюга поставок. Context Hub надає API-документацію через сервер MCP для програмних агентів, а учасники додають документи через GitHub PR, які потім зливаються і агент читає за потреби. Створювач альтернативного сервісу lap.sh Mickey Shmueli опублікував демонстраційний приклад атаки (PoC), вказуючи, що ця лінія процесу «не має жодної перевірки вмісту на кожному етапі».

Shmueli створив дві фальшиві документації для Plaid Link і Stripe Checkout, кожна з яких містила підроблений пакет PyPI, і протестував їх на трьох моделях Anthropic з трьома рівнями складності, по 40 разів:

1. Haiku — кожного разу додавав шкідливий пакет у requirements.txt, при цьому у виводі не з’являлося жодних попереджень
2. Sonnet — у 48% (19/40) випадків видавав попередження, але все одно у 53% (21/40) записував шкідливі залежності
3. Opus — показав найкращий результат, у 75% (30/40) випадків видавав попередження і не додавав шкідливі залежності до коду

Зловмисник міг просто подати один PR і отримати його злиття для здійснення атаки, оскільки поріг перевірки був низьким: з 97 закритих PR 58 були злиті. Shmueli зазначив, що це по суті є варіантом опосередкованої ін’єкції підказок, оскільки моделі ШІ не можуть надійно розрізняти дані та інструкції під час обробки контенту, і інші спільноти, що надають документацію, також мають недостатній рівень модерації контенту. Вонду Енду не дав коментарів на запит.