Подъем популярности разведения раков: как обеспечить соблюдение мер безопасности?

«В последнее время в офисе половина сотрудников обсуждает «выращивание лобстеров», а другая половина учится, как их «выращивать».» 13 марта менеджер продукта одной интернет-компании в Пекине Ли Яо рассказал журналистам, что обсуждение «выращивания лобстеров» среди коллег не связано с реальным водным хозяйством, а относится к персонализированной тренировке и развертыванию недавно выпущенного открытого фреймворка AI-агентов OpenClaw.

Поскольку иконка представляет собой красного лобстера, OpenClaw называют «лобстером». В отличие от обычных ИИ, он способен самостоятельно выполнять сложные задачи, такие как управление файлами, отправка и получение электронной почты, обработка данных, интегрируя вызовы коммуникационных программ и больших языковых моделей на компьютере пользователя.

Почему этот «лобстер» вызвал такую массовую волну? Какие риски безопасности связаны с «выращиванием лобстеров»? Журналисты «Рабочей газеты» провели расследование и интервью.

В нескольких регионах приняты меры поддержки, связанные с «лобстером»

Как первый в этом году ИИ-агент, привлекший всеобщее внимание, чем же особен «лобстер»?

«Основная модель обычного ИИ — диалоговая: после вопроса пользователя он получает только ответ или инструкции, а «лобстер» — типичный «активист». Пользователь лишь формулирует цель задачи, а он может напрямую управлять различными инструментами, чтобы выполнить весь процесс», — приводит пример технологический блогер «Учимся AI с Аляном», ранее работавший в крупной интернет-компании. Он говорит, что если попросить его организовать важную почту, он автоматически откроет почтовый ящик, отфильтрует содержимое и подготовит черновик ответа, «весь процесс без участия пользователя».

Научный сотрудник лаборатории цифровых креативных технологий AI в Пекинском университете Юй Цзинвэнь отмечает: «В отличие от больших языковых моделей вроде ChatGPT, OpenClaw — это не просто чат-бот, а «цифловой сотрудник», который может получить доступ к локальной операционной системе, вызывать различные инструменты, планировать шаги по естественному языку и автоматически выполнять сложные задачи».

«Ранее даже самые продвинутые модели ИИ были ограничены своей областью применения и не могли работать в междисциплинарных сферах. Основное преимущество «лобстера» — это преодоление барьеров между разными моделями, объединение их функций и ценности», — объясняет Юй Цзинвэнь. «Можно сказать, что OpenClaw — это прорывное инновационное решение, которое играет роль моста и связующего звена в индустрии ИИ».

Под влиянием этой волны многие регионы активно реагируют. По неполной статистике, по состоянию на 12 марта, в Шэньчжэне, районе Лунган, Вуси, Хэфэе, Сучжоу, Нанкине, Хсиасяне и других местах были приняты меры поддержки «лобстера», а некоторые местные власти запустили бесплатные сервисы развертывания «маленьких лобстеров» для широкой публики.

«Лобстер» скрывает множество рисков безопасности

На фоне массового увлечения «выращиванием лобстеров» первые пользователи делятся не только положительным опытом.

«В целом, ощущения не такие волшебные, как обещают в интернете», — признается Ли Яо. Он говорит, что для эффективного использования «лобстера» нужно предоставлять доступ к управлению различными приложениями на компьютере, но из осторожности он не открывал слишком много разрешений, поэтому считает, что «эффект ограничен».

Аналитик Юй Цзинвэнь отмечает, что основная способность OpenClaw — это управление приложениями и инструментами. Для этого пользователю необходимо предоставить ему множество разрешений, включая доступ к электронной почте, офисным программам, платформам и бэкендам. «Это похоже на то, как если бы вы хотели, чтобы кто-то убрал ваш дом — вам нужно передать ему ключи от всех комнат», — сравнивает она. В результате, полный доступ к приложениям может привести к утечкам данных как у частных лиц, так и у компаний.

10 марта Национальный центр реагирования на киберинциденты опубликовал «Риск-уведомление о безопасности OpenClaw» (далее — «Уведомление»), в котором ясно указано, что для реализации функции «самостоятельного выполнения задач» этому приложению были предоставлены повышенные системные привилегии. Однако его стандартные настройки безопасности крайне уязвимы, и при обнаружении уязвимости злоумышленники могут легко получить полный контроль над системой.

По данным «Уведомления», на сегодняшний день было обнаружено несколько уязвимостей высокого и критического уровня, которые при злоумышленном использовании могут привести к контролю над системой, утечке личных данных и конфиденциальной информации. «Для частных пользователей это может означать утечку личных данных (фотографий, документов, переписок), платежных аккаунтов и другой чувствительной информации; для предприятий — утечку ключевых бизнес-данных и коммерческой тайны, что может повлечь непредсказуемые убытки», — анализирует Юй Цзинвэнь.

Адвокат юридической фирмы Хандинь Юань в Пекине Чжоу Цзечуань отмечает: «Для выполнения команд пользователя «лобстер» без контроля может прямо или косвенно собирать большие объемы данных по всему интернету. Объем собираемых данных, уровень доступа и степень чувствительности зачастую выходят за рамки контроля пользователя, что может квалифицироваться как преступление по статье о незаконном доступе к данным компьютерных систем и нарушении личной информации граждан».

«Кроме того, многие пользователи ради удобства нанимают сторонних подрядчиков для развертывания «лобстера», — добавляет он. — Но эти подрядчики зачастую не обладают необходимыми мерами безопасности, что легко приводит к утечкам данных устройств. Злоумышленники могут использовать вредоносный код для удаленного управления устройствами и кражи чувствительной информации».

В условиях массового увлечения необходимо соблюдать границы безопасности

В этом году в отчете о работе правительства подчеркивается необходимость углубления и расширения «Искусственного интеллекта+», ускорения внедрения новых интеллектуальных устройств и агентов, продвижения масштабного коммерческого применения ИИ в ключевых отраслях, а также развития новых форм бизнеса и моделей на базе ИИ.

«Появление «лобстера» открывает новые пути для внедрения ИИ-агентов. При правильном регулировании их использования можно эффективно использовать существующие возможности ИИ, значительно повысить эффективность работы как частных лиц, так и предприятий», — отмечает Юй Цзинвэнь. Она подчеркивает, что для здорового развития «лобстера» важно балансировать между удобством и безопасностью.

«Новые технологические особенности AI-агентов, таких как «лобстер», усложняют существующие правовые вопросы, связанные с ИИ», — говорит Чжоу Цзечуань. Например, наиболее острый вопрос — «неясность ответственности»: когда «лобстер» или другие ИИ-агенты по указанию пользователя совершают действия, приводящие к нарушениям или другим правонарушениям, необходимо четко определить, кто несет ответственность — разработчик, оператор или пользователь, и в какой степени.

Он советует разработчикам и поставщикам ИИ-продуктов: с одной стороны, необходимо соблюдать требования законодательства о защите персональных данных, например, вести журналы обработки данных, обеспечивающие их хранение и прослеживаемость. С другой стороны, важно повышать правовую осведомленность, усиливать управление разрешениями ИИ и проверку командных подсказок, чтобы снизить риски безопасности.

«Также Центр реагирования на киберинциденты рекомендует при развертывании и использовании OpenClaw строго изолировать рабочую среду, использовать контейнеры и другие технологии для ограничения прав доступа «лобстера», а также строго контролировать источники плагинов, регулярно отслеживать обновления и патчи», — добавляет он.

«Перед началом «выращивания лобстеров» пользователь должен тщательно оценить их ценность и риски, понять, действительно ли он нуждается в этом для решения своих задач, и только после этого принимать решение о развертывании», — советует Юй Цзинвэнь. Она также напоминает о необходимости защищать данные и конфиденциальность, не следовать слепо за трендами и не подвергать свои личные данные и безопасность рискам.