Новая платформа «Vantage» от Google использует ИИ-аватары для проверки критического мышления, сотрудничества и навыков, необходимых в реальном мире

Вкратце

Google представляет систему Vantage AI для развития и оценки будущих человеческих навыков, включая критическое мышление, сотрудничество, креативность, разрешение конфликтов и управление проектами по мере развития ИИ.

Технологическая компания Google представила систему ИИ, предназначенную для развития будущих человеческих навыков. По мере эволюции ИИ все более ценными становятся так называемые устойчивые мягкие навыки, которые трудно автоматизировать. К ним относятся критическое мышление, сотрудничество, креативное мышление, разрешение конфликтов, управление проектами и другие межличностные способности.

Представленная как «Vantage», экспериментальная система на базе ИИ, разработанная для поддержки развития и оценки этих компетенций через симулированные взаимодействия, инициатива была создана в сотрудничестве с педагогическими экспертами и исследователями, включая участников из Нью-Йоркского университета. Она предназначена функционировать как структурированный песочница для студентов, чтобы практиковать и оценивать навыки, готовые к будущему, с использованием методологий, аналогичных тем, что применяются в основных академических предметах, таких как математика или наука. В настоящее время система доступна на английском языке через Google Labs.

Процесс работает путем размещения пользователей в симулированных многопользовательских средах, где они взаимодействуют с аватарами, созданными ИИ, в открытых сценариях, таких как дебаты, совместное решение проблем или планирование проектов. В рамках этого сценария координирующий «Исполнительный LLM» использует заранее определенные рамки оценки для руководства взаимодействием и динамической настройки условий диалога. Это включает введение разногласий, оспаривание предположений или направление диалога для получения наблюдаемых поведенческих данных, релевантных целевым навыкам.

Модель оценки будущих навыков на базе симуляции ИИ

Между тем, отдельная модель оценки ИИ анализирует всю взаимодействие после завершения задачи. Используя те же структурированные критерии, она оценивает транскрипт беседы и создает подробный профиль производительности, отображающий наблюдаемые поведения в конкретные категории навыков. Результаты включают как количественные оценки, так и качественную обратную связь, переводя сложные межличностные взаимодействия в структурированные и измеряемые показатели эффективности навыков.

Для обеспечения методологической надежности система была протестирована в партнерстве с Нью-Йоркским университетом через контролируемые исследования с участием 188 человек в возрасте от 18 до 25 лет. Эти оценки сосредоточились на компетенциях, связанных с сотрудничеством, таких как разрешение конфликтов и координация проектов. Результаты показали, что адаптивное управление диалогом на базе ИИ обеспечило более высокую плотность оцениваемых свидетельств навыков по сравнению с моделями неконтролируемого взаимодействия, при этом сохраняя связный и естественный поток диалога в рамках нескольких задач.

Дальнейшие тесты сравнили оценивание, выполненное ИИ, с оценками человеческих экспертов, использующих одинаковые педагогические критерии. Результаты показали, что уровни согласия между ИИ-оценщиком и человеческими оценщиками были сопоставимы с межчеловеческим согласием. Это свидетельствовало о том, что автоматизированные системы могут приближаться к экспертному уровню последовательности в структурированных оценочных контекстах.

Дополнительная проверка с внешними партнерами, включая OpenMic, расширила тестирование на креативные и языковые задачи, связанные с мультимедиа и литературными упражнениями. В этих случаях оценки, генерируемые ИИ, демонстрировали сильную корреляцию с оценками экспертов-человеков, что укрепляло потенциал системы за пределами структурированных командных сценариев и в более открытых креативных областях.

Такие системы, основанные на симуляциях, могут быть интегрированы в образовательные среды в качестве дополнительного уровня оценки наряду с традиционными методами оценки в ближайшем будущем. Это позволит оценивать студентов не только по предметным знаниям, но и по применяемым межличностным и когнитивным навыкам в контролируемых симулированных условиях. Общая цель исследования — сделать будущие компетенции более измеримыми в масштабах и более тесно связать образовательную оценку с меняющимися требованиями рабочей силы.