Li Feifei World Labs открывает исходный код Spark 2.0, потоковая визуализация более 100 миллионов 3D-гауссовых точек в браузере

ME News Новости, 15 апреля (UTC+8), по данным мониторинга 1M AI News, компания пространственного интеллекта World Labs выпустила открытый исходный код движка рендеринга 3D Gaussian Splatting (3DGS) Spark 2.0, основная способность которого — потоковая загрузка и рендеринг более 100 миллионов гауссовых точек (splat), составляющих масштабную 3D-сцену, на любом устройстве через браузер, включая настольные ПК, iOS, Android и VR-шлемы. Spark основан на THREE.js и WebGL2, которые в настоящее время поддерживаются практически всеми устройствами. Большинство потребительских устройств могут рендерить в интерактивном режиме от 1 до 5 миллионов гауссовых точек, тогда как крупные 3D-сканы содержат десятки миллионов или даже сотни миллионов точек, исходный объем данных может превышать 1 ГБ. Версия 2.0 решает эту проблему с помощью трех новых технологий: 1. Система уровней детализации (LoD): все гауссовые точки организованы в иерархическое дерево, где каждый родитель — это низкоразрешенная аппроксимация его дочерних узлов. При рендеринге автоматически происходит обход от грубого к детальному в зависимости от угла обзора, выбирается оптимальный подмножество точек, а установка бюджета рендеринга (от 500 тысяч до 2,5 миллионов точек) обеспечивает стабильную частоту кадров, независимо от общего количества точек в сцене. 2. Пошаговая потоковая загрузка: специально разработанный формат файла .RAD поддерживает случайный доступ и постепенную передачу данных. После открытия сцены сразу отображается грубый контур из 64 тысяч точек, затем по приоритету угла обзора постепенно загружаются детали, а при перемещении пользователя приоритет автоматически перераспределяется. 3. Управление виртуальной видеопамятью: на GPU выделяется фиксированный пул памяти на 160 миллионов точек, который разбит на страницы по 64 тысячи точек, автоматически загружаются и выгружаются данные, подобно механизму виртуальной памяти операционной системы, что позволяет ограниченной видеопамяти обращаться к почти неограниченным данным сцены. Основной алгоритм написан на Rust и скомпилирован в WebAssembly, работает в фоновом потоке Web Worker, не блокируя основной цикл рендеринга. Spark изначально был внутренним рендерером, разработанным World Labs для их продукта по генерации 3D мира Marble, затем открыт как универсальный инструмент. Одновременно с этим был представлен ряд работ сообществ, включая многопользовательскую космическую стрелялку Starspeed, созданную с использованием Marble и Spark, которая состоит из более чем 100 миллионов гауссовых точек и запускается прямо в браузере. (Источник: BlockBeats)