28 октября основатель Facebook Марк Цукерберг объявил о переименовании корпорации в Meta. Вместе с тем новая компания будет ориентироваться на создание и поддержание метавселенной, внутри которой пользователи смогут полноценно жить, работать и развлекаться. Facebook не является новатором в вопросе развития технологий виртуальной реальности, однако его компания обращает на этот сегмент пристальное внимание. «Лента.ру» расскажет краткую историю VR, перспективы и преимущества жизни в параллельной реальности и о том, как новые технологии могут перевернуть нашу жизнь.
1.1. Виды AR
Обычно рассматривают четыре типа дополненной реальности:
- на основе маркера (marker-based),
- безмаркерная (markerless),
- на основе проекции (projection-based),
- на основе суперпозиции (superimposition-based).
В marker-based AR
требуется конкретный шаблон, маркер, например, QR-код, поверх которого накладывается виртуальный объект.
Рис. 1. Маркерная AR
Как видно из названия, для разработки markerless
приложения маркер не нужен. На окружающую среду накладывается сетка и обнаруживаются ключевые точки, к которым привязывается виртуальная модель.
Рис. 2. Безмаркерная AR
Projection-based AR
разработан для того, чтобы сделать заводские предприятия умнее, безопаснее и эффективнее. Проектор устраняет необходимость в бумажных инструкциях, создавая цифровой слой практически на любой рабочей поверхности.
Projection-based AR
Superimposition-based AR
частично или полностью заменяет исходное представление объекта дополненным представлением того же самого объекта.
Рис. 3. Superimposition-based AR
Применение виртуальной реальности
VR можно использовать в таких сферах, как:
- Обучение. Сегодня интерактивная реальность позволяет смоделировать тренировочную среду в тех сферах и для тех занятий, для которых необходимой и важной является предварительная подготовка. Как пример, это может быть операция, управление техникой и другие сферы.
- Наука. VR дает возможность значительно ускорить исследования как атомного, так и молекулярного мира. В мире компьютерной реальности человек способен манипулировать даже атомами так, словно это конструктор.
- Медицина. Как и было отмечено, при помощи VR можно тренировать и обучать медицинских специалистов: проводить операции, изучать оборудование, улучшать профессиональные навыки.
- Архитектура и дизайн. Что может быть лучше, чем показать заказчику макет нового дома или любого другого строительного объекта при помощи такой реальности? Именно она позволяет создавать эти объекты в виртуальном пространстве, в полном размере, для демонстрации, тогда как раньше использовались ручные макеты и воображение. Это касается не только строительных объектов, но и техники.
- Развлечение. VR безумно популярен в игровой среде. Причем, спросом пользуются как игры, так и культурные мероприятия и туризм.
1.2. Софт для AR
Чтобы создать приложение дополненной реальности, понадобится набор средств разработки (software development kit, SDK). Ниже мы рассмотрели наиболее популярные SDK.
ARKit
ARKit – это SDK для создания приложений дополненной реальности и игр для iPhone и iPad. Для него характерны следующие черты:
- Надежное отслеживание лиц – легко применять эффекты для лица или создавать мимические выражения.
- Отслеживание уровня освещенности среды для корректной постановки светового окружения виртуальных объектов.
- Обнаружение 2D-объектов: горизонтальных, вертикальных и наклонных плоскостей. То есть, к примеру, столов и стен.
- Интеграция с Unity и Unreal Engine.
Reality Composer
– редактор для создания 3D-моделей.
RealityKit
– рендеринг и анимация.
Поддерживаемые платформы: iOS 11.0 и выше.
Цена
: бесплатно.
ARCore
На ARKit компания Google ответила своей разработкой – ARCore.
- ARCore использует камеру телефона для определения функциональных точек и изменения их положения во времени. Визуальная информация комбинируется с данными, полученными от датчиков, для вычисления положения и ориентация телефона в пространстве.
- Обнаружение плоских и наклонных поверхностей.
- Автоматическая регулировка освещенности. Например, если вы находитесь в комнате с тусклым освещением, ARCore автоматически скорректирует изображение.
- Привязка виртуальных объектов (котенок) к физическим объектам (стол). Если выйти из комнаты и вернуться, котенок останется на прежнем месте.
- Интеграция с Unity и Unreal Engine.
Поддерживаемые платформы: Android 7.0 и выше, iOS 11 и выше.
Цена
: бесплатно.
Vuforia
Официальный сайт. Особенности:
- Распознавание текста и различных типов визуальных объектов (коробка, цилиндр, плоскость).
- Поддерживает создание маркерных и безмаркерных AR.
- 3D-сканирование окружения.
- Обнаружение нескольких объектов.
- Режим Simulation Play, позволяющий проходить сквозь или вокруг 3D-модели и наблюдать за этим на компьютере.
- API: C# для Unity, С++ для iOS, Java для Android.
Поддерживаемые платформы: Android 4.4.4 и выше, iOS 11 и выше.
Цена
: от 99$/мес.
EasyAR
Официальный сайт. Характеристики:
- Сканирование среды и генерация 3D-сетки в реальном времени.
- Совместимость с Android смартфонами, которые ARCore не поддерживает.
- Отслеживание 3D объектов.
- Распознавание и отслеживание плоских изображений в режиме реального времени.
- Запись экрана в форматах H.264/AAC/MP4.
- Интеграция с Unity.
Поддерживаемые платформы: Android, iOS.
Цена
: бесплатно.
Lens Studio
Официальный сайт. Возможности:
- Отслеживания лица, шеи, локтей, рук.
- Изменение цвета волос и наложение масок на лица.
- Отложенная публикация «линз».
- Создание 3D-моделей без написания кода в Material Editor.
Поддерживаемые платформы: Snapchat.
Цена
: бесплатно
Spark AR
Официальный сайт. Функции:
- Создание масок для Instagram.
- Цветовые фильтры.
- Трекинг лица, частей тела.
Поддерживаемые платформы: Instagram.
Цена
: бесплатно
Виртуальная реальность (англ. virtual reality) – компьютерная симуляция альтернативной реальности.
Mozaik3D
Цена: бесплатно Платформа: |
Mozaik3D — это интерактивное образовательное приложение, которое обучает вас географии, истории, математике, физике, биологии, химии, технологии, изобразительному искусству. Он имеет более 1200 3D-сцен для изучения.
На главной странице приложения вы найдете возможность фильтровать 3D-изображения по темам или использовать панель поиска, чтобы получить конкретную 3D-сцену. Чтобы активировать режим VR, просто нажмите значок гарнитуры VR в правом нижнем углу.
2.1. Виды VR
Автономная VR
работает сама по себе, без необходимости использования дополнительного внешнего оборудования (компьютер, консоль), например, Oculus Quest. Всё, что нужно, – это гарнитура и контроллеры VR.
Oculus Quest
VR на базе ПК
– это любые гарнитуры, требующие постоянного подключения к ПК, такие как: PC Oculus Rift S, Valve Index, HTC Vive, Pimax и Windows Mixed Reality.
HTC Vive
Когда говорят о VR для консоли
, обычно имеют ввиду PlayStation VR для PlayStation 4.
Рис. 4. PlayStation VR
Жизнь или кино?
Впервые сюжет об обитании людей в вымышленной действительности был представлен в блокбастере голливудского происхождения. История людей, ограниченных рамками придуманной реальности, выглядит настолько убедительной, что герои, да и зрители, воспринимают ее как действительность.
После появились и другие фильмы, пытающиеся ответить на вопросы, где правда, а где вымысел. Какая половина человечества права: считающая Вселенную вымыслом, или убежденная, что все мы – часть большой игры?
Например, известный бизнесмен в области компьютерных технологий Элон Маск считает, что соотношение вымышленного мира и реальности примерно 1 000 000:1.
А не менее знаменитый Рэй Курцвейл, исследователь искусственного разума, делает предположение, что Вселенная – это не что иное, как большой научный эксперимент, который проводит один из юных ученых другой Вселенной.
Интересен тот факт, что некоторые ученые согласны с такой возможностью. Этот вопрос даже стал предметом обсуждения одного из собраний в нью-йоркском музее естественной истории.
2.2. Типы отслеживания движения
Наиболее распространенный способ отслеживания движений – система Inside-Out
с камерами, встроенными в гарнитуру. Такой подход реализован в Oculus Rift S, HTC Vive Cosmos и всех гарнитурах Windows Mixed Reality.
Существует также схема отслеживания Outside-In
с размещением базовых станций в углах комнаты, помогающих гарнитуре и контроллерам отслеживать их точное местоположение (HTC Vive Cosmos Elite, Valve Index).
Рис. 5. Отслеживание Outside-In и Inside-Out
В продвинутых гарнитурах используют одновременную локализацию и построение карты (SLAM), отслеживающую особенности физической среды, окружающей человека.
Пример работы SLAM
Как можно имитировать жизнь?
Основной трюк остается одним и тем же: уменьшайте детализацию, пока не найдете лучший баланс между качеством и сложностью, чтобы наш разум не смог обнаружить разницу
Есть много трюков, которые мы можем использовать, чтобы снизить необходимую расчетную мощность для имитации вселенной на том уровне, на котором сможем в нее поверить. Самый очевидный из них: не нужно рендерить то, на что никто не смотрит. Вы наверняка знаете о принципе неопределенности Гейзенберга и эффекте наблюдателя. Современная физика говорит нам, что реальность, а точнее мельчайшие частицы, из которых она состоит, зависят от наблюдателя. Грубо говоря, формы не существуют, пока вы на них не смотрите. И попробуйте докажите обратное.
Следующий трюк, который вы можете использовать: создать вселенную, которая будет казаться огромной и безграничной, даже если это не так. Уменьшая детализацию удаленных объектов, можно сэкономить колоссальные объемы вычислительной мощности и генерировать объекты только по мере их обнаружения. К примеру, существует игра No Man’s Sky — в ней используется процедурная генерация миров по мере их обнаружения, и число их воистину бесконечно даже в этой маленькой компьютерной игре.
И наконец, можно добавить основных физических принципов, которые существенно усложнят или сделают невозможным достижением любой другой планеты. Существа будут привязаны к своему собственному миру. (Скорость света или экспоненциально расширяющаяся вселенная, кхе-кхе).
Если объединить эти хитрости с математическими уловками вроде повторяющихся шаблонов и основ фрактальной геометрии, можно получить вполне рабочую эвристическую модель вселенной, которая будет казаться почти бесконечной и безграничной. И все же это не объясняет, почему теория виртуальной вселенной приобрела такую популярность. Почему же мы с высокой долей вероятности находимся в таком мире?
Если вам интересны новости науки и технологий, подпишитесь на нас в Google Новостях и Яндекс.Дзен, чтобы не пропускать новые материалы!
2.3. Базовые термины и понятия
Поле зрения (FOV)
. В контексте гарнитур VR поле зрения относится ко всему, что вы можете видеть в виртуальном мире при использовании гарнитуры.
Рис. 6. Поле зрения (FOV)
Степени свободы (DoF)
. Чем больше степеней свободы, тем больше физических движений будет отслеживаться гарнитурой. 3DoF (3 степени свободы) отслеживает только перемещение головы: крен, тангаж, рыскание, но не положение в пространстве по координатам (x, y, z). В современных гарнитурах используется 6DoF, отслеживающий как движения головы, так и ее координаты.
Рис. 7. Степени свободы 3DoF и 6DoF
Frames Per Second (FPS)
– количество кадров в секунду.
Screen Resolution
– количество пикселей, отображаемых на экране.
Spatial Audio (3D аудио)
– пространственное звучание (используется для создания звука, который исходит из определенной точки виртуального мира).
Рис. 8. Spatial Audio (3D аудио)
Все начинается с игр
Параллельно существующая с привычным образом жизни реальность описывалась в многочисленных фантастических романах и фильмах XX века. Однако попытки посмотреть на привычные вещи с другой стороны предпринимались и ранее. В 1838 году физик Чарльз Уитстон описал принцип обозначения восприятия глубины и трехмерной структуры — стереопсис. На основе своего открытия ученый создал первый стереоскоп — прибор, предназначенный для восприятия объемных изображений. Уитстон использовал пару расположенных под углом 45 градусов по отношению к глазам смотрящего зеркал. Физик доказал, что мозг объединяет изображения объектов, полученных с разных точек, в результате чего предмет кажется объемным.
Стереоскоп Чарльза Уитстона
Изображение: Getty Images
В 1935 году писатель-фантаст Стенли Вейнбаум публикует роман «Очки Пигмалиона», в котором рассказывает про некий прибор, который позволял воспринимать изображение с помощью зрительного контакта, а также осязать выдуманные объекты, чувствовать их вкус и запах. По сути Вейнбаум описывает нечто похожее на современные гарнитуры виртуальной реальности. Идею о том, что люди могут общаться друг с другом, не находясь физически в одной локации, в 1975 году подкинул художник Майрон Крюгер. Он основал лабораторию Videoplace, в которой пользователь помещался в интерактивную среду. Движения человека записывались расположенной за его спиной камерой и тут же передавались на проецируемый силуэт. Это давало наблюдателю ощущение присутствия даже при отсутствии прямой тактильной обратной связи.
Еще в 1957 году изобретатель Мортон Хейлиг, которого называют отцом виртуальной реальности, создал первый в мире VR-симулятор, который назвал сенсорама. Устройство представляло собой подвижное кресло с экраном, а также динамиками, вентиляторами, излучателями запахов. С помощью девайса пользователь мог погрузиться в определенную виртуальную среду: например, оказаться за рулем несущегося по дороге мотоцикла. Идеи Хейлига повлияли на развитие VR и становление сегмента виртуальных видеоигр. В будущем появится много симуляторов, основанных на максимальном погружении геймера в игровой процесс. Например, в 1970-х компания General Electric представляет имитатор полета на истребителе, который был сконструирован из трех экранов, окружающих кабину виртуального летчика. Чуть позже компания VPL создает перчатки виртуальной реальности DataGlove, которые считывали движение пальцев и переносили их в игру. В 1990-х годах Nintendo выпускает консоль Virtual Boy, которая считается первой приставкой, которая способна воспроизводить трехмерную графику. VR-шлем базировался на стереоскопических светодиодных окулярах, которые использовали датчики слежения за глазами пользователя.
В нулевых казалось, что развитие технологии остановилось, пока на рынке не стали появляться относительно недорогие и продвинутые гарнитуры виртуальной реальности. Прорывом в отрасли считались VR-очки Oculus Rift, которые проецировали изображение с помощью LCD-экранов, отслеживали повороты головы и имели несколько степеней свободы. На фоне интереса к индустрии начинают появляться подобные продукты, вроде PlayStation VR, HTC Vive, Samsung Gear VR и прочие устройства, позволяющие запускать игры в режиме полного погружения.
Обратившие внимание на перспективную отрасль IT-гиганты начали предлагать свои инновации в области VR. Не имеющая по состоянию на 2014 год своих серьезных продуктов Facebook приобрела компанию Oculus за два миллиарда долларов. Считается, что примерно в это же время Марк Цукерберг заинтересовался виртуальной реальностью, которую он позже предложит вставить в концепцию метавселенной.
2.4. VR через веб-браузер
WebGL
– кроссплатформенный API для 3D-графики в браузере. Исполняется как элемент HTML5 и поэтому является полноценной частью объектной модели документа (DOM API) браузера. Может использоваться с языками программирования, поддерживающими DOM API: JavaScript, Rust, Java, Kotlin и др.
Для упрощения работы с WebGL существуют различные фреймворки. Все они распространяются под свободной лицензией (MIT, Apache 2 или BSD), написаны на JavaScript и имеют сходный набор функций: работа с геометрией, материалом, светом, анимацией, камерами, шейдерами, текстом и 3D-аудио. Вот некоторые из них:
- three.js – сайт, GitHub, MIT.
- Babylon.js – сайт, GitHub, Apache 2.
- A-Frame – сайт, GitHub, MIT.
- PlayCanvas – сайт, GitHub, Apache 2.
- React 360 – сайт, GitHub, BSD.
- AR.js – GitHub, MIT.
Интерпретации квантовой механики
Вместо этого было выдвинуто множество других теорий. Самой известной из них была придумана в 1927 году в городе Копенгаген.
Копенгагенская интерпретация
Учёные Нильс Бор и Вернер Гейзенберг предположили, что элементарные частицы – это как бы одновременно и волны, и частицы.
Нильс Бор и Вернер Гейзенберг
Так вот, для того чтобы измерить электрон, т. е. провести над ним наблюдение, его надо ударить о кванты измерительного прибора. И именно из-за этого удара волновые функции электрона «схлопываются», и он становится только частицей. Таким образом, сам наблюдатель не влияет своим наблюдением на частицу – влияют только кванты измерительного прибора.
Так как это объяснение квантовой механики было сформулировано в городе Копенгаген, его назвали Копенгагенской интерпретацией.
Забавно, но если эта интерпретация верна, то она всё равно не опровергает гипотезу матрицы, т. к. её можно подстроить и под это объяснение.
Например, фотоновая программа может распространяться в сети как волна, а затем перезапускаться в тот момент, когда узел перегружен, превращаясь в частицу. Это объясняет и квантовые волны, и коллапс волновой функции.
Многомировая интерпретация
После Копенгагенской интерпретации второй по популярности объяснение причин странного поведения микрочастиц в эксперименте с двумя щелями стала Многомировая интерпретация.
Её суть заключается в том, что, возможно, существуют как бы параллельные вселенные, в каждой из которых действуют одни и те же законы природы.
И что при каждом акте измерения квантового объекта наблюдатель как бы расщепляется на несколько версий. Каждая из этих версий «видит» свой результат измерения и действует в соответствии с ним в своей вселенной.
Вот такое странное объяснение!
В какую из этих интерпретаций больше верить – решайте сами.
Например, опрос учёных, сделанный в 1997 году, на симпозиуме под эгидой UMBC (University of Maryland, Baltimore County – Мэрилендский университет в Балтиморе) показал, что большинство физиков не верят ни копенгагенской, ни многомировой интерпретации. Голоса распределились следующим образом:
- 13 человек проголосовало за Копенгагенскую интерпретацию;
- 8 – за Многомировую;
- несколько учёных – за другие, менее популярные интерпретации;
- 18 физиков высказались против всех предложенных интерпретаций на тот момент времени.
До сих пор спор насчёт правильной интерпретации квантовой механики продолжается по всему миру. Он ведётся между учёными университетов, на конференциях и даже в барах и кафе.
Ну а тем временем в 2006 году развитие технологий позволило впервые провести ещё более хитроумную версию эксперимента с двумя щелями.
Называется она эксперимент с отложенным выбором.
2.5. Программное обеспечение
Blender
Blender – это профессиональное и свободное ПО, предназначенное для создания трехмерной компьютерной графики . Он включает в себя инструменты для моделирования, анимации и рендеринга.
Unity
Unity является наиболее распространенным инструментом для разработки VR. С его помощью можно импортировать модели, созданные в Blender, настроить взаимодействие с этими моделями, а также их физику. Для скриптинга используется C# и UnityScript, напоминающий JavaScript. На этом движке можно создавать приложения для WebGL, Oculus Rift и HTC Vive. Также есть интеграция с ARCore, ARKit.
Цена
: бесплатно и не требует отчислений с прибыли.
Ограничение
: объем привлеченных инвестиций не более 100 тыс. долл. за последние 12 мес.
Unreal Engine
Основной конкурент Unity – Unreal Engine. В нем можно писать на C++ и Blueprints (визуальное программирование). Поддерживаемые платформы: AR (Android, iOS), VR (Google VR, Oculus, Gear VR, SteamVR, Windows MR)
Цена
: бесплатно.
Ограничение
: 5% от выручки с продаж, если ежеквартальная выручка превышает 3 тыс. долл.
Сравнение Unreal Engine и Unity
Google Cardboard
Цена: Бесплатно Платформа: /
Картонное приложение позволяет вам испытать виртуальную реальность простым, веселым и восхитительным способом. Оно упаковано с набором демо-версий.
- Фото сфера: посмотрите вокруг фото сфер, которые вы захватили.
- Экспонат: анализ культурных артефактов с разных сторон.
- Экскурсионный гид: посетите Версаль с местным гидом.
Вы также можете испытать новое музыкальное видео вашего любимого исполнителя, как если бы Вы были прямо там на съемочной площадке, с 360-градусным видеоконтентом и многое другое.
