ПРОЕКТ

Навигационное ПО с дополненной реальностью для мобильных приложений

Разработка индивидуального AR-приложения, Приложения для Android и iOS, Отображение 3D-моделей, AR-навигация, Цифровые 3D-карты, Маркерная AR-технология, Интеграция с серверной частью

  • Отрасль: Образование
  • Чешская Республика Местоположение: Чешская Республика
  • Срок разработки: 16 недель
  • Технологии: JavaScript / TypeScript (Node.js), Python
4+ месяцев

Этому образовательному учреждению нужны интерактивные занятия с 3D-моделями, мультимедиа и языковым контентом. Также в его помещениях требуются AR-карты и инструкции в реальном времени. ПО дополненной реальности предоставляет команде мобильное приложение для Android и iOS: оно использует распознанные изображения, модели, учебные материалы и данные о местоположении, чтобы показывать учащимся и посетителям интерактивный 3D-контент, карты и AR-инструкции.

Краткое содержание

Проблема

Учреждению нужны интерактивные занятия, 3D-контент и навигация по кампусу в рамках единого мобильного интерфейса.

Решение

Решением стало приложение дополненной реальности с распознаванием контента, 3D-моделями, цифровыми картами и AR-навигацией.

Результат

ПО создано для поддержки интерактивных занятий и навигации в мобильном интерфейсе учреждения.

История клиента

Клиент - образовательное учреждение в Чешской Республике. Оно предоставляет учебный контент и использует физические пространства, где учащимся и посетителям нужна понятная информация.

Учреждение тратило время на объединение учебных материалов, 3D-моделей, карт кампуса и навигационных подсказок в единый мобильный интерфейс.

Цель была простой: создать мобильные AR-приложения для Android и iOS, поддержать навигацию внутри и снаружи помещений и связать интерфейс с существующим контентом и сервисами.

Решение построили вокруг AR-просмотрщика на базе камеры, навигационной карты, каталога контента и раздела настройки распознанных целей и интерактивного контента.

Клиент хотел

  1. Создать AR-приложения для Android и iOS с поддержкой ARCore и ARKit.
  2. Поддержать позиционирование, карты, маршруты, инструкции, геозоны и AR-маршруты.
  3. Объединить каталоги, ресурсы, профили, платежи, сообщения и существующие системы.
  4. Использовать Unity вместе с AR Foundation для отображения интерактивного 3D-контента.

Почему готовое решение не подошло

Готовое ПО дополненной реальности предоставляет инструменты для создания 3D-контента и объединения медиа с физической средой. Учреждению требовалось объединить распознавание, учебный контент, навигацию и мобильную поддержку в единый надежный интерфейс.

Обзор проекта

Решение спроектировали вокруг единого мобильного AR-интерфейса для учебного контента, навигации по кампусу и распознавания физических объектов. Структура разделяет просмотр, навигацию и управление контентом.

Для интерактивных занятий создали AR-просмотрщик. Камера распознает изображение или объект и размещает 3D-модель в реальной среде, показывая связанный контент.

Отдельный раздел навигации отображает цифровую 3D-карту, пункты назначения и выделенные маршруты. AR-стрелки и обозначения закрытых зон оставляют информацию о маршруте видимой в режиме камеры.

Каталог контента хранит модули, описания и 3D-модели, доступные для AR-просмотра. Раздел настройки связывает маркеры, цели моделей и анимации с учебным контентом.

Особое внимание уделили поддержке Android и iOS, существующих сервисов и собственного контента учреждения. Решение разделили на модули, чтобы позже добавлять формы, автоматизацию и интеграции.

Основные реализованные функции

  • AR на основе распознавания изображений и объектов
  • Отображение интерактивных 3D-моделей
  • Мобильные приложения для Android и iOS
  • AR-навигационные стрелки и маршруты
  • Цифровые 3D-карты кампуса
  • Доступные маршруты и закрытые зоны
  • Каталог контента и моделей
  • Настройка маркеров и целей моделей
  • Предпросмотр AR-интерфейсов через камеру

Можно добавить

+ Голосовые инструкции с синтезом речи + Алгоритмы построения маршрутов + GPS-позиционирование + Геозоны + Индивидуальные маркеры карты + Мини-карты + Отслеживание лица + Взаимодействие с персонажами

Кому еще подойдет это решение

Компании со схожими задачами по работе с контентом или навигацией могут адаптировать решение под свои помещения и объекты.

Кампус или общественная площадка

Задача Нужны карты помещений или открытых территорий, ориентиры и инструкции в реальном времени для посетителей.
Как помогает решение Решение объединяет цифровые карты и данные о местоположении с AR-стрелками, маршрутами и маркерами.

Розничная компания

Задача Хочет, чтобы клиенты могли просматривать, настраивать или примерять товары с помощью AR.
Как помогает решение Решение отображает модели товаров, варианты, описания и интерактивные виды через камеру.

Поставщик развлекательных услуг

Задача Создает маркерный, геолокационный или интерактивный AR-контент.
Как помогает решение Решение связывает распознанные цели и физические места с моделями, наложениями, играми и эффектами.

Технологический стек

JavaScript / TypeScript (Node.js)

Разработка приложения и карт

Этот технологический стек поддерживает модули мобильного приложения и 3D-карты.

Python

Обработка данных о местоположении

Python обрабатывает данные протокола GPS, используемые в навигации.

@justanarthur/just-map

Сопоставление 3D-карты и GPS

Эта библиотека JavaScript и TypeScript предоставляет модульные 3D-карты на базе MapLibre и привязку GPS к маршрутам.

pynmeagps

Данные о местоположении NMEA

Эта библиотека Python считывает и создает сообщения позиционирования NMEA.

@capacitor/android

Мобильные версии для Android

Этот пакет Capacitor связывает веб-приложение с мобильными версиями для Android.

@capacitor/ios

Мобильные версии для iOS

Этот пакет Capacitor связывает веб-приложение с мобильными версиями для iOS.

opencv

Компьютерное зрение камеры

Эта библиотека поддерживает обработку на основе компьютерного зрения для распознавания и AR-позиционирования.

stl

Импорт 3D-геометрии

Эта библиотека считывает и записывает STL-геометрию 3D-моделей, используемых в интерфейсе.

GPS

Позиционирование по местоположению

GPS предоставляет данные о местоположении для навигации на открытом воздухе и позиционирования на карте.

Android and iOS

Поддержка мобильных платформ

Приложение работает на Android и iOS и при необходимости использует платформенную AR-поддержку.

Интеграции

ARCore

AR-фреймворк Android обеспечивает платформенную поддержку размещения цифрового контента в режиме камеры.

ARKit

AR-фреймворк iOS обеспечивает платформенную поддержку размещения цифрового контента в режиме камеры.

Firebase

Firebase может предоставлять облачные сервисы для данных и ресурсов приложения.

Backend services

Существующие серверные сервисы связывают приложение с контентом, ресурсами, профилями, аутентификацией, платежами, сообщениями и модерацией.

GPS and NMEA devices

Данные GPS могут передаваться через сообщения NMEA для навигации и позиционирования на карте.

Результат

Интерактивный учебный контент появляется в реальной среде

AR-просмотрщик превращает распознанные изображения, объекты или поверхности в интерактивный учебный интерфейс. Учащийся видит 3D-модель, элементы управления и связанный учебный контент. AR-просмотрщик превращает распознанные изображения, объекты или поверхности в интерактивный учебный интерфейс. Учащийся видит вместе с 3D-модель, ее элементы управления и связанный учебный контент.

Так информация о модели остается рядом с физическим объектом, а не отделяет занятие от него.

Как это работает

  1. Камера распознает изображение или объект и находит плоскую поверхность.
  2. AR-вид размещает 3D-модель в реальной среде.
  3. Панель контента показывает учебные материалы, описания модели и элементы взаимодействия.
  • Распознанные изображения и объекты
  • Интерактивные 3D-модели
  • Панели учебного контента
Совет: Просмотрщик может использовать предоставленные 3D-модели и учебные материалы как часть AR-интерфейса.
AR-просмотрщик с распознанным контентом

AR-просмотрщик с распознанным контентом

Функции этого экрана
Распознать изображение Включить AR-вид Показать 3D-модель Распознать плоские поверхности

Посетители следуют маршрутам с видимыми AR-инструкциями

Навигационный экран объединяет вид с камеры, выделенный доступный маршрут и мини-карту. Маркеры пунктов назначения и ориентиры добавляют маршруту необходимый контекст.

В результате получается навигация для помещений и открытых территорий учреждения, где AR-стрелки показывают направление движения.

Как это работает

  1. Пункт назначения, GPS-координаты, местоположение, определенное компьютерным зрением, и 3D-карта кампуса формируют вид маршрута.
  2. Карта отображает маршруты, ориентиры, здания, обозначения дорог и закрытые зоны.
  3. Вид с камеры показывает AR-навигационные стрелки и выделенный доступный маршрут.
  • Выбор пункта назначения
  • Мини-карта
  • Маркеры ориентиров и зданий
AR-навигационная карта и маршрут

AR-навигационная карта и маршрут

Функции этого экрана
Показывать AR-навигационные стрелки Создать цифровую 3D-карту Выделять доступные маршруты и закрытые зоны Находить ближайшие ориентиры Показывать мини-карту

Учебный контент и контент товаров остаются организованными

Каталог объединяет модули, описания и изображения в одном месте. Он также хранит 3D-модели и варианты, доступные для AR-просмотра.

AR- действие открытия связывает каждый элемент каталога с интерфейсом камеры.

Как это работает

  1. Каталог группирует модули, товары или учебные элементы по категориям.
  2. Список элементов показывает названия, изображения, описания, 3D-модели и варианты товаров.
  3. Действие открытия AR связывает выбранный элемент с AR-просмотрщиком.
  • Навигация по категориям
  • Поиск или список элементов
  • Предпросмотр элемента
Каталог контента и моделей

Каталог контента и моделей

Функции этого экрана
Включить AR-вид Показать 3D-модель

AR-интерфейсы используют заданные цели и контент

Экран настройки связывает маркеры, цели моделей и 3D-ресурсы. Предпросмотр через камеру показывает, как они сочетаются.

Анимации и учебный или рекламный контент дополняют настроенное взаимодействие.

Как это работает

  1. Настройка включает маркеры изображений, логотипы или цели моделей.
  2. Параметры ресурсов связывают 3D-модели, анимации и учебный или рекламный контент.
  3. Камера предпросмотра показывает настроенный AR-интерфейс и его взаимодействия.
  • Настройка целей изображения, маркера или модели
  • Выбор 3D-ресурса
  • Параметры наложений и взаимодействий
Примечание: Раздел настройки адаптирован под собственный учебный контент и распознанные цели учреждения.
Настройка AR-интерфейса

Настройка AR-интерфейса

Функции этого экрана
Разработка AR-приложения Создание интерфейсов дополненной реальности Реализация AR-функций

Что дает решение

С помощью этого решения учреждение может:

  • Проводить интерактивные занятия с 3D-моделями в реальной среде.
  • Навигировать учащихся и посетителей внутри и снаружи помещений.
  • Хранить AR-элементы обучения, описания, изображения и модели в одном каталоге.
  • Связывать распознанные цели с учебным контентом и анимациями.
  • Поддерживать интерфейсы Android и iOS с помощью платформенных AR-фреймворков.
  • Добавлять навигационные, позиционирующие и контентные функции по мере развития системы.

Итоговый результат

В итоге создано решение, которое объединяет учебный контент учреждения и физические пространства в интерактивные AR-занятия и навигационные инструкции.

Часто задаваемые вопросы

Планируете создать похожую систему? Изучите ответы ниже, чтобы понять, как сочетаются ключевые решения в области AR, навигации, контента и реализации.