PROJEKT

Liitreaalsuse navigatsioonitarkvara mobiilirakendustele

Kohandatud AR-rakenduse arendus, Androidi ja iOS-i rakendused, 3D-mudelite kuvamine, AR-navigatsioon, Digitaalsed 3D-kaardid, Markeripõhine AR, Taustsüsteemi integratsioon

  • Valdkond: Haridus
  • Tšehhi Vabariik Asukoht: Tšehhi Vabariik
  • Tarneaeg: 16 nädalat
  • Tehnoloogiad: JavaScript / TypeScript (Node.js), Python
4+ kuud

See haridusasutus vajab interaktiivseid õppetunde 3D-mudelite, multimeedia ja keelesisuga. Samuti vajab see oma füüsilistes ruumides AR-kaarte ja reaalajas juhiseid. Liitreaalsuse tarkvara annab meeskonnale Androidi ja iOS-i mobiilirakenduse: see võtab sisendiks tuvastatud pildid, mudelid, õppematerjalid ja asukohaandmed ning kuvab õpilastele ja külastajatele interaktiivset 3D-sisu, kaardivaateid ja AR-juhiseid.

Kokkuvõte

Probleem

Asutus vajab interaktiivseid õppetunde, 3D-sisu ja ülikoolilinnaku juhiseid, mis toimivad koos ühes mobiilikogemuses.

Lahendus

Lahendusest sai liitreaalsuse rakendus tuvastatud sisu, 3D-mudelite, digitaalsete kaartide ja AR-navigatsiooniga.

Tulemus

Tarkvara on loodud toetama interaktiivseid õppetunde ja navigeerimist asutuse mobiilikogemuses.

Kliendi lugu

Klient on Tšehhi Vabariigi haridusasutus. See pakub õppesisu ja kasutab füüsilisi ruume, kus õpilased ja külastajad vajavad selget infot.

Asutus kulutab aega õppematerjalide, 3D-mudelite, ülikoolilinnaku kaartide ja asukohajuhiste ühendamisele mobiilseadmetes toimivaks kogemuseks.

Soov oli lihtne: luua Androidi ja iOS-i mobiilsed AR-rakendused, toetada sise- ja välipositsioneerimist ning ühendada kogemus olemasoleva sisu ja teenustega.

Lahendus kujundati kaamerapõhise AR-vaaturi, navigatsioonikaardi, sisukataloogi ja seadistusalaga tuvastatud sihtmärkide ning interaktiivse sisu jaoks.

Klient soovis

  1. Luua ARCore'i ja ARKiti toega Androidi ja iOS-i AR-rakendused.
  2. Toetada positsioneerimist, kaarte, marsruute, juhiseid, geopiirdeid ja AR-teid.
  3. Ühendada kataloogid, varad, profiilid, maksed, sõnumside ja olemasolevad süsteemid.
  4. Kasutada Unityt koos AR Foundationiga interaktiivse 3D-sisu kuvamiseks.

Miks valmislahendus ei sobinud

Valmis liitreaalsuse tarkvara pakub tööriistu 3D-sisu loomiseks ja meedia ühendamiseks füüsilise keskkonnaga. Asutusel oli vaja ühendada tuvastamine, õppesisu, navigeerimine ja mobiilitugi ühtseks kindlaks kogemuseks.

Projekti ülevaade

Lahendus kavandati ümber ühe mobiilse AR-kogemuse õppesisu, ülikoolilinnakus navigeerimise ja tuvastatud füüsiliste sihtmärkide jaoks. Struktuur eraldab vaatamise, navigeerimise ja sisuhalduse.

Interaktiivsete õppetundide jaoks loodi AR-vaatur. Kaamera tuvastab pildi või objekti ja paigutab 3D-mudeli päris keskkonda ning kuvab seotud sisu.

Eraldi navigatsiooniala kuvab digitaalset 3D-kaarti, sihtkohti ja esiletõstetud marsruute. AR-nooled ja piiratud alade tähised hoiavad marsruudiinfo kaameravaates nähtavana.

Sisukataloog hoiab moodulid, kirjeldused ja 3D-mudelid AR-vaatamiseks kättesaadavana. Seadistusala seob markerid, mudeli sihtmärgid ja animatsioonid õppesisuga.

Erilist tähelepanu pöörati Androidi ja iOS-i toele, olemasolevatele teenustele ning asutuse enda sisule. Lahendus jaotati mooduliteks, et hiljem saaks lisada vorme, automatiseerimisi või integratsioone.

Peamised tarnitud funktsioonid

  • Pildi- ja objektituvastusel põhinev AR
  • Interaktiivsete 3D-mudelite kuvamine
  • Androidi ja iOS-i mobiilirakendused
  • AR-navigatsiooninooled ja marsruudid
  • Digitaalsed 3D-ülikoolilinnaku kaardid
  • Läbitavad teed ja piiratud alad
  • Sisu- ja mudelikataloog
  • Markerite ja mudeli sihtmärkide seadistamine
  • Kaamera eelvaade AR-kogemustele

Lisada saab

+ Hääljuhtimine kõnesünteesiga + Marsruudi leidmise algoritmid + GPS-positsioneerimine + Geopiirded + Kohandatud kaardimarkerid + Minikaardid + Näojälgimine + Tegelastega suhtlus

Kes veel seda lahendust kasutada saab

Sarnase sisu- või navigatsiooniülesandega ettevõtted saavad sama lahenduse kohandada oma ruumidele ja varadele.

Ülikoolilinnak või avalik sündmuspaik

Ülesanne Vajab külastajatele sise- või välikaarte, maamärke ja reaalajas juhiseid.
Kuidas lahendus aitab Lahendus ühendab digikaardid ja asukohaandmed AR-noolte, teede ja asukohamarkeritega.

Jaemüügiettevõte

Ülesanne Soovib, et kliendid saaksid AR-i kaudu tooteid eelvaadata, kohandada või proovida.
Kuidas lahendus aitab Lahendus kuvab tootemudeleid, variante, kirjeldusi ja interaktiivseid kaameravaateid.

Meelelahutusteenuse pakkuja

Ülesanne Loob markeripõhist, asukohapõhist või interaktiivset AR-meediat.
Kuidas lahendus aitab Lahendus seob tuvastatud sihtmärgid ja füüsilised asukohad mudelite, ülekatete, mängude ja efektidega.

Tehnoloogiapinu

JavaScript / TypeScript (Node.js)

Rakenduse ja kaartide arendus

See tehnoloogiapinu toetab mobiilirakenduse ja 3D-kaardi mooduleid.

Python

Asukohaandmete töötlemine

Python töötleb navigatsioonikogemuses kasutatavaid GPS-protokolli andmeid.

@justanarthur/just-map

3D-kaardi ja GPS-i sobitamine

See JavaScripti ja TypeScripti teek pakub modulaarseid MapLibre-põhiseid 3D-kaarte ja GPS-i sobitamist teedele.

pynmeagps

NMEA asukohaandmed

See Pythoni teek loeb ja genereerib NMEA-positsioneerimissõnumeid.

@capacitor/android

Androidi mobiiliversioonid

See Capacitori pakett ühendab veebirakenduse Androidi mobiiliversioonidega.

@capacitor/ios

iOS-i mobiiliversioonid

See Capacitori pakett ühendab veebirakenduse iOS-i mobiiliversioonidega.

opencv

Kaamera arvutinägemine

See teek toetab arvutinägemisel põhinevat töötlemist tuvastamise ja AR-positsioneerimise jaoks.

stl

3D-geomeetria import

See teek loeb ja kirjutab kogemuses kasutatavate 3D-mudelite STL-geomeetriat.

GPS

Asukoha positsioneerimine

GPS pakub välitingimustes navigeerimiseks ja kaardil positsioneerimiseks asukohaandmeid.

Android and iOS

Mobiiliplatvormide tugi

Rakendus töötab Androidis ja iOS-is ning kasutab vajadusel platvormipõhist AR-tuge.

Integratsioonid

ARCore

Androidi AR-raamistik pakub platvormipõhist tuge digitaalse sisu paigutamiseks kaameravaatesse.

ARKit

iOS-i AR-raamistik pakub platvormipõhist tuge digitaalse sisu paigutamiseks kaameravaatesse.

Firebase

Firebase võib pakkuda rakenduse andmete ja varade pilveteenuseid.

Backend services

Olemasolevad taustsüsteemi teenused ühendavad rakenduse sisu, varade, profiilide, autentimise, maksete, sõnumside või modereerimisandmetega.

GPS and NMEA devices

GPS-i asukohaandmed võivad navigeerimiseks ja kaardil positsioneerimiseks liikuda NMEA-sõnumite kaudu.

Tulemus

Interaktiivne õppesisu ilmub päris keskkonda

The AR-vaatur muudab tuvastatud pildid, objektid või pinnad interaktiivseks õppevaateks. Õpilane näeb koos 3D-mudelit, selle juhtnuppe ja seotud õppesisu.

Nii jääb mudeliinfo füüsilise sihtmärgi lähedale, selle asemel et õppetund objektist eraldada.

Kuidas see töötab

  1. Kaamera tuvastab pildi või objekti ning leiab tasase pinna.
  2. AR-vaade paigutab 3D-mudeli päris keskkonda.
  3. Sisupaneel kuvab õppematerjali, mudeli kirjeldused ja suhtlusjuhtelemendid.
  • Tuvastatud pildid ja objektid
  • Interaktiivsed 3D-mudelid
  • Õppesisu paneelid
Nõuanne: Vaatur saab AR-kogemuse osana kasutada esitatud 3D-mudeleid ja õppematerjali.
Tuvastatud sisuga AR-vaatur

Tuvastatud sisuga AR-vaatur

Selle ekraani funktsioonid
Tuvasta pilt Luba AR-vaade Kuva 3D-mudel Tuvasta tasased pinnad

Külastajad järgivad nähtavate AR-juhistega marsruute

Navigatsiooniekraan ühendab kaameravaate, esiletõstetud läbitava tee ja minikaardi. Sihtkohamarkerid ja maamärgid annavad marsruudile vajaliku konteksti.

Tulemuseks on asutuse sise- või väliruumidele mõeldud navigatsioonikogemus, kus AR-nooled näitavad eesolevat suunda.

Kuidas see töötab

  1. Sihtkoht, GPS-asukoht, arvutinägemisega määratud asukoht ja ülikoolilinnaku 3D-kaart määravad marsruudivaate.
  2. Kaart kuvab marsruute, maamärke, hooneid, teetähiseid ja piiratud alasid.
  3. Kaameravaade kuvab AR-navigatsiooninooled ja esiletõstetud läbitava tee.
  • Sihtkoha valija
  • Minikaart
  • Maamärkide ja hoonete markerid
AR-navigatsioonikaart ja marsruut

AR-navigatsioonikaart ja marsruut

Selle ekraani funktsioonid
Kuva AR-navigatsiooninooled Loo digitaalne 3D-kaart Tõsta esile läbitavad teed ja piiratud alad Leia lähedal asuvad maamärgid Kuva minikaart

Õppe- ja tootessisu püsib korrastatuna

Kataloog koondab moodulid, kirjeldused ja pildid ühte kohta. Samuti hoiab see 3D-mudelid ja variandid AR-vaatamiseks kättesaadavana.

AR-i avamistoiming ühendab iga kataloogielemendi kaamerakogemusega.

Kuidas see töötab

  1. Kataloog rühmitab moodulid, tooted või õppeelemendid kategooriate järgi.
  2. Elementide loend kuvab nimed, pildid, kirjeldused, 3D-mudelid ja tootevariandid.
  3. AR-i avamistoiming ühendab valitud elemendi AR-vaaturiga.
  • Kategooriates navigeerimine
  • Otsing või elementide loend
  • Elemendi eelvaade
Sisu- ja mudelikataloog

Sisu- ja mudelikataloog

Selle ekraani funktsioonid
Luba AR-vaade Kuva 3D-mudel

AR-kogemused kasutavad määratletud sihtmärke ja sisu

Seadistuskuva ühendab markerid, mudeli sihtmärgid ja 3D-varad. Kaamera eelvaade näitab, kuidas need kokku sobivad.

Animatsioonid ning õppe- või reklaamsisu täiendavad seadistatud suhtlust.

Kuidas see töötab

  1. Seadistus sisaldab pildimarkereid, logosid või mudeli sihtmärke.
  2. Varade seaded seovad 3D-mudelid, animatsioonid ning õppe- või reklaamsisu.
  3. Eelvaatekaamera näitab seadistatud AR-kogemust ja selle interaktsioone.
  • Pildi-, markeri- või mudeli sihtmärgi seadistus
  • 3D-vara valija
  • Ülekatte ja interaktsiooni seaded
Märkus: Seadistusala on kohandatud asutuse enda õppesisu ja tuvastatud sihtmärkide jaoks.
AR-kogemuse seadistamine

AR-kogemuse seadistamine

Selle ekraani funktsioonid
AR-rakenduse arendus Loo liitreaalsuse kogemusi Rakenda AR-funktsioone

Mida lahendus annab

Selle lahendusega saab asutus:

  • Esitleda interaktiivseid 3D-mudelitega õppetunde päris keskkonnas.
  • Juhatada õpilasi ja külastajaid sise- või väliruumides.
  • Hoiduda AR-õppeelemendid, kirjeldused, pildid ja mudelid ühes kataloogis.
  • Ühendada tuvastatud sihtmärgid õppesisu ja animatsioonidega.
  • Toetada Androidi ja iOS-i kogemusi platvormipõhiste AR-raamistikega.
  • Lisada süsteemi kasvades navigatsiooni-, positsioneerimis- ja sisufunktsioone.

Lõpptulemus

Lõpuks loodi lahendus, mis ühendab asutuse õppesisu ja füüsilised ruumid interaktiivseteks AR-õppetundideks ja juhisteks.

KKK

Mõtled sarnase süsteemi loomisele? Loe allolevaid vastuseid, et näha, kuidas peamised AR-i, navigatsiooni, sisu ja teostuse otsused kokku sobituvad.