Міністерство освіти і науки України
Національний технічний університет України
«Київський політехнічний інститут імені Ігоря Сікорського»
Факультет електроніки
Кафедра звукотехніки та реєстрації інформації
Розрахунково-графічна робота
З дисципліни «Технології створення освітніх комп’ютерних ігор та
проектування доповненої реальності»
На тему: «Розробка додатку доповненної реальності»
Виконав:
Перевірла:
ст. 5 курсу ФЕЛ
Батіна О.А
гр. ДВ-91-мп
Шкіндель В.М
Київ 2020
2
1. ЗАВДАННЯ НА РОЗРАХУНКОВО-ГРАФІЧНУ РОБОТУ
Розробити додаток доповненої реальності на одній з платформ,
розглянутих на лекціях і комп’ютерних практикумах – Daqri, MixAR,
ZooBurst, EligoVision, Vuforia, ARCore, Microsoft Mixed Reality, на вибір
студента за маркерною або без маркерною технологією, для настільного або
мобільного застосування. Провести аналіз існуючих платформ для розробки
додатків доповненої реальності та обґрунтувати власний вибір. Розрахункова
- графічна робота є індивідуальною. Кожен студент обирає тематику AR додатку самостійно з пріоритетом освітніх тематик (можливі тематики:
перекладач, ментальна математика, метальна фізика, електроніка, графічний
дизайн, тощо, однак кожна
робота
повинна містити певні обов’язкові
елементи перелічені нижче.
Пояснювальна записка по роботі є, водночас технічним звітом про
виконану
роботу і статтею використовуючи, яку можливо відтворити
описаний додаток і має складатися з вступу, теоретичної частини, що
відображає основні теоретичні знання по роботі; практичної частини, в якій
представлені коди розроблюваних програм з описом окремих елементів; схеми
пристроїв з описом, технічної документації, результатів тестування програми
або пристрою, висновків, списку використаних джерел інформації. Крім цього,
студент готує усну доповідь, супроводжувану презентацією і демонстрацією
розробленого програмного додатка віртуальної або розширеної реальності.
В роботі закладено певний порядок розробки:
- обрання теми і написання сценарію,
- проектування структури і дизайну додатку
- розробка зображень, які в подальшому будуть застосовуватися в якості
таргетів (міток)
- створення 3D-моделей, які з’являтимуться на екрані пристрою при
наведенні на таргет
- зведення таргетів у базу даних (наприклад Vuforia)
3
- створення сцени (бажано в Unity 3D), яка пов’язує таргети із 3D моделями
- застосування будь-якого SDK (наприклад Vuforia) у середовищі (Unity 3D)
- написання скриптів мовою програмування (C#, JavaScript) або застосування
бібліотек (наприклад JQuiery) для реалізації програмної логіки додатку
- оптимізація AR проекту для обраних платформ
- викладення в онлайн сховище, або установка / монтаж інсталяції на
обраний носій (демонстраційне пристрій, AR окуляри, робоча станція і т.п.)
- тестування
При створенні власного AR-додатку студент може використовувати
будь-які засоби і платформи, але доцільно використовувати такі поширені
засоби розробки: редактор тривимірної графіки Blender, редактор растрової
графіки GIMP, фреймворк Vuforia SDK, рушій Unity 3D, мови програмування
JavaScript та C#. Особливістю обраних програмних продуктів є їх повна
безкоштовність.
4
2. АНАЛІЗ ІСНУЮЧИХ ПЛАТФОРМ ДЛЯ РОЗРОБКИ ДОДАТКІВ
ДОПОВНЕНОЇ РЕАЛЬНОСТІ
2.1 Особливості реалізації доповненої реальності
Використання доповненої реальності дає можливість тим, хто
навчається практикуватися в отриманих ними навичках. Для цього
обладнання, що використовується в реальному житті, замінюється на його
віртуальний об'єкт, змодельований в 3Dредакторах і завантажений в додаток
для доповненої реальності [1].
Для реалізації системи доповненої реальності необхідно мати спеціальне
технічне обладнання, спеціалізовану лабораторію. Визначимо мінімальний
комплект обладнання, який потрібен для реалізації такого підходу: необхідна
кількість смартфонів, спеціальних дисплеїв чи AR окулярів, планшет педагога,
Wi-Fi роутер, система віддаленого оновлення, навчальні додатки.
За
допомогою
доповненої
реальності
отримуємо
розвинення
просторової уяви студентів, що посилює глибоке розуміння ними процесів,
властивостей, доведення теорем.
При вивченні тем з аналітичного аналізу “Числові ряди”, “Ряди
Тейлора”, “Ряди Фур’є” можливості AR надають змогу студентам глибше
зрозуміти означення суми ряду, побудову частинних сум, знаходження суми
числових рядів, процес наближення поліномів Тейлора до функцій,
амплітудний та частотний спектри ряду Фур’є, фізичний зміст рядів Фур’є та
їх застосування в техніці. При цьому значно покращується процес осмислення
та запам’ятовування навчального матеріалу, у навчання привноситься ігровий
елемент з динамічними елементами анімації [2].
За рахунок мінімальних вимог до обладнання (лише комп’ютер або
ноутбук, або мобільний телефон) таку технологію може використати кожен.
Доповнена реальність може «оживити» практично будь-які навчальні
матеріали – ілюстрації у книгах, моделі, схеми, карти, малюнки в альбомах[3].
5
Освітні AR-технології збагачують візуальне і контекстуальне навчання,
покращуючи змістовність інформації настільки, що до 80 % з неї утримується
в короткочасної пам’яті в порівнянні з 25 % при сприйнятті на слух (традиційні
лекції ) або читанні тексту.
2.2. Існуючі платформи для створення AR
Застосовувані засоби по розробці технології доповнене реальності,
знаходяться в прямій залежності від типу реалізованих завдань і доступних
засобів для їх реалізації.
Такі додатки як Daqri, MixAR і ZooBrust являються простими і не
потребують професійних
знань у програмуванні. Інші
інструменти:
ARToolKit, Unifeye Mobile SDK, Wikitude створювалися спеціально для
розробників додатків.
Zappar – рішення для доповненої, віртуальної і змішаної реальностей.
Створення дослідів різних реальностей для найбільших світових брендів.
Можуть майже все перетворити в інтерактивний медіаканал.
HP Reveal – студія веб-розробки, яка дозволяє створювати, управляти
від відстежувати кампанії доповненої реальності. Інтуїтивний зрозумілий
інтерфейс. Персоналізовані кампанії доповненої реальності для певних
сегментів аудиторії, які визначаються через передові інструменти таргетингу,
такі як платформа, регіон, час дня і багато інших. Аналітична картина по
кампанії в режимі реального часу.
Tartt – додаток, система управління і комплект розробки ПО доповненої
реальності.
Daqri – платформа, що дозволяє користувачам формувати QR-коди і
відображати фільми, зображення та інший контент, як тільки вони стають
розпізнаних камерою смартфона. Найцікавішим в цій платформі є те, що Daqri
дає можливість користувачам створювати додатки доповнене реальності без
написання кодів [4].
6
ZooBurst – програмне забезпечення, яке дозволяє створювати 3D книги.
Автор просто тримає маркер в ZooBurst перед веб-камерою, а спливаюча 3D
книга буде з'являтися на екрані, в масштабі рівна оригінальному розмірі книги.
Amazon Sumerian – дозволяє швидко і просто створювати і запускати
додатки
доповненої
реальності.
При
цьому
досвід
спеціального
програмування або роботи з 3D-графікою не потрібно.
ARToolKit відноситься до вільно розповсюджуваної бібліотеки з
відкритим вихідним кодом, написаним на мові С, для формування нових
додатків доповнене реальності. ARToolKit являє собою набір програмних
бібліотек, які можуть використовуватися в додатках доповненої реальності.
Бібліотека поширюється абсолютно безкоштовно. Бібліотека ARToolKit
дозволяє розробити додаток доповненої реальності для найпопулярніших
платформ: Android, iOS, Windows, Linux. Зазвичай для розробки програми під
кожну операційну систему необхідна своя середовище розробки, але
ARToolKit підтримує найпопулярнішу в світі платформу розробки для
створення кроссплатформенних ігр та інтерактивного контенту – Unity.
Рисунок 2.1 – Інтерфейс бібліотеки ARToolKit
7
Unity - елемент для розробки об’єктів доповненої реальності.
Представляє собою мульти-платформний інструмент для розробки двох і
тривимірних додатків та ігор, що працює під операційними системами
Windows і OS X.
Рисунок 2.2 – Інтерфейс програми Unity
Vuforia - це програмний комплекс, який включає в себе платформу
доповненої реальності і інструментарій розробника програмного забезпечення
доповненої реальності (SDK - Software Development Kit) для використання
доповненої реальності (Augmented Reality) на мобільних пристроях:
планшетах, смартфонах, і окулярах AR під iOS, Android і UWP (Windows) [16].
Vuforia також інтегрована з «ігровим движком» Unity/
Vuforia забезпечує:
 Простоту створення сценаріїв роботи з об'єктами AR
 Необмежена повторне використання 3D-даних
 Використання
широкої
номенклатури
користувача пристроїв (iOS, Android, UWP).
призначених
для
8
Рисунок 2.3 – 3D віртуальний об’єкт, котрий за допомогою Vuforia
інтегрований в Unity
Wikitude – комплект програм для розробників, який дозволяє як
створювати власні додатки доповненої реальності з нуля, так і впроваджувати
AR-функціонал в готові програми.
Wikitude Studio – це універсальна студія для створення та управління
цільовими об’єктами, а також для створення та публікації досвіду AR. З одного
боку, компонент Studio був розроблений для оптимізації ваших проектів для
SDK Wikitude і мінімізації зусиль при створенні колекції цільових зображень
і колекції цільових об'єктів. З іншого боку, інтеграція з Studio Editor дає
можливість швидко додавати мітки цілей, а також перевіряти і робити
програмне забезпечення AR доступне у додатку Wikitude або у власному
додатку, створеному за допомогою Wikitude SDK. Studio є зручним
інструментом перетягування, який дозволяє більш ефективно додавати,
видаляти, редагувати та підтримувати цільові зображення, об'єкти та сцени.
9
Рисунок 2.4 – Інтерфейс Wikitude Studio
Технології доповненої реальності дозволили розкрити закладене
усередині кожної людини бажання бути разом з подібними собі,
подорожувати, розважатися і спілкуватися. Наука придумала спосіб
досягнення для того, щоб прибрати відстані, рамки та інші аспекти, що
перешкоджають отриманню подібного досвіду в реальному житті [5].
10
3 РОЗРОБКА ДОДАТКУ ДОПОВНЕНОЇ РЕАЛЬНОСТІ НА
ПЛАТФОРМІ UNITY ТА ФРЕЙМФОРКУ VUFORIA.
3.1 Опис процесу розробки додатку у Unity
3.1.1 Створення міток
Додаток доповненої реальності можна створити за допомогою
інструменту для розробки Unity, що підтримує фреймворк Vuforia.
Для того, щоб розташувати вибрану мітку у віртуальний простір Unity,
слід перетворити його в формат Unitypackage. Перетворення відбувається на
спеціальному порталі для Vuforia-розробників.
Спочатку необхідно створити базу даних, в якій буде зберігатися мітка.
Після створення база з'явитися у списку target manager, яка представлена на
рисунку 3.1.
Рисунок 3.1 – Створення бази даних
В базу даних потрібно додати бажану мітку. В якості мітки можуть
виступати як 2D-зображення, так і 3D-об'єкти.
Вікно додавання мітки на сайті для розробників Vuforia представлено на
рисунку 3.2.
11
Рисунок 3.2 – Додавання мітки
Після додавання мітка відображається в створеній раніше базі даних.
У стовпці «Rating» відобразиться якість мітки - чим вона вище, тим простіше
буде пристрою її розпізнати. Мітка, яка додана в базу даних проілюстрована
на рисунку 3.3.
Рисунок 3.3 – Додана в базу даних мітка
3.1.2 Створення 3D-об'єктів
Саме від розробленої моделі буде залежати новий формат сприйняття
реального світу, оскільки вона виступає в якості об'єкта, що доповнює
реальність.
12
Для створення 3D-моделей використовуються різні 3D-редактори і
системи автоматизованого проектування. Для розробки 3D-об'єкта можна
обрати Wings 3D.
Розробка моделі, яка буде доповнена реальність, починається із
складання в єдине ціле окремих елементів, які вже створені в програмі.
Вікно створення моделі в Wings 3D представлено на рисунку 3.4.
Рисунок 3.4 – Вікно створення 3D-об'єкта в Wings 3D
Для розміщення моделі в середовищі Unity необхідно, щоб вона була
форматі fbx. Тому слід експортувати файл із Wings 3D у формат fbx за
допомогою спеціальних програмних засобів. Для експортування використано
розширення Wings Exporter.
Першим етапом створення програми є додавання мітки на сцену Unity.
Для цього на сцену і в дерево проекту додаються Prefab Image Target і
AR Camera.
Prefab – це готове налаштування, що має певний скрипт. AR Camera - це
віртуальна камера, що імітує камеру смартфона. Також існує рrefab сamera, яка
керує ігровою сценою Unity.
Вибравши
базу
даних,
на
сцені
з'являється
зображення,
яке
використовується в якості 3D-мітки. Також, можна вказати розмір мітки і її
13
позицію щодо початку координат. Результат додавання мітки на сцену
зображено на рисунку 3.5.
Рисунок 3.5 – Розміщення мітки на сцені Unity
На сцену додається 3D-об'єкт. Для додавання файл у форматі fbx
включається в папку проекту, потім завантажується на сцену Unity. Присутня
можливість задати розмір і координати 3D-об'єкта. Для прив'язки об'єкта до
мітки в дереві проекту 3D-об'єкт перетягується на Image Target.
Результат додання 3D-об'єкта на сцену зображено на рисунку 3.6.
Рисунок 3.6 – Додання 3D-об'єкта на сцену Unity
14
3.1.3 Компіляція додатку
На сцені може бути розташовано декілька зв'язків мітка-об'єкт, що
дозволяє одному пристрою працювати з різними мітками і відображати різні
об'єкти, відповідні різними даними.
Після додання об’єкту можна компілювати проект на бажану версію
програмного забезпечення.
Компіляція проекту представлена на рисунку 3.7.
Рисунок 3.7 – Створення проекту на платформу Android
3.2 Розробка власного додатку доповненої реальності на платформі
WikitudeStudio
3.2.1 Створення мітки
Для розробки додатку обрана платформа WikitudeStudio. Для створення
мітки необхідно завантажити у базу даних студії потрібні зображення.
Мітки, які завантажені у студію проілюстровані на рисунку 3.8.
15
Рисунок 3.8 – Додання мітки у студію
Після завантаження, мітки відображаються у базі студії. Над
зображенням відображається якість мітки - чим більше зірочок, тим простіше
пристрою її розпізнає.
Розміщення мітки на сцені WikitudeStudio зображено на рисунку 3.9.
Рисунок 3.9 – Вигляд мітки на сцені студії
3.2.2 Завантаження та обробка навчального матеріалу
Для кожної мітки необхідно додати навчальний матеріал. Для цього
у студію треба завантажити навчальні відеозаписи, ілюстрації та
посилання на розширений матеріал по темі.
Для того, щоб при натисканні на кнопку, користувача направляло за
посиланням на розширений матеріал, слід прикріпити до кнопки «Button»
16
зображення глобусу та додати посилання на необхідний сайт, на якому
викладено матеріал.
Завантажити відеозапис слід у спеціальне вікно, яке представлене на
рисунку 3.10.
Рисунок 3.10 – Вікно завантаження відео-файлів студії
Налаштування кнопки «Button» показано на рисунку 3.11
регулювання розміру об'єктів доданих у студію - на рисунку 3.12.
Рисунок 3.11 – Вікно налаштування Button
та
17
Рисунок 3.12 – Регулювання розміру та переміщення об’єктів в
просторі у студії
Для кожної із чотирьох створених у студії міток необхідно завантажити
відповідні до кожної мітки навчальні матеріали.
Вид сцени із всіма доданими до кожної мітки у студію об’єктами для
навчання продемонстровані на рисунку 3.13.
.
Рисунок 3.13 – Відображення студій із завантаженими матеріалами
18
3.2.3 Створення додатку
Після додавання до кожної створеної мітки навчального матеріалу за
допомогою засобів студії, присутня можливість переходити до збереження
налаштувань проекту та подальшого компілювання.
Для збереження проекту необхідно у меню студії вибрати «Project» та
натиснути «Download offline project». Слід ввести пошту, на яку студія надасть
готовий проект.
Студія надає проект у трьох варіантах: JS Experience, Xcode Project та
Android Studio Project. Так, як створений додаток повинен працювати на
платформі Android необхідно зберегти проект у форматі Android Studio Project.
Процедура завантаження файлу представлена на рисунку 3.14.
Рисунок 3.14 – Процедура збереження проекту
Створений у робіти проект необхідно відкрити додатком Android Studio
на Windows, після чого створити налаштування для компіляції освітнього
додатку на платформу Android в форматі apk.
19
Рисунок 3.15 – Компіляція проекту у файл для Android.
3.3 Взаємодія із додатком і отримані результати його роботи
Результатом роботи став мобільний додаток доповненої реальності.
Для того, що користуватися розробленим мобільним додатком
необхідно мати мобільний пристрій під управлінням OC Android версії не
нижче 4.4 і брошуру із мітками, представлену на рисунку 3.16.
Рисунок 3.16 – Брошура із мітками для роботи з додатком
Після запуску програми необхідно піднести мобільний пристрій до
мітки так, щоб камера пристрою була паралельна або перпендикулярна мітці,
20
в залежності від напису, а зображення мітки переважно цілком містилося на
екрані. Після процедури захоплення мітки присутня можливість переглянути
навчальне відео, оглянути мікрофон чи перейти за посиланням для більш
докладного опису мікрофонів, натиснувши на кнопку у вигляді глобуса.
Протягом усього сеансу роботи із додатком потрібно стежити за тим,
щоб мітка не пропадала з поля зору камери пристрою. В іншому випадку
потрібно повторити процедуру захоплення.
Працездатність додатку проілюстрована на рисунку 3.15.
Рисунок 3.15 –Тестування додатку
Наводячи камеру смартфона на мітку, студент бачить моделі
мікрофонів, навчальний відеозапис, де детально описані представлені
мікрофони. Також студенту пропонується можливість перейти за посиланням,
натиснувши на глобус, щоб побачити більше інформації щодо технічних
21
аспектів мікрофонів. Такий підхід до вирішення практичних завдань
допоможе студентам розвинути просторове мислення.
Висновки до розділу:
22
ВИСНОВКИ
У даній роботі розглянуто інструмент для розробки – Unity для створення
додатку доповненої реальності.
За допомогою WikitudeStudio cтворено власний додаток, створено та
імпортовано мітку у робочу середу.
Здобуті навички розробки у Unity, Vuforia, WikitudeStudio та
компілювання додатку на Android.
Результатом
роботи
стала
розробка
мобільного
додатоку
з
використанням розробленого програмного забезпечення, що створює
доповнену реальність. Описано основні етапи створення додатку із
застосуванням доповненої реальності.
23
ПЕРЕЛІК ДЖЕРЕЛ ПОСИЛАННЯ
1. Навчання. Матеріал з Вікіпедії - вільної енциклопедії. URL:
http://uk.wikipedia.org/wiki/Електронний_засіб_навчання
2. Stratos E. Constantinidis. Text & Presentation. McFarland, 2009
3. Holmberg A. The Theatre of Robert Wilson. Cambridge University
Press, 1996. – Vol. E77 – D. – No.20, October. – P. 899-902
4. Муравьева, Г.Е. Проектирование технологий обучения / Г.Е.
Муравьева // Вестник Брянского государственного технического
университета. - 2008. - №4. - С.149-155.
5. Knoller N., Arie U.B. Turbulence – A User Study of a Hypernarrative
Interactive Movie / Interactive Storytelling: Second Joint International
Conference on Interactive Digital Storytelling, ICIDS 2009.
24
ДОДАТОК А
«ЗОБРАЖЕННЯ МІТКИ ДЛЯ РОБОТИ З ДОДАТКОМ
ДОПОВНЕНОЇ РЕАЛЬНОСТІ»
25
ДОДАТОК А
Додаток А1 – Мітка мікрофона
Додаток А2 – Мітка мікрофона 2
26
Додаток А3 – Мітка мікрофона3
Додаток А4 – Мітка мікрофона4