AI虛擬人設計&使用者體驗
AI Avatar Design and User Experiences
輔仁大學 資訊管理學系 教授兼系主任 董惟鳳
Wei-Feng Tung, Ph.D.,
Chair & Professor
汇报人：优品PPT 汇报时间：XX年XX月
Department of Information Management
Fu-Jen Catholic University, Taiwan
076144@mail.fju.edu.tw
Phone: +886-229052717
Office : LM307
2024/11/1
2024 Integrated Management, FJCU
1
專長：
服務科學
設計思考
用戶體驗
機器人應用
2024/11/1
董惟鳳目前任職天主教輔仁大學資訊管理系
教授兼系主任，研究專長服務科學、設計思
考、使用者體驗、機器人應用等。112學年於
輔大資管系開設課程包括服務科學專題、創
新與設計思考、使用者經驗設計、服務科學
專題、資訊管理講座等。近五年的論文期刊
發表於Library Hi Tech、Electronic Commerce
Research and Applications、資訊管理學報等。
2024 Integrated Management, FJCU
2
Outline
1.Types, Technologies, and Applications of AI Avatar
AI虛擬人類型、技術與應用
2. Metaverse Applications of AI Avatar
AI虛擬人元宇宙應用
3. AI Avatar UX
AI虛擬人使用者體驗
2024/11/2
2024 Integrated Management, FJCU
3
01
PART
Types, Technologies, and Applications of AI Avatar
人工智慧虛擬人類型、技術與應用
虛擬分身 Avatar （印度梵文：अवतार）
Source: 【星球講堂 85印度神話中的阿凡達】
2024/11/1
2024 Integrated Management, FJCU
5
阿凡達 Avatar ~ 來自印度神話
人的意識投射
新生命 & 新身體
2024/11/1
2024 Integrated Management, FJCU
6
虛擬分身| 數字人
Avatar | Digital Human
虛擬數位分身是於非物理世界中:
具有多重人類特徵:
➢ 計算機圖學 (Computer Graph)
➢ 外貌特徵
➢ 圖形渲染 (Render)
➢ 表演能力
➢ 動作捕捉 (Motion Capture)
➢ 互動能力
代表性的應用:
➢ 虛擬助理
➢ 虛擬客服
➢ 虛擬偶像
➢ 虛擬主播
➢ 深度學習(Deep Learning)
➢ 語音合成 (Text To Speech，TTS)
Uneeq 虛擬助理
https://www.digitalhumans.com/about
相芯 虛擬客服
https://www.faceunity.com/
魔砝 虛擬直播
新華社&搜狗 虛擬主播
https://www.xmov.ai/
Reference : 量子位，虛擬數字人深度產業報告
2024/11/1
2024 Integrated Management, FJCU
7
虛擬助理 Virtual Assistant
UneeQ Digital Humans
2024/11/1
2024 Integrated Management, FJCU
8
虛擬主播 Virtual Anchor
人工智能驅動的3D版AI合成主播
“新小微”的原型是新華社记者趙琬微
俄羅斯《Svoye TV》
AI氣象主播土嫚諾娃
（Snezhana Tumanova）
http://www.xinhuanet.com/politics/2020-05/20/c_1126011533.htm
2024/11/1
2024 Integrated Management, FJCU
9
韓國女團出現AI虛擬成員
2024/11/1
2024 Integrated Management, FJCU
10
Case : A movie “Enemies”
https://www.youtube.com/watch?reload=9&app=desktop&v=eXYUNrgqWUU
虛擬偶像
112 個人申請入學介紹系所
問卷回饋 : 影片有一Google小姐，比念稿還念稿………..….
2024/11/1
2024 Integrated Management, FJCU
12
虛擬分身 – 商業應用領域
領域
場景
角色
影視
虛擬演員完成電影、動畫拍攝，實現拍攝無法表現的內容與效果。
虛擬演員
數字替身
傳媒
虛擬主持人、主播、偶像，節目快速生成，與觀眾互動，優化觀看體驗
虛擬主持人
虛擬主播
虛擬偶像
遊戲
使玩家有更強的帶入感，遊戲可玩性加強
虛擬遊戲角色
電商
虛擬客服可7x24服務，直播帶貨幫電商變現
虛擬客服
虛擬直播主
金融
理財顧問、智能高效人性化服務
虛擬理財顧問
虛擬客服
教育
基於VR/AR的場景式教育，虛擬老師幫助構建自適應/個性化學習環境
醫療
實現家庭陪護、家庭醫師、心理諮商等，實時關注人們的身心健康，並及
時提供應對建議。
虛擬心理醫師
虛擬家庭醫師
文旅
虛擬數字人可做虛擬導遊、虛擬講解員，博物館、主題樂園、旅遊景點等。
虛擬導遊
虛擬講解員
虛擬老師
Reference : 陳龍強等， 虛擬數字人3.0 人“人”共生的元宇宙大時代
2024/11/1
2024 Integrated Management, FJCU
13
2024/11/1
2024 Integrated Management, FJCU
14
虛擬分身| 數字人
Avatar | Digital Human
相關技術 – 外表
• 除了CG 建模 + 真人驅動類別外，多模態技術與深度學習為核心技術
• 外表:
➢ 虛擬數字人的面部長相與整體形象，受到虛擬數字人類別 (如直接借用真人形象、高擬真建模、風格化)
➢ 製作細節(對皮膚、頭髮、五官細節的建模)、渲染技術、設計審美等影響。
三星NEON
Unreal Engine Metahuman Creator
英雄聯盟 Seraphine
風格化
Genies 基於明星的數字人
風格化
Source: 量子位，虛擬數字人深度產業報告
2024/11/1
2024 Integrated Management, FJCU
15
形象設計與建模
✓ 3D建模
VRoid Studio
2024/11/1
✓ 圖像渲染
✓ 多模態生成
https://youtu.be/S3F1vZYpH8c
2024 Integrated Management, FJCU
DeepFake
16
Avatar 3D 建模工具
Quixel Bridge
MetaHuman Creator (unrealengine.com)
2024/11/1
https://quixel.com/bridge
2024 Integrated Management, FJCU
17
Nvidia's Deep Fake of
CEO Jensen Huang
at GTC 2021
https://www.youtube.com/watch?v=f_V30ueEXE4
真人驅動技術流程
(Human-Driving Technology)
1.形象設計及建模
基於IP設計或真人偶繪製原圖,進行面部及身體3D建模,選擇關鍵點
2.建模綁定
將識別關鍵點映射至模型上,進行綁定。關鍵點綁定的數量及位置影
響最終效果。
3.表演捕捉
利用動作捕捉設備或特定攝像頭+圖像識別，捕在形體、表情、眼神、
手勢等方面的關鍵點變化。
4.驅動及渲染
真人演員(在虛擬偶像中稱為中之人)根據製作需要進行相應表演,
實時驅動虛擬數字人表演。在較為精細的製作中，會需要根據真人
演和建模的區別進行重定向，並對動作、眼神、手指等採用不同的
驅動方式。需要時需進行語音合成,形式特定設置語音
5.生成內容，進行互動進行直播,或錄製其動作生成內容
2024/11/1
2024 Integrated Management, FJCU
美國虛擬主播 CodeMiko
19
(Source: 量子位智庫)
2024/11/1
(Source: Xsence)
2024 Integrated Management, FJCU
20
虛擬直播 VTuber
魔珐科技超寫實虛擬数字人Ada - YouTube
2024/11/1
2024 Integrated Management, FJCU
21
鏡像動作 VSeeFace
2024/11/1
2024 Integrated Management, FJCU
22
動作捕捉 ThreeDPoseTracker
2024/11/1
2024 Integrated Management, FJCU
23
計算驅動技術流程
CG建模/圖像遷移技術
NLP AI技術
CV等深度學習模型
影響外觀呈現
影響交互體驗
影響交互體驗
體現為虛擬數字人外觀的擬人程度
以對話能力為核心。繼文本對
對於資料量、計算框架、關
話助手、語音AI助手後,該技術
鍵特徵點等因素影響。能否
國內外在該項上的技術差異,部分
繼在虛擬數字人人中發揮核心
呈現自然的面部表情變動、
致了目前玩家主要專注於不同的細
作用可是做虛擬數字人大腦。
肢體變動等，在極大程度上
分場景和發展路徑
通過知識圖譜、業務問答庫、
取決於語音驅動的效果，深
對話型工程引擎增強虛擬數字
度模型效果。除此之外。能
人業務互動能力。
否對情感等因素進行特別設
計, 同樣會產生重要影響。
2024/11/1
Source: 量子位，虛擬數字人深度產業報告
2024 Integrated Management, FJCU
24
生圖 → Avatar
DALL- E2 → D-ID
D-ID https://studio.d-id.com/ → 人說話表達
2024/11/2
2024 Integrated Management, FJCU
25
2024/11/2
2024 Integrated Management, FJCU
26
2024/11/2
2024 Integrated Management, FJCU
27
Team Project:
ChatGPT → HeyGen
2024/11/1
Script
Avatar Video
生成AI虛擬人文案
生成AI虛擬人影片
2024 Integrated Management, FJCU
28
02
PART
Metaverse Applications of AI Avatar
AI虛擬人元宇宙應用
2024/11/2
2023 FJCU
29
Facebook and
the metaverse
2014
2021
Acquisitions the most popular
2.9 Billion monthly active members of
instant messaging service
the third quarter.
WhatsApp (218億)
User’s trust, Negative publicity,
Privacy & Security, anti-possession
01
02
03
04
2004-2012
2020
Acquisitions the largest photo-
Acquisitions the leading
sharing platform IG (10億)
manufacturer of virtual reality
glasses Oculues
2024/11/2
2023 FJCU
30
Metaverse Applications
元宇宙實務應用(案例)
AI學術會議ACAI–動物森友會
柏克萊大學–Minecraft平台舉辦畢業典禮
https://www.youtube.com/watch?v=HK4Wy1eVh3E
2024/11/2
Guicci在Roblox遊戲平台打造虛擬展示間，
玩家可直接競標，購買虛擬包包。
ALTER EGO 歌唱選秀節目，選手用數位分身參加。
https://www.youtube.com/watch?v=016X2X50mHc
https://www.youtube.com/watch?v=b2UgmPzIITI
2024 Integrated Management, FJCU
31
Metaverse Community & Activity
元宇宙虛擬社群 &活動
Virtual Meetup
https://www.youtube.com/watch?v=CKHdwIWzbdQ
2024/11/1
Zepeto
https://www.youtube.com/watch?v=0mEmmuhzx_s
2024 Integrated Management, FJCU
iFland
https://www.youtube.com/watch?v=KJMSR7jnY-Q
32
Nike to Gucci are designing clothes and accessories for the metaverse.
J.P. Morgan and Samsung have set up shop in Decentraland.
2024/11/1
2024 Integrated Management, FJCU
33
韓國遊戲公司Com2uS就計畫打造一個可以讓2,500名員工加入的虛擬辦公空間
「Com2Verse」，成為第一個「元宇宙上班」的案例。
2024/11/2
2023 FJCU
34
03
PART
Avatar UX
AI虛擬人使用者體驗
眼動分析
(Eye Tracking)
眼動分析
(Eye Tracking)
AI Avatar
Human
AI Avatar
Human
AOI、注視點、注視持續時間、視線軌跡
結合腦波分析機器學習之元宇宙虛擬化身於實境電商應用
Combining EEG Analysis and Machine Learning with Metaverse Virtual Avatars
in Reality E-Commerce Applications
2024/11/1
2024 Integrated Management, FJCU
42
2024/11/1
2024 Integrated Management, FJCU
43
以對話文字分析元宇宙虛擬分身之實境資料科學
Analyzing the Reality Data Science of Metaverse Avatars with Dialogue
在零樣本學習中設置的分類標籤為兩種，為二分類與
多分類標籤。
⚫ 二分類：正面（positive）與負面（negative）。
⚫ 多分類：根據 P. Ekman et al.（1971）所提出的
六種基本表情作為分 類依據：憤怒（anger）、厭
惡（disgust）、恐懼（fear）、幸福
（happiness）、悲傷（sadness）與驚喜
（surprise）。
⚫ Paul Ekman 是美國知名情緒與心理學家，其被認
為是研究情緒與面部表情的先驅（FreitasMagalhães, A., 2009）。
2024/11/1
2024 Integrated Management, FJCU
44
研究架構與語言模型
2024/11/1
2024 Integrated Management, FJCU
45
語言分類模型結果
Figure 2.5 VAD (Valence-Arousal-Dominance)
model spanned across the six basic emotions
2024/11/1
2024 Integrated Management, FJCU
46
研究結果
表4-4 模型執行任務時間
表4-5模型準確率
2024/11/1
2024 Integrated Management, FJCU
47
04
PART
Team Assignment
【本個案作業— HeyGen Avatar Video】
➢
11/30 前各組上傳 Tronclass 個案六分組作業
➢
➢
2024/11/1
合併所有組員Avatars的一份檔案或連結
5位組員大約製作總長約5分鐘(含以內;人數以此類推)
2024 Integrated Management, FJCU
49
Q & A
Thanks for Your Attention