AI虛擬人設計&使用者體驗 AI Avatar Design and User Experiences 輔仁大學 資訊管理學系 教授兼系主任 董惟鳳 Wei-Feng Tung, Ph.D., Chair & Professor 汇报人：优品PPT 汇报时间：XX年XX月 Department of Information Management Fu-Jen Catholic University, Taiwan 076144@mail.fju.edu.tw Phone: +886-229052717 Office : LM307 2024/11/1 2024 Integrated Management, FJCU 1 專長： 服務科學 設計思考 用戶體驗 機器人應用 2024/11/1 董惟鳳目前任職天主教輔仁大學資訊管理系 教授兼系主任，研究專長服務科學、設計思 考、使用者體驗、機器人應用等。112學年於 輔大資管系開設課程包括服務科學專題、創 新與設計思考、使用者經驗設計、服務科學 專題、資訊管理講座等。近五年的論文期刊 發表於Library Hi Tech、Electronic Commerce Research and Applications、資訊管理學報等。 2024 Integrated Management, FJCU 2 Outline 1.Types, Technologies, and Applications of AI Avatar AI虛擬人類型、技術與應用 2. Metaverse Applications of AI Avatar AI虛擬人元宇宙應用 3. AI Avatar UX AI虛擬人使用者體驗 2024/11/2 2024 Integrated Management, FJCU 3 01 PART Types, Technologies, and Applications of AI Avatar 人工智慧虛擬人類型、技術與應用 虛擬分身 Avatar （印度梵文：अवतार） Source: 【星球講堂 85印度神話中的阿凡達】 2024/11/1 2024 Integrated Management, FJCU 5 阿凡達 Avatar ~ 來自印度神話 人的意識投射 新生命 & 新身體 2024/11/1 2024 Integrated Management, FJCU 6 虛擬分身| 數字人 Avatar | Digital Human 虛擬數位分身是於非物理世界中: 具有多重人類特徵: ➢ 計算機圖學 (Computer Graph) ➢ 外貌特徵 ➢ 圖形渲染 (Render) ➢ 表演能力 ➢ 動作捕捉 (Motion Capture) ➢ 互動能力 代表性的應用: ➢ 虛擬助理 ➢ 虛擬客服 ➢ 虛擬偶像 ➢ 虛擬主播 ➢ 深度學習(Deep Learning) ➢ 語音合成 (Text To Speech，TTS) Uneeq 虛擬助理 https://www.digitalhumans.com/about 相芯 虛擬客服 https://www.faceunity.com/ 魔砝 虛擬直播 新華社&搜狗 虛擬主播 https://www.xmov.ai/ Reference : 量子位，虛擬數字人深度產業報告 2024/11/1 2024 Integrated Management, FJCU 7 虛擬助理 Virtual Assistant UneeQ Digital Humans 2024/11/1 2024 Integrated Management, FJCU 8 虛擬主播 Virtual Anchor 人工智能驅動的3D版AI合成主播 “新小微”的原型是新華社记者趙琬微 俄羅斯《Svoye TV》 AI氣象主播土嫚諾娃 （Snezhana Tumanova） http://www.xinhuanet.com/politics/2020-05/20/c_1126011533.htm 2024/11/1 2024 Integrated Management, FJCU 9 韓國女團出現AI虛擬成員 2024/11/1 2024 Integrated Management, FJCU 10 Case : A movie “Enemies” https://www.youtube.com/watch?reload=9&app=desktop&v=eXYUNrgqWUU 虛擬偶像 112 個人申請入學介紹系所 問卷回饋 : 影片有一Google小姐，比念稿還念稿………..…. 2024/11/1 2024 Integrated Management, FJCU 12 虛擬分身 – 商業應用領域 領域 場景 角色 影視 虛擬演員完成電影、動畫拍攝，實現拍攝無法表現的內容與效果。 虛擬演員 數字替身 傳媒 虛擬主持人、主播、偶像，節目快速生成，與觀眾互動，優化觀看體驗 虛擬主持人 虛擬主播 虛擬偶像 遊戲 使玩家有更強的帶入感，遊戲可玩性加強 虛擬遊戲角色 電商 虛擬客服可7x24服務，直播帶貨幫電商變現 虛擬客服 虛擬直播主 金融 理財顧問、智能高效人性化服務 虛擬理財顧問 虛擬客服 教育 基於VR/AR的場景式教育，虛擬老師幫助構建自適應/個性化學習環境 醫療 實現家庭陪護、家庭醫師、心理諮商等，實時關注人們的身心健康，並及 時提供應對建議。 虛擬心理醫師 虛擬家庭醫師 文旅 虛擬數字人可做虛擬導遊、虛擬講解員，博物館、主題樂園、旅遊景點等。 虛擬導遊 虛擬講解員 虛擬老師 Reference : 陳龍強等， 虛擬數字人3.0 人“人”共生的元宇宙大時代 2024/11/1 2024 Integrated Management, FJCU 13 2024/11/1 2024 Integrated Management, FJCU 14 虛擬分身| 數字人 Avatar | Digital Human 相關技術 – 外表 • 除了CG 建模 + 真人驅動類別外，多模態技術與深度學習為核心技術 • 外表: ➢ 虛擬數字人的面部長相與整體形象，受到虛擬數字人類別 (如直接借用真人形象、高擬真建模、風格化) ➢ 製作細節(對皮膚、頭髮、五官細節的建模)、渲染技術、設計審美等影響。 三星NEON Unreal Engine Metahuman Creator 英雄聯盟 Seraphine 風格化 Genies 基於明星的數字人 風格化 Source: 量子位，虛擬數字人深度產業報告 2024/11/1 2024 Integrated Management, FJCU 15 形象設計與建模 ✓ 3D建模 VRoid Studio 2024/11/1 ✓ 圖像渲染 ✓ 多模態生成 https://youtu.be/S3F1vZYpH8c 2024 Integrated Management, FJCU DeepFake 16 Avatar 3D 建模工具 Quixel Bridge MetaHuman Creator (unrealengine.com) 2024/11/1 https://quixel.com/bridge 2024 Integrated Management, FJCU 17 Nvidia's Deep Fake of CEO Jensen Huang at GTC 2021 https://www.youtube.com/watch?v=f_V30ueEXE4 真人驅動技術流程 (Human-Driving Technology) 1.形象設計及建模 基於IP設計或真人偶繪製原圖,進行面部及身體3D建模,選擇關鍵點 2.建模綁定 將識別關鍵點映射至模型上,進行綁定。關鍵點綁定的數量及位置影 響最終效果。 3.表演捕捉 利用動作捕捉設備或特定攝像頭+圖像識別，捕在形體、表情、眼神、 手勢等方面的關鍵點變化。 4.驅動及渲染 真人演員(在虛擬偶像中稱為中之人)根據製作需要進行相應表演, 實時驅動虛擬數字人表演。在較為精細的製作中，會需要根據真人 演和建模的區別進行重定向，並對動作、眼神、手指等採用不同的 驅動方式。需要時需進行語音合成,形式特定設置語音 5.生成內容，進行互動進行直播,或錄製其動作生成內容 2024/11/1 2024 Integrated Management, FJCU 美國虛擬主播 CodeMiko 19 (Source: 量子位智庫) 2024/11/1 (Source: Xsence) 2024 Integrated Management, FJCU 20 虛擬直播 VTuber 魔珐科技超寫實虛擬数字人Ada - YouTube 2024/11/1 2024 Integrated Management, FJCU 21 鏡像動作 VSeeFace 2024/11/1 2024 Integrated Management, FJCU 22 動作捕捉 ThreeDPoseTracker 2024/11/1 2024 Integrated Management, FJCU 23 計算驅動技術流程 CG建模/圖像遷移技術 NLP AI技術 CV等深度學習模型 影響外觀呈現 影響交互體驗 影響交互體驗 體現為虛擬數字人外觀的擬人程度 以對話能力為核心。繼文本對 對於資料量、計算框架、關 話助手、語音AI助手後,該技術 鍵特徵點等因素影響。能否 國內外在該項上的技術差異,部分 繼在虛擬數字人人中發揮核心 呈現自然的面部表情變動、 致了目前玩家主要專注於不同的細 作用可是做虛擬數字人大腦。 肢體變動等，在極大程度上 分場景和發展路徑 通過知識圖譜、業務問答庫、 取決於語音驅動的效果，深 對話型工程引擎增強虛擬數字 度模型效果。除此之外。能 人業務互動能力。 否對情感等因素進行特別設 計, 同樣會產生重要影響。 2024/11/1 Source: 量子位，虛擬數字人深度產業報告 2024 Integrated Management, FJCU 24 生圖 → Avatar DALL- E2 → D-ID D-ID https://studio.d-id.com/ → 人說話表達 2024/11/2 2024 Integrated Management, FJCU 25 2024/11/2 2024 Integrated Management, FJCU 26 2024/11/2 2024 Integrated Management, FJCU 27 Team Project: ChatGPT → HeyGen 2024/11/1 Script Avatar Video 生成AI虛擬人文案 生成AI虛擬人影片 2024 Integrated Management, FJCU 28 02 PART Metaverse Applications of AI Avatar AI虛擬人元宇宙應用 2024/11/2 2023 FJCU 29 Facebook and the metaverse 2014 2021 Acquisitions the most popular 2.9 Billion monthly active members of instant messaging service the third quarter. WhatsApp (218億) User’s trust, Negative publicity, Privacy & Security, anti-possession 01 02 03 04 2004-2012 2020 Acquisitions the largest photo- Acquisitions the leading sharing platform IG (10億) manufacturer of virtual reality glasses Oculues 2024/11/2 2023 FJCU 30 Metaverse Applications 元宇宙實務應用(案例) AI學術會議ACAI–動物森友會 柏克萊大學–Minecraft平台舉辦畢業典禮 https://www.youtube.com/watch?v=HK4Wy1eVh3E 2024/11/2 Guicci在Roblox遊戲平台打造虛擬展示間， 玩家可直接競標，購買虛擬包包。 ALTER EGO 歌唱選秀節目，選手用數位分身參加。 https://www.youtube.com/watch?v=016X2X50mHc https://www.youtube.com/watch?v=b2UgmPzIITI 2024 Integrated Management, FJCU 31 Metaverse Community & Activity 元宇宙虛擬社群 &活動 Virtual Meetup https://www.youtube.com/watch?v=CKHdwIWzbdQ 2024/11/1 Zepeto https://www.youtube.com/watch?v=0mEmmuhzx_s 2024 Integrated Management, FJCU iFland https://www.youtube.com/watch?v=KJMSR7jnY-Q 32 Nike to Gucci are designing clothes and accessories for the metaverse. J.P. Morgan and Samsung have set up shop in Decentraland. 2024/11/1 2024 Integrated Management, FJCU 33 韓國遊戲公司Com2uS就計畫打造一個可以讓2,500名員工加入的虛擬辦公空間 「Com2Verse」，成為第一個「元宇宙上班」的案例。 2024/11/2 2023 FJCU 34 03 PART Avatar UX AI虛擬人使用者體驗 眼動分析 (Eye Tracking) 眼動分析 (Eye Tracking) AI Avatar Human AI Avatar Human AOI、注視點、注視持續時間、視線軌跡 結合腦波分析機器學習之元宇宙虛擬化身於實境電商應用 Combining EEG Analysis and Machine Learning with Metaverse Virtual Avatars in Reality E-Commerce Applications 2024/11/1 2024 Integrated Management, FJCU 42 2024/11/1 2024 Integrated Management, FJCU 43 以對話文字分析元宇宙虛擬分身之實境資料科學 Analyzing the Reality Data Science of Metaverse Avatars with Dialogue 在零樣本學習中設置的分類標籤為兩種，為二分類與 多分類標籤。 ⚫ 二分類：正面（positive）與負面（negative）。 ⚫ 多分類：根據 P. Ekman et al.（1971）所提出的 六種基本表情作為分 類依據：憤怒（anger）、厭 惡（disgust）、恐懼（fear）、幸福 （happiness）、悲傷（sadness）與驚喜 （surprise）。 ⚫ Paul Ekman 是美國知名情緒與心理學家，其被認 為是研究情緒與面部表情的先驅（FreitasMagalhães, A., 2009）。 2024/11/1 2024 Integrated Management, FJCU 44 研究架構與語言模型 2024/11/1 2024 Integrated Management, FJCU 45 語言分類模型結果 Figure 2.5 VAD (Valence-Arousal-Dominance) model spanned across the six basic emotions 2024/11/1 2024 Integrated Management, FJCU 46 研究結果 表4-4 模型執行任務時間 表4-5模型準確率 2024/11/1 2024 Integrated Management, FJCU 47 04 PART Team Assignment 【本個案作業— HeyGen Avatar Video】 ➢ 11/30 前各組上傳 Tronclass 個案六分組作業 ➢ ➢ 2024/11/1 合併所有組員Avatars的一份檔案或連結 5位組員大約製作總長約5分鐘(含以內;人數以此類推) 2024 Integrated Management, FJCU 49 Q & A Thanks for Your Attention