Fall 2013
Haptics & Virtual Reality
햅틱스와 가상현실
MeeYoung Sung
Marvel Lab.
(Multimedia Advanced Real Virtual Environment Laboratory)
Computer Science & Engineering Department
University of Incheon
http://marvel.incheon.ac.kr/~mysung
mysung@incheon.ac.kr
1
Haptics & VR Syllabus
Week (date)
Lecture
Presenter
Week1 (9.4)
Overview
Week2 (9.11)
1. Introduction
Week3 (9.18)
추석
Week4 (9.25)
2. Input Devices
SMY
Week5 (10.2)
3. Output Devices
SMY
Week6 (10.9)
4. Computing Architecture for VR
?
Week7 (10.16)
5. Modeling
?
Week8 (10.23)
6. VR Programming
?
Week9 (10.30)
project day
?
Week10 (11.6)
7. Human Factors in VR
?
Week11 (11.13)
8. Traditional VR Applications
?
Week12 (11.20)
9. Emerging Applications of VR
?
Week13 (11.27)
Seminar1
Week14 (12.4)
Seminar2
Week15 (12.11)
Seminar3
Week16 (12.18)
Haptic VR project presentation
Readings
Assignment
SMY
Readings proposal
Haptic VR project proposal
At Home Exam
Haptic VR project code & document
2
Course Objectives
• 가상현실에서 촉감과 힘을 통해 더욱 구체적이고 실제적인
정보를 전달하는 방법인 햅틱스 기술을 컴퓨터 그래픽스와
컴퓨터 네트워크 기술에 기반하여 깊이 있게 학습하고 연
구하여, 응용분야가 무한한 촉감가상현실 분야의 전문 능
력을 갖춘 유능한 인재를 양성한다
• 첫째로, 가상환경을 만들기 위한 입출력장치, 컴퓨터 아키텍쳐, 모
델링 및 프로그래밍에 대한 기초 개념들을 실제 시스템을 다루고
활용함을 통하여 햅틱스 기술의 기초를 이해한다.
• 둘째로, 인간의 촉감 감지과정, 촉감처리 및 제어, 촉각의 제시에
대한 기술들을 학습한다.
• 셋째로, 실제 프로그램 언어를 이용하여 가상환경을 개발하고 햅틱
스 기술을 실험, 실습하여 촉감가상현실 시스템의 전문 능력을 갖
춘다.
3
Course Information
• 강의, 세미나, 토론, 실습을 병행
• Seminar
• Textbook 또는 ebook 2회 http://logbookresearch.com/
• Paper 1회
• Haptic VR Project 수행
• 지정 과제 중 택 1 또는 더 좋은 과제 제안 가능
• 제 1 과제: 햅틱 속성 제어기 (Tactual Haptic Controller)
• 제 2 과제: 햅틱 원격 제어기 (Tele-Haptic Operator)
• Exam (textbook review)
• At Home Exam 1회
• Final Exam 1회
4
Grading Criteria (420666002)
• Seminar
30%
• Exam (textbook)
30%
• Haptic VR Project
20%
• Attendance
20%
5
Haptic VR Project
• 지정 과제 중 택 1 또는 더 좋은 과제 제안 가능
• 제 1 과제: 햅틱 속성 제어기 (Tactual Haptic Controller)
• 햅틱 속성들을 사용자 입력에 의해 설정하고 설정된 4개 속성
(Stiffness, Damping, Static friction, Dynamic friction) 값에 해
당하는 촉감을 테스트 할 수 있는 간단한 제어기 제작
• 제 2 과제: 햅틱 원격 제어기 (Tele-Haptic Operator)
• 햅틱 장치로 원격 객체를 실시간 원격 햅틱 탐침(probe) 할 수 있도
록 서버의 햅틱 장치 제어가 원격의 햅틱 장치에 동일하게 실시간
으로 적용되게 하는 응용 제작 (원격의 햅틱 피드백을 서버로 전송
하는 기능 포함 권장)
• CHAI3D 기반 코드 제공
6
Course Topics
•
•
•
•
•
Introduction to Computer Haptics
Computer Graphics for Haptics
Computer Network for Haptics
Collision Detection in Computer Haptics
Haptic Rendering of Computer Haptics (Object
Shapes, Surface Details, Deformable Objects)
• Selected Applications in Computer Haptics
• Virtual Reality
• Networked Virtual Reality
7
Textbook & Materials
•
Virtual Reality Technology, Second Edition, Grigore C, Burdea, Phillippe Coiffet,
Wiley Interscience, 2003.
•
•
http://www.ebooksdownloadfree.com/download/Virtual-Reality-Technology-2ndEdition-free-download-1.html
http://www.intechopen.com/books/virtual-reality
•
Fundamentals of Computer Graphics, Second Edition, Peter Shirley et al. AK
Peters, 2005.
•
Exploiting Perception in High-Fidelity Virtual Environments, 2006 SIGGRAPH
Course24, 2006.
M. McLaughlin, J. P. Hespanha, and G. S. Sukhatme, "Introduction to Haptics",
Chapter 1 in Touch in Virtual Environments, MISC Press Multimedia Series
(Prentice Hall), Upper Saddle River, NJ, 2002, pp. 1-31.
L. A. Jones, "Kinesthetic Sensing", hypothetically to appear in Human and
Machine Haptics, M. Cutkosky, R. Howe, K. Salisbury, and M. Srinivasan, eds.,
MIT Press, 2000.
햅틱스 기술개발 동향 및 연구 전망, 경기욱, 박준석, 전자통신동향분석, 제 21권, 제
5호, pp93-108, 2006년 10월.
Selected papers
•
•
•
•
8
Textbook: Burdea and Coiffet, Virtual Reality Technology, 2nd Edition, Wiley, 2003
http://www.vrtechnology.org
9
Papers (to be added)
•
•
•
•
•
•
•
•
•
•
•
•
•
•
Abdulmotaleb El Saddik, “The Potential of Haptics Technologies,” IEEE Instrumentation & Measurement
Magazine, IEEE, pp. 10-17, February 2007.
Gabriel Robles-De-La-Torre, “The Importance of the Sense of Touch in Virtual and Real Environments,”
IEEE Multimedia Vol. 13, Issue 3, Special issue on Haptic User Interfaces for Multimedia Systems, JulySeptember 2006.
K. Salisbury, F. Conti, and F. Barbagli, "Haptic Rendering: Introductory Concepts," IEEE Computer
Graphics and Applications, vol. 24, pp. 24-32, 2004.
M. A. Srinivasan and C. Basdogan, "Haptics in Virtual Environments: Taxonomy, Research Status, and
Challenges," Computer & Graphics, vol. 21, pp. 393-404, 1997.
V. Hayward, O. R. Astley, M. Cruz-Hernandez, D. Grant, and G. Robles-De-La-Torre, "Haptic Interfaces
and Devices," Sensor Review, vol. 24, pp. 16-29, 2004.
R. L. Klatzky and S. J. Lederman, "Touch," in Handbook of Psychology, vol. 4, I. B. Weiner, Ed. New
York, USA: Wiley, 2002, pp. 147-176
D. A. Lawrence, "Stability and Transparency in Bilateral Teleoperation," IEEE Transactions on Robotics
and Automation, vol. 9, pp. 624-637, 1993.
C. Basdogan and C.-H. Ho, "Principles of Haptic Rendering for Virtual Environments,"
http://network.ku.edu.tr/%7Ecbasdogan/Tutorials/haptic_tutorial.html.
Haptic Rendering in Shared/Collaborative Environments - Transatlantic Touch
Haptic Rendering in Shared/Collaborative Environments - Latency
C. Basdogan, C.-h. Ho, M. A. Srinivasan, and M. Slater, "An Experimental Study on the Role of Touch in
Shared Virtual Environments," ACM Transactions on Computer-Human Interaction, vol. 7, pp. 443 - 460,
2000.
J. Kim, H. Kim, B. K. Tay, M. Muniyandi, M. A. Srinivasan, J. Jordan, J. Mortensen, M. Oliveira, and M.
Slater, "Transatlantic Touch: A Study of Haptic Collaboration over Long Distance," Presence:
Teleoperators and Virtual Environments, vol. 13, pp. 328 - 337, 2004.
C. Gunn, M. Hutchins, and M. Adcock, "Combating Latency in Haptic Collaborative Virtual
Environments," Presence: Teleoperators and Virtual Environments, vol. 14, pp. 313-328, 2005.
N. Nitzsche, U. D. Hanebeck, and G. Schmidt, "Design Issues of Mobile Haptic Interfaces," Journal of
Robotic Systems, vol. 20, pp. 549 - 556, 2003.
10
N. Nitzsche and G. Schmidt, "A Mobile Haptic Interface Mastering a Mobile Teleoperator," in
Proceedings of the IEEE/RSJ International Conference on Intelligent Robots and Systems , 2004, pp. 3912
- 3917.
Links
•
Community
•
•
•
•
Conferences
•
•
•
Symposium on Haptic Interfaces for Virtual Environment and Teleoperator Systems
Eurohaptics
Journals
•
•
•
•
•
•
The Haptics Community
Haptics-L
The International Society for Haptics
Presence: Teleoperators and Virtual Environments
Haptics-e
IEEE Transactions on Robotics
ACM Transactions on Applied Perception
Note: Much more journals regarding virtual reality, computer graphics, robotics,
human-computer interaction and perception publish haptics articles
Companies
•
•
•
•
•
Sensable Technology
Immersion Corporation
Force Dimension
Novint Technology
Reachin
11
햅틱스란
• 햅틱스는 촉감을 재현하는 것을 목적으로 다양한 학문의
분야가 모여서 탄생한 새로운 학문
• 햅틱(haptic)이라는 단어는 그리스어로 ‘만지다’라는 뜻의
‘haptesthai’에서 유래한 영어 단어로 ‘촉각의, 만지는’이라는 형
용사적 의미로 사용된다.
• 사람의 촉각을 구체적으로 표현하는 단어로는 손가락과 팔 등의
근감각을 통해서 만지고 있는 환경을 느끼는 과정을 가리키는
‘kinesthetic’과
• 피부의 직접적인 접촉을 통해 접촉 환경을 느끼는 과정을 가리키
는 ‘tactile’이라는 단어가 있는데,
• ‘haptic’은 햅틱스 연구분야에서는 사전적 의미와는 별개로 위의
두 단어의 의미를 포함하여 촉각과 관련된 모든 감각을 합쳐서
부르는 일반적인 용어로 사용되고 있다.
12
What is haptics?
• Comes from the Greek
haptesthai, meaning to
touchTactual sensory
information conveyed to the
brain:
• 1-Tactile information:The
responses of receptors of the
skin in contact with an
object(texture information
about an object)
• 2-Kinesthetic information: Net
forces applied to limbs (coarse
information about an object)
13
14
Haptic Research
15
10 Things That Will Change The Way We Live
http://www.forbes.com/2006/02/16/cx_cd_0217featslide_print.html
1. Fuel Cells
2. Gene Therapy
3. Haptics
4. Internet2
5. LifeStraw
6. MRAM
7. $100 Laptop
8. $200 Barrel Of Oil
9. VoIP
10.WiMAX
16
Haptics Research
• Haptic Interface: 촉각을 전달하기 위한 물리적 환경을
일컫는 햅틱 인터페이스 개발 및 제어
• Behavioral Neuroscience and Biological
Psychology(행동신경과학과 생물심리학): 사람이 느끼
는 촉감의 메커니즘을 연구하는 신경과학 및 심리학
• Haptic Rendering: 물리적 특성을 결정하고 하드웨어와
소프트웨어를 연동시켜 촉감을 모델링하는 햅틱 렌더링
• Haptics Application: 햅틱스 기술을 적용한 햅틱 응용
시스템
17
Haptic Research
18
Haptic Research
http://robot.kaist.ac.kr/haptics/
19
Haptics Interface
• 사용자에게 촉감을 전달하는 시스템 전체
• 구성요소
• 햅틱 디바이스(haptic device)
• 원격접촉환경(teleaction environment)/가상환경(virtual environment)
• 제어기(controller)
• FE(가상대리자가 가상의 물체에 부딪쳐서 발생하는 힘) 와 FM (사람
이 햅틱 디바이스를 통해 느끼는 힘)이 똑 같도록 제어
20
Haptics Interface
•
SensAble(사) PHANToMTM
•
•
Haptic Master
•
•
•
외골격형(exoskeleton type) 장치가
동경 공과대학의 SPIDAR
•
•
2002년 스위스 EPFL에서는 병렬형 구조인
를 개발하여 Force Dimension
(사)를 통해 상품화
3자유도, 6자유도
PERCRO, Virtual Technologies
•
•
1994년 일본의 츠쿠바 대학의 Iwata 교수 연
구실에서 개발
Delta와 Omega Haptic Device
•
•
•
•
•
1993년 MIT 인공지능연구실의 K. Salisbury
의 지도를 받고 있던 Thomas Massie가 개발
및 창업
와이어를 직접 손가락 혼을 손으로 쥐는 부분
에 연결하여 촉감을 재현
국내에서는 KAIST, KIST, 한양대학교,
GIST 등에서 force feedback device 연구
중
미국 Immersion(사)가 가장 많은 특허 보유
http://www.immersion.com/mobility/
21
Tactile Display
http://haptic.mech.northwestern.edu/intro/gallery/index.html
22
Behavioral Neuroscience and Biological
Psychology
(행동신경과학과 생물심리학)
• 사람의 지각(perception) 및 인식(cognition)과 관련된 현상을 해석
하기 위하여 생물학(신경과학), 인지과학, 물리학, 인간공학을 망라
한 심리학적 연구 방법
23
Behavioral Neuroscience and Biological
Psychology
(행동신경과학과 생물심리학)
•
메르켈 디스크(Merkel’s Disk)
•
•
•
마이스너 소체(Meissner Corpuscle)
•
•
•
Touch
3~100Hz의 자극에 반응하고 25~40Hz에서
민감하며 주로 표면 위의 돌출된 부분이나 미
세한 모양의 가장자리를 지날 때 반응하며 표
면의 무늬를 지각하는 과정에 보조적으로 연관
파치니언 소체(Pacinian Corpuscle)
•
•
•
•
Pain
0.4~3Hz의 피부 자극에 반응하고 0.4~1Hz에
민감하며, 주로 표면의 미세한 압력분포에 반
응하며 무늬나 모양을 지각하는 과정과 연관
Vibration
35~500Hz 범위의 자극에 반응하고
250~300Hz에 민감하며, 진동을 지각하는 것
과 연관
특히 역치(threshold)가 기계적 수용기 중에서
가장 낮아 사람이 250Hz 진동에서 가장 민감
루피니 말단(Ruffini’s Ending)
•
•
Stretch
0.5~400Hz의 자극에 반응을 나타내긴 하지만
실제로는 표면을 문지른다든지 할 때 피부가
늘어나는 현상(skin stretch)이 발생할 경우 전
기 신호를 발생
24
Haptic Rendering
• 1995년 K. Salisbury에 의해 처음 제안된 용어
• 햅틱스 기술이 적용된 환경에서 사용자가 가상의 물체에 접촉하는
동안 가상 물체와의 상호작용을 위해 햅틱 디바이스로 전달되는 힘
(force)을 계산하는 일련의 모든 과정
• 컴퓨터 그래픽, 물리학, 재료역학, 동역학, 모델링 알고리듬 등을 망
라하여 컴퓨터 그래픽으로 렌더링을 하듯 촉감정보가 표현될 수 있
도록 가상의 환경을 모델링하는 프로그래밍 과정 전반
•
•
•
•
•
•
•
•
충돌 검출(collision detection)
접촉 저항력 계산(contact impedance)
형상 표현(shape representation)
마찰력(surface friction)
동역학 계산(dynamics)
표면 무늬 및 굴곡 표현(surface curvature)
질감표현(texture modeling)
물리적 제약상태(physical constraints)
25
Haptics Standardization
26
Haptics Application
•
•
•
•
•
차세대 컴퓨터용 HCI 인터페이스
네트워크 기반 상호작용
체감형/체험형 시뮬레이터
오감 상호작용(Multi-modal Interaction)
직관력을 높이는 장치(Intuitive Interface)
27