Detecção da Direção do Olhar via Webcam
Rafael Gomes Monteiro1, Cabral Lima2, Antonio Carlos Gay Thomé3
Programa de Pós-Graduação em Informática (PPGI)
Universidade Federal do Rio de Janeiro (UFRJ)
E-Mail: 1rafaelgomesmonteiro@gmail.com, 2cabrallima@ufrj.br, 3thome@nce.ufrj.br
Resumo
Módulo 1: Localização do olho na imagem
Dentre as formas de Interação Humano-Computador descritas na
literatura existem os sistemas de rastreamento do olhar, que consistem
em estimar o ponto na tela para onde o usuário está focando a visão.
Neste trabalho foi realizado um estudo sobre os sistemas de
rastreamento do olhar existentes na literatura e foi desenvolvido um
protótipo funcional que apresentou resultados bastante significativos,
conseguindo alcançar cerca de 5.6º de precisão nos experimentos
realizados. As principais contribuições deste trabalho concernem à
simplicidade e ao baixo custo de implementação porque é utilizada uma
webcam comum para capturar as imagens, e o uso de iluminação
ambiente, enquanto que a maioria dos sistemas utiliza câmeras de alta
resolução e iluminação infravermelha, o que aumenta o custo.
Passo 1) Determinação das regiões dos olhos
Detecção da face [2]
Delimitação das regiões dos olhos
Exp. histograma
Filtro Bilateral [3]


O sistema foi desenvolvido em módulos, que atuam de forma sequencial.

Passo 2) Localização da íris
Original
Passo 1) Criação de uma base de imagens
- Quantidade de imagens: 1700 (cinco voluntários)
- Webcam: Logitech QuickCam Pro 9000 (1600x1200 píxeis)
- Monitor de 24” (a uma distância de 60cm do voluntário)
Resultado

Resultados
Filtro de Canny [4]

Transf. Circ.
de Hough [5]
Resultado

Escolha do melhor raio para a Transformada Circular de Hough


Passo 2) Extração dos resultados
- Resultados do Módulo 1: Localização do olho na imagem
MEsqx
MDirx
DistOlhos
MEsqy
OEsqy
MDiry
ODiry
DistEsq
DistDir
Passo 3) Refinamento e estimação das coordenadas
Máscaras de refinamento
(foram utilizadas 5 máscaras)
ODirx
OEsqx
Resultado
Convolução

- Resultados do Módulo 2: Detecção do ponto fixo
Na localização do olho, foram utilizadas técnicas baseadas em modelos
de formas fixas, pois utilizam poucas variáveis livres para casar os
modelos com as formas existentes na imagem [1]. Para a detecção e
rastreamento do ponto fixo, foi utilizada a técnica de phase correlation. Já
na estimativa do olhar, foi utilizado um modelo neural para construir uma
função de mapeamento entre o deslocamento dos olhos e as
coordenadas de tela.
Módulo 2: Detecção do ponto fixo
Passo 1) Detecção
Sobrancelhas
Nariz
A estimação da direção do olhar é feita em duas fases:
•
Calibração: o usuário olha para alguns pontos pré-definidos, que são
armazenados pelo sistema e interpolados para gerar a informação da
direção do olhar nos quadros seguintes de vídeo.
•
Teste: o usuário olha para outro conjunto de pontos e o sistema
tenta estimar o ponto para o qual o usuário está olhando.
Pontos utilizados na calibração
- Resultados do Módulo 3: Estimação da direção do olhar
Marcação artificial
Escolha da melhor posição (na vertical)
Legenda: X/Y, onde
X pode ser:
• N = Nariz
• MA = Marcação artificial
• S = Sobrancelhas
Y pode ser:
• S = Sem o refinamento
• C = Com o refinamento
Pontos utilizados no teste
Passo 2) Rastreamento
Área de busca
Ponto fixo
localizado
no primeiro
quadro
+

Phase Correlation [6]
Resultado
Resultado

Módulo 3: Estimação da direção do olhar
Exemplo de captura dos olhos
na fase de calibração
Exemplo de captura dos olhos na fase de teste
Solução) Uso de uma Rede Neural Artificial [7]
Entradas: deslocamento da íris com relação
ao ponto fixo:
Saídas: coordenadas do ponto para onde
o usuário olhou:
Modelo da rede
Mapeamento de entradas em saídas
Referências
[1]
D. HANSEN and Q. JI, “In the eye of the beholder: A survey of models for eyes and gaze,” IEEE
Transactions on Pattern Analysis and Machine Intelligence, pp. 478–500, Março 2010.
[2]
VIOLA, P.; JONES, M. Rapid Object Detection using a Boosted Cascade of Simple Features. In: IEEE
CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION. [S.l.: s.n.], 2001. v.1, p.511-518.
[3]
TOMASI, C.; MANDUCHI, R. Bilateral Filtering for Gray and Color Images. In:ICCV. [S.l.: s.n.], 1998. p.839846.
[4]
CANNY, J. A computational approach to edge detection. IEEE Trans. Pattern Anal. Mach. Intell.,
Washington, DC, USA, v.8, n.6, p.679-698, Novembro 1986.
[5]
DUDA, R. O.; HART, P. E. Use of the Hough transformation to detect lines and curves in pictures.
Commun. ACM, New York, NY, USA, v.15, n.1, p.11-15, 1972.
[6]
ZITOVA, B.; FLUSSER, J. Image registration methods: a survey. Imag. Vis. Comput., [S.l.], v.21, p.9771000, 2003.
[7]
HAYKIN, S. Neural Networks: a comprehensive foundation. [S.l.]: Prentice-Hall, 1999.