INTRODUCCIÓN A LA DETECCIÓN DE OBJETOS Formación de la Imagen Maria Vanrell DEPARTAMENTO DE CIENCIAS DE LA COMPUTACIÓN Introducción a la detección de objetos – Formación de la Imagen Esquema general: Sistema detector de objetos Extracción de características Generación de candidatos Generación de candidatos Extracción de características Clasificación de candidatos Refinación de la decisión Introducción a la detección de objetos – Formación de la Imagen La entrada del sistema: La imagen Imagen + Objeto (cara, mano, persona, ...) Sistema detector de objetos Extracción de Generación de características candidatos Clasificación de candidatos Refinación de la decisión Ventana/-s cara mano persona Introducción a la detección de objetos – Formación de la Imagen La imagen, matriz de píxeles Imagen Color 232 x 144 Ventana 80 x 80 Ventana 16 x 16 Píxel Imagen Intensidad R G B 132 255 255 ( R + G + B) ⋅ 255 max( Ri + Gi + Bi ) i∈I Canal R 16 x 16 Canal G 16 x 16 Canal B 16 x 16 Introducción a la detección de objetos – Formación de la Imagen Dos preguntas: • ¿Cómo se asignan estos valores? • ¿Por qué tres canales? Introducción a la detección de objetos – Formación de la Imagen Tres componentes del color de un punto • El color de la luz • El material de la superficie • La sensibilidad de la cámara Introducción a la detección de objetos – Formación de la Imagen Tres componentes del color de un punto • El color de la luz • El material de la superficie • La sensibilidad de la cámara Introducción a la detección de objetos – Formación de la Imagen El color de la luz La luz es una forma de energía que se caracteriza por sus componentes que se pueden representar como una onda con una determinada longitud o frecuencia. Componentes de la luz: Longitud de onda λ λ El color es una característica de la luz que puede ser observada por los humanos, y depende de la longitud de onda log10 (λ (m)) 3 2 1 0 −1 −2 −3 −4 −5 −6 −7 −8 −9 − 10 − 11 − 12 − 13 − 14 − 15 − 16 Radio TV Radar Microondas λ (m) 10 −6 1000 700 Infrarojos Luz visible Ultravioletas 400 Rayos X Rayos Gamma λ (nm) 10 −7 100 Introducción a la detección de objetos – Formación de la Imagen 400nm 450nm 500nm 550nm λ NARANJA AMARILLO VERDE VIOLETA El color y la longitud de onda de la luz (1nm = 10 −9 m) 600nm 650nm 700nm λ [400nm,700nm] ≈ El espectro visible por el ojo humano Introducción a la detección de objetos – Formación de la Imagen Tres componentes del color de un punto • El color de la luz • El material de la superficie • La sensibilidad de la cámara Introducción a la detección de objetos – Formación de la Imagen El material de la superficie La naturaleza de cada material, por ejemplo sus pigmentos, determina las longitudes de onda que refleja y las que absorbe. I (λ ) El color de la luz es una función, I, de la longitud de onda I (λ ) S (λ ) S( λ ) λ Luz emitida λ % Luz reflejada El porcentaje de luz que refleja el material es una función, S, de la longitud de onda Introducción a la detección de objetos – Formación de la Imagen El material de la superficie I (λ ) I (λ ) ⋅ S (λ ) S (λ ) 1 I (λ ) × S( λ ) λ Luz emitida La luz reflejada es el resultado de un producto entre las funciones de la luz y de la superficie = I (λ ) ⋅ S (λ ) λ λ % Luz reflejada Luz reflejada Introducción a la detección de objetos – Formación de la Imagen Tres componentes del color de un punto • El color de la luz • El material de la superficie • La sensibilidad de la cámara Introducción a la detección de objetos – Formación de la Imagen La sensibilidad de la cámara Las cámaras tienen 3 tipos de sensores que integran sobre diferentes longitudes de onda con el objetivos de cubrir todo el espectro visible B (λ ) G (λ ) R (λ ) La sensibilidad de la cámara viene dada por 3 funciones, R, G y B I (λ ) S (λ ) ( R, G , B ) = % Sensibilidad λ (∫ I (λ )S (λ ) R(λ )dλ , ∫ I (λ )S (λ )G(λ )dλ , ∫ I (λ )S (λ ) B(λ )dλ ) Introducción a la detección de objetos – Formación de la Imagen Dos preguntas: • ¿Cómo se asignan estos valores? • ¿Por qué tres canales? Introducción a la detección de objetos – Formación de la Imagen Las cámaras que usamos habitualmente trabajan con 3 sensores de color (RED, GREEN, BLUE) basados en tecnología de silicio y filtros específicos. B G R λ Inspiración en el sistema visual humano, persiguen representar el espectro de luz que es visible por los humanos. En el ojo humano encontramos 3 tipos de células sensibles al color: los conos Conos: son las células foto-receptoras del color que se encuentran S M L en la retina del ojo humano, son de tres tipos, L, M y S que se distinguen por las longitudes de ondas a las que son sensibles (Long, Medium y Short, términos en inglés para referirse a las longitudes de onda largas, medias y cortas) λ Curiosidad: En el ojo humano la densidad de estos tres tipos de conos no es uniforme, la relación por tipos de conos es: Ojo L : M : S 11,2 : 5,33 : 1 Porción de retina Conos Densidad espacial de conos Introducción a la detección de objetos – Formación de la Imagen Otros tipos de imágenes (más allá de la visión humana) • Infrarrojos (RGB-NIR, térmicas) • Profundidad (RGBD) Imágenes de infrarrojos cercanos RGB-NIR (Near Infrared): Imágenes que añaden un canal no visible que engloba las longitudes de ondas de los infrarrojos de 700nm hasta 1100nm. log10 (λ (m)) 3 RGB NIR Credits: RGB-NIR Scene Dataset at ivrl.epfl.ch 2 1 0 −1 −2 −3 −4 −5 −6 −7 −8 −9 − 10 − 11 − 12 − 13 − 14 − 15 − 16 Radio TV λ (m) Radar Microondas 10 −6 1000 NIR Infrarrojos 700 Infrarojos Luz visible Ultravioletas Luz visible Rayos X Rayos Gamma λ (nm) 400 10 −7 100 Imágenes térmicas (Long-wavelength Infrared): Las imágenes térmicas reproducen la correlación existente entre la temperatura y la emisión infrarroja de los objetos. Esta emisión infrarroja se encuentra en el intervalo de longitudes de onda que va de 8µm a 15µm (infrarrojo de onda larga). λ ( µm ) 15 µm log10 (λ (m)) 3 2 1 0 −1 −2 −3 −4 −5 −6 −7 −8 −9 − 10 − 11 − 12 − 13 − 14 − 15 − 16 Radio TV Infrarrojo Térmico (onda larga) Radar Microondas Infrarojos Luz visible Ultravioletas 8 µm Rayos X Onda media 3 µm Rayos Gamma 1.4 µm Onda corta NIR Infrarrojos 0 µm Imágenes de profundidad RGBD (D: Depth): Imágenes capturadas con dispositivos específicos que añaden un canal en el que se estima un mapa de profundidad de la escena que codifica la distancia de cada punto de una superficie con el sensor. RGB D (Imagen adquirida con Kinect II) Introducción a la detección de objetos – Formación de la Imagen En resumen: • Cómo se representa una imagen • Cómo se forma el color de cada pixel de la imagen • Los componentes del color: luz, superficie, cámara • Paralelismo con el ojo humano • Otros tipos de imágenes: NIR-RGB, térmica, RGBD.
