Webinar Introducción a la Visualización de datos y el uso de Tableau Public Yusnelkis Milanes Guisado. PhD Analista de datos y asesor en Unidad de Estadística. Hospital Virgen del Rocío / Instituto de Biomedicina de Sevilla. España. Email: ymilanes@gmail.com Agenda • Visualización de datos: influencias, conceptos, procesos, tipos • ¿ Cómo alcanzar una visualización efectiva ? • Tips para mejorar tus gráficos • Herramientas para la visualización de datos • Tableau Public • Conectando a las fuentes de datos • Comprobar calidad y estructura de los datos • Crear visualizaciones simples • Creando un Dashasboard (DB). Caso práctico. Porqué La Visualización ? ✓ Los datos son sólo un medio para plasmar la realidad . Siempre se usan como sustitutos de algo. ✓ Para comprender los datos, debemos mirar a través de ellos, darles valor. ✓ Le podemos dar forma, contexto, para innovar, transformarlos en información y conocimiento, en decisiones, que generan un impacto a diferentes niveles Porqué La Visualización ? Comunicación efectiva a través de la Visualización Porqué La Visualización ? Comunicación efectiva a través de la Visualización Porqué La Visualización ? Comunicación efectiva a través de la Visualización Grupo de pacientes: Discordantes ✓ Dificultad para detectar relaciones ✓ Dificultad para comparar, extraer diferencias… Grupo de pacientes: Sanos Working paper. HIV Research group. Virgen del Rocio Hospital. Porqué La Visualización ? Comunicación efectiva a través de la Visualización Discordantes Sanos ✓ Facilidad para detectar patrones (Relaciones positivas y negativas, color y orientación) ✓ Comparación entre grupos (Más relaciones negativas en Sanos, etc) Working paper. HIV Research group. Virgen del Rociío Hospital. Porqué La Visualización ? “Working Memory” La visualización ataca nuestros sentidos, los que utilizan la “Working memory”. El cerebro humano sólo puede retener y almacenar entre 5 y 8 números, elementos … Somos buenos comparando alturas, distancias.. Porqué La Visualización ? Pensar es lento vs La vista es más rápida Cortesa Visual (Vista) Cortesa Cerebral (Pensar) Porqué La Visualización ? La visualización utiliza primero los ojos, luego surgen los conceptos. ¿ Cómo ocurre esto ? EL ojo es sensible a los patrones de variaciones de los colores, las formas, las distancias, etc. …Si se combina ese lenguaje visual con el lenguaje de la mente, que se resume en conceptos, palabras , números, se empieza a hablar dos idiomas simultáneamente, uno mejorando incluso al otro (David McCandless) Porqué La Visualización ? • Un resumen estadístico puede no contemplar tendencias importantes en un dataset. • Puede preservar la complejidad, o presentar las multiples miradas de un dataset. • Puede funcionar como una importante primera etapa de investigación en una nueva área de estudio Porqué La Visualización ? Mountains Out of Molehills A timeline of global media scare stories APR NOV APR NOV APR NOV NOV APR APR NOV APR NOV APR NOV APR NOV APR NOV APR NOV Porqué La Visualización ? Snake oil The evidence for nutricional complements https://www.informationisbeautiful.net/visualizations/snake-oil-scientific-evidence-for-nutritional-supplements-vizsweet/ EL proceso de la Visualización Tipos de Visualización Analíticas o exploratorias Presentar o explanatorias • Exploración de los datos • Comunicar los resultados • Se busca entender los datos • Ayudar a otros a entender el mensaje • Detectar patrones y relaciones . Uno es el productor y consumidor de las visualizaciones • Produces las visualizaciones para una audiencia Tipos de Visualización Exploración de los datos (EDA) • Exploración de los datos. (E.D.A. exploratory data analysis, J.Tukey) El objetivo de este análisis exploratorio es: a) Buscar posibles relaciones de la variable respuesta/dependiente con la(s) variable(s) explicativa(s); b) Considerar la necesidad de aplicar transformaciones de las variables; c) Eliminar variables explicativas que estén altamente correlacionadas. Tipos de Visualización ESTÁTICAS • Nos ayudan a detectar patrones • Visualizar outliers • Útil en formatos físicos (periódicos) • Publicaciones científicas Tipos de Visualización DINÁMICAS / INTERACTIVAS • Explorar datos • No formato físico • Nos permiten jugar con los datos • Facilitan el análisis propio • Permiten personalizar la información y la búsqueda de conocimiento https://www.omnisci.com/demos/tweetmap Tipos de Visualización DINÁMICAS / INTERACTIVAS https://covid19.who.int/?gclid=Cj0KCQjwtsv7BRCmARIsANu-CQfqRn1hWBm8zYRHg5_-LTw5dLnB5yFWBwFVKVRPPVjETDQFCPpiBUYaAgImEALw_wcB ¿ Cómo alcanzar una visualización efectiva ? • Tips para conseguirla? • Es el color importante ? • “bonita” o funcional? • Influencias científicas y/o psicológicas? ¿ Cómo alcanzar una visualización efectiva ? https://www.nabler.com/articles/the-data-visualization-manual-that-you-will-want-to-bookmark/ Percepción visual y principios de Gestalt Formar patrones complejos a partir de reglas simples… Pueden ver un perro ? ¿ Cómo alcanzar una visualización efectiva ? Psicología Gestalt (Berlin, años 20) Gestalt: Significa en alemán forma, patrón, figura o estructura unificada Grupo de leyes que incluyen en como percibimos o intuimos patrones y conclusiones significativas de aquello que vemos Permite: • Mejor comprensión de la percepción humana • Obtener mejores visualizaciones • Acelerar el desarollo eliminando ensayo /error ¿ Cómo alcanzar una visualización efectiva ? Psicología Gestalt (Berlin, años 20) • Ley de la Proximidad* • Ley de Similaridad* • Ley de clausura* • Ley de la Simetría* • Ley de la misma dirección • Ley de la inclusividad o figura de fondo* • Ley de la continuidad* • Ley de un buen Gestalt • Experiencia pasada(Correspondencia isomórfica) • Continuidad uniforme • Regiones comunes ¿ Cómo alcanzar una visualización efectiva ? Psicología Gestalt (Berlin, años 20) • La ley de la figura-fondo: no podemos percibir una misma forma como figura y a la vez como fondo de esa figura. El fondo es todo lo que no se percibe como figura. • Ley de la continuidad: si varios elementos parecen estar colocados formando un flujo orientado hacia alguna parte, se percibirán como un todo. • Ley de la simplicidad: nuestra mente percibe todo en su forma más simple • Ley de la proximidad: los elementos próximos entre sí tienden a percibirse como si formaran parte de una unidad. ¿ Cómo alcanzar una visualización efectiva ? Psicología Gestalt (Berlin, años 20) • Ley de la similitud: los elementos parecidos son percibidos como si tuvieran la misma forma. Muy afectado por el color. • La ley de cierre: una forma se percibe mejor cuanto más cerrado está su contorno. • Ley de la simetría: los elementos simétricos se perciben como parte del mismo grupo • Ley de la región común: varios elementos que forman parte de una sola región, los asociamos como un solo grupo. • Ley de la conectividad: Elementos que estan visualmente conectados, son percebidos más relacionados entre ellos., que los no conectados. ¿ Cómo alcanzar una visualización efectiva ? Pragnanz _ La simplicidad es la clave European Commission. 2017. 15TH JRC TRAINING ON COMPOSITE INDICATORS AND ANNUAL MEETING OF COP ON INDICES & SCOREBOARDS. ¿ Cómo alcanzar una visualización efectiva ? Algunos tips para mejorar los gráficos • • • • • • • Comienza con tu mensaje en mente. Cuál es tu mensaje? Intentar gráficos auto-explicativos Prepara bien los datos. Tipos de datos Facilita la lectura. Destaca lo importante Importancia del color La forma y el orden, según tipo de dato Agrega etiquetas estratégicas • Cortar o no cortar el eje Y ? Controversias. • No forzar las escalas… Tips para mejorar los gráficos Ten claro el mensaje. ¿Qué quieres trasmitir ? • Rigurosidad vs Belleza ( o ambos) • Audiencia • Autoexplicativos • Ideal = Algo bello + Algo que comunique • Escribe el mensaje principal • Un subtítulo puede agregar claridad Tips para mejorar los gráficos Ten claro el mensaje. ¿Qué quieres trasmitir ? ✓ No comunica. No es auto-explicativo. ✓ Probablemente una tabla bien elaborada trasmitiera mejor el mensaje… Tips para mejorar los gráficos Destaca lo importante ✓ Escoje de 1 a 3 elementos a destacar Tips para mejorar los gráficos Conoce tus datos, asegura su calidad. • • Es una serie temporal ? Una jerarquía? Cuántas dimensiones tengo , cuáles son las más importantes ? • Debe satisfacer tus objetivos • Útil para la audiciencia Debe estar estructurada adecuadamente • Tipos de datos: Categóricas, Numéricas, Ordinales, Ranking, Discretas. • • Siguen una distribución lineal o no – lineal ? • • Son correctos ? Outliers ? Valores ausentes ? Libre de ruido Tips para mejorar los gráficos Relevancia de las formas. ✓ En función de mis datos y mis objetivos, cuál tipo de gráfico es más adecuado ? Tips para mejorar los gráficos Relevancia de las formas. Tips para mejorar los gráficos Relevancia de las formas. ✓ Escoger el método adecuado… Views on Brexit almost as erratic as its negotiations https://medium.economist.com/mistakes-weve-drawn-a-few-8cdd8a42d368 Tips para mejorar los gráficos Relevancia de las formas. ✓ Evite 3D ✓ Evite gráficos de pastel (Especialmente en 3D) EL ojo humano es malo leyendo ángulos. Tips para mejorar los gráficos Importancia del color. • Use el color con moderación • El gris es tu amigo • Elementos realcionados tienen colores relacionados • Evitar: • Fusionar rojo y gris (Se usa para daltónicos) • Estereotipos (Rosa-Mujer, Azul_Niño) Tips para mejorar los gráficos Importancia del color. • Limite el uso de muchos colores, a no ser q sea necesario. • Legibilidad: Suficiente contraste entre fondo y figura • Uso estratégico del color para destacar mensajes • Mantener colores culturales en mente (Ej: Semáforo) Tips para mejorar los gráficos Importancia del color. http://colorbrewer2.org/#type=diverging&scheme=RdBu&n=5 Herramientas para La selección del color y sus relaciones Tips para mejorar los gráficos El orden importa. Un gráfico ordenado es más fácil de leer . • Ordena visualmente • Cuidado con los datos temporales, Tips para mejorar los gráficos Agrega etiquetas Hospitalizaciones Incremento Anual. Variaciones temporales (n = 75 000 hospitalizaciones ) De la Torre et al. 2019. Diagnósticos al ingreso en población VIH en Andalucía. Análisis evolutivo a lo largo de los últimos 25 años. Congreso SAEI. Sevilla. Tips para mejorar los gráficos Cortar o no cortar (El eje Y) ? Controversias En los de barra: • Intentar, no cortar el eje Y (El ojo humano tiende a comparar alturas…) • Dan sensación de una mayor diferencias, que en realidad no es … • Proporciones distorcionadas… • Si interesa mostrar pequeñas diferencias, utilizar otra estrategia Gráfico de línea: No hay consenso. “In general, in a time-series, use a baseline that shows the data not the zero point” - Edward Tufte Tips para mejorar los gráficos No forzar las escalas… Una correlación muy fuere? No realmente. Forzar las escalas puede llevarnos a interpretaciones incorrectas. https://medium.economist.com/mistakes-weve-drawn-a-few-8cdd8a42d368 Herramientas para la visualización de datos Herramientas … ADOBE ILUSTRATOR Tableau Public Versiones TABLEAU PUBLIC TABLEAU COMERCIAL ✓ FREE ✓ PAGO (LICENCIAS FREE PARA DOCENTES ?) ✓ CREA BONITAS VISUALIZACIONES ✓ FORMATO DE DATOS (FICHEROS CSV, EXCEL, TEXT) ✓ GUARDAR ONLINE ✓ 15 MILLONES REGISTROS DE DATOS ✓ CREA BONITAS VISUALIZACIONES ✓ TODO TIPO DE FICHEROS DE DATOS ✓ GUARDAR LOCAL ✓ REGISTROS DE DATOS ILIMITADOS Tableau Public ✓ ACCESIBLE Y COMPLETO ✓ FLEXIBLE ✓ IMPORTAR Y LIMPIEZA DE DATOS (PRE TABLEAU) ✓ INTUITIVO ✓ ANÁLISIS Y VISUALIZACIÓN DE DATOS ✓ RAPIDO Y PROTOTIPOS ROBUSTOS ✓ PESENTAR HALLAZGOS Plataforma de aprendizaje en línea Plataforma de aprendizaje en línea https://www.tableau.com/es-es/learn/training/20203 Seguimiento de pandemias Inteligencia competitiva Author: Thi Ho. Originally published on: Tableau Public Descarga en línea https://public.tableau.com/en-us/s/ Conectando con las fuentes de datos Conectando con las fuentes de datos CASO: RENDIMIENTO CIENTÍFICO POR PAISES_ VIH/SIDA. DATOS INCITES. Asegurar la calidad de los datos Comprobar… ✓ Tipo de variables (Numéricas, Nominales, Fecha) ✓ Datos correctos (Nombres , valores, tipos ) ✓ Estructura de datos alineada con los objetivos del análisis (Ej: Si los cuartiles de la revista vienen como columnas separadas, y quiero tenerla en una única variable). ✓ Establecer relaciones con otra tablas de datos vinculadas por un Id en común. ✓ Crear campos nuevos (Tablas dinámicas, pivotar) Transformar los datos ✓ Seleccionamos las columnas que quiero agrupar para construir una sola variable.. ✓ Ejemplo: Quartil de la revista (Q1, Q2, Q3, Q4) y el valor asociado ✓ También podría ser, por ejemplo, que los años estén distribuidos en variables separadas y quiera agruparlos en una sola Transformar los datos ✓ Cambiamos los nombres de la variable categórica formada (Cuartil de la revista) , y la medida asociada (Número de trabajos por cuartil de la revista) Términos importantes en Tableau • Representan los campos que contienen información cualtitativa o categórica (Ejemplo: País, Tipo documental, Quartil de la revista, DIMENSIONES etc). • Suelen ser en Tableau los campos de tipo discreto (AZUL). • Sirven para segmentar, agrupar los datos (Ejemplo N.Doc publicados por países) MEDIDAS • Representa un campo que contiene información de tipo cuantitativa. (Ejemplo: Número de documentos publicados; Número de citas; % de documentos en colaboración). • • En Tableau suelen ser campos de tipo Continuo (VERDE). Interfaz Tableau _Visualizaciones Filtros Medidas Dimensiones Columnas y filas Marcas (Color, forma, Tamaño, etc) Interfaz Tableau _Visualizaciones Tableau es intuitivo, solo se activan los tipos de visualizaciones que los datos en el panel permiten Cambiar tipo de gráfico Dimensiones y medidas por tipo de gráfico activado Creación de un Dashboard (DB) Caso práctico. Guardar t recuperar libro de trabajo Poner email y contraseña de usuario de Tableau public Guardar t recuperar libro de trabajo Ir a la web El libro de trabajo se puede descargar en varios formatos Muchas gracias !!!! Referencias útiles • Evergreen, S. D. H. (2017). Effective data visualization: The right chart for the right data. • Tufte, E. R. (1985). The visual display of quantitative information. Cheshire, Conn: Graphics Press. • Real Chart Rules to Follow: http://bit.ly/1MhsGNv • Ten Simple Rules for Better Figures: http://bit.ly/1cH1Pfh • When Pie Charts are Okay (Seriously): http://annkemery.com/pie-chartguidelines/ • Data Visualization: Chart Dos and Don'ts. https://guides.library.duke.edu/datavis/topten • The Science of Data Visualization. https://www.youtube.com/watch?v=l7cAdp0f4X0 Referencias útiles • www.vpascual.org. Blog personal de Victor Pascual. • Pascual, V. Introducción a la visualización de datos. Curso. Domestika. http://www.sirislab.com/tools/: Repositorio de visualizaciones enfocadas a analizar rankings de universidades y la ciencia en general. • www.flowingdata.com: Principal blog en Visualización de Datos. Bueno para inspiraciones selección de tipos de gráficos, tutoriales, etc. • www.d3js.org: La página principal de la librería D3.js, una librería de programación de Visualización de Datos. Contiene una grandísima variedad de ejemplos y visualizaciones. • Leho, S. Mistakes, we’ve drawn a few. Learning from our erros in data visualization. https://medium.economist.com/mistakes-weve-drawna-few-8cdd8a42d368 • A collection of dataviz caveats by data-to-viz.com. https://www.data-to-viz.com/caveats.html • Tableau Dashboard Cookbook. Over 40 recipes on designing professional dashboards by implementing data visualization principles. 2014. URL [http://1.droppdf.com/files/RiJNe/packt-publishing-tableau-dashboard-cookbook-2014.pdf Referencias útiles / Libros de referencia • The Visual Display of Quantitative Information, Eduard Tufte • Design for Information, Isabel Meirelles • Now You See It, Stephen Few • El Arte funcional, Alberto Cairo (castellano) • Giorgia Lupi. Dear Data.