Big Data, Analítica y Ciencia de Datos para la Toma
de
Decisiones en la Empresa e Industria
Tema 1. Big Data y la
Ciencia de Datos
Índice
Esquema
Ideas clave
1.1. Introducción y objetivos
1.2. Conceptos fundamentales de Big Data
1.3. Referencias bibliográficas
Esquema
1.1. Introducción y objetivos
El término Big Data se refiere a grandes volúmenes de datos que, debido a su
tamaño y complejidad, requieren tecnologías y métodos avanzados para ser
procesados y analizados eficazmente. Estos datos provienen de diversas fuentes
como redes sociales, sensores, transacciones comerciales y dispositivos móviles, y
se caracterizan por su alta velocidad de generación y variedad en formatos. La
capacidad de gestionar y analizar estos datos ha superado las capacidades de las
herramientas tradicionales de procesamiento de datos, como las bases de datos
relacionales y los sistemas de software convencionales. Por ello, el Big Data se
apoya en nuevas tecnologías como Hadoop, Spark y NoSQL, las cuales permiten
almacenar, procesar y analizar grandes conjuntos de datos de manera eficiente (Kitchin, 2014).
La Ciencia de Datos, por otro lado, es un campo interdisciplinario que utiliza
métodos, procesos, algoritmos y sistemas científicos para extraer conocimiento y
obtener conclusiones de los datos. Combina principios de estadística, informática,
matemáticas y conocimiento del dominio para analizar grandes volúmenes de datos. Los
científicos de datos emplean una variedad de técnicas como minería de datos,
aprendizaje automático, análisis predictivo y visualización de datos para identificar
patrones, tendencias y relaciones en los datos que pueden informar la toma de
decisiones (Provost y Fawcett, 2013).
En este sentido, los objetivos perseguidos en este tema son los siguientes:
▸ Proporcionar una base sólida de conocimiento sobre los conceptos fundamentales
del Big Data.
▸ Examinar la relación entre Big Data y Ciencia de Datos .
▸ Analizar la evolución histórica de las tecnologías de la información.
▸ Evaluar el impacto del Big Data y la Ciencia de Datos en la sociedad y la economía.
1.2. Conceptos fundamentales de Big Data
Big Data
En la era digital, el término Big Data ha adquirido una relevancia sin precedentes
debido a la explosión de datos generados por diversas fuentes, como las redes
sociales, los dispositivos IoT (Internet de las cosas), transacciones en línea,
sensores, y muchas otras.
Big Data se refiere al vasto volumen de datos que es demasiado grande, rápido o
complejo para ser gestionado y procesado con las herramientas tradicionales de
gestión de bases de datos. Este se caracteriza por las cinco V: volumen, velocidad,
variedad, veracidad y valor (Deng, 2018). Además, este es relevante en diferentes
industrias.
Figura 1. Cinco V. Fuente: elaboración propia.
Figura 2. Importancia en las industrias. Fuente: elaboración propia.
Definición de Ciencia de Datos y su relación con Big Data
La Ciencia de Datos es un campo interdisciplinario que utiliza métodos, procesos,
algoritmos y sistemas científicos para extraer conocimiento y obtener conclusiones a
partir de datos, tanto estructurados como no estructurados. Esta disciplina combina
técnicas y teorías de diversos campos, incluyendo matemáticas, estadísticas,
informática, y conocimiento específico del dominio de aplicación, para analizar y
comprender fenómenos complejos.
Las principales técnicas empleadas en la Ciencia de Datos incluyen:
▸ Minería de datos: proceso de descubrir patrones y relaciones ocultas en grandes
bases de datos utilizando técnicas como el clustering, clasificación y asociación.
▸ Aprendizaje automático (machine learning): subcampo de la inteligencia artificial
que se centra en el desarrollo de algoritmos que pueden aprender y hacer
predicciones o decisiones basadas en datos.
▸ Análisis predictivo: técnica que utiliza modelos estadísticos y algoritmos de
machine learning para predecir futuros eventos basados en datos históricos.
▸ Visualización de datos: proceso de representar datos a través de gráficos y
visualizaciones interactivas para facilitar la comprensión y la toma de decisiones.
La Ciencia de Datos no solo se centra en el análisis descriptivo y diagnóstico, sino
que también incluye análisis predictivo y prescriptivo, proporcionando así un ciclo
completo de análisis de datos que va desde la recolección hasta la implementación
de decisiones basadas en datos.
Comparación con otras disciplinas
Estadística
▸ Enfoque: análisis descriptivo y probabilístico de los datos.
▸ Herramientas: modelos estadísticos, pruebas de hipótesis, inferencia.
Inteligencia Artificial (IA)
▸ Enfoque: desarrollo de algoritmos y sistemas que imitan la inteligencia humana.
▸ Herramientas: aprendizaje automático (machine learning), redes neuronales,
procesamiento de lenguaje natural (NLP).
¿Cómo se complementan?
Big Data
▸ Proporciona la materia prima: enormes volúmenes de datos que necesitan ser
analizados.
▸ Necesita tecnologías avanzadas para la recolección, almacenamiento y
procesamiento de datos.
Ciencia de Datos
▸ Aplica técnicas y métodos analíticos para extraer insights significativos de los
datos.
▸ Utiliza algoritmos de machine learning y modelos estadísticos para interpretar datos
complejos.
Relación entre Big Data y Ciencia de Datos
La relación entre Big Data y Ciencia de Datos es íntimamente sinérgica. Mientras
que el Big Data se refiere a la gran cantidad de datos que se generan y almacenan a
velocidades y variedades sin precedentes, la Ciencia de Datos se centra en las
técnicas y herramientas necesarias para analizar y extraer valor de esos datos. Sin Big Data, la
Ciencia de Datos no tendría el volumen de datos necesario para realizar
análisis complejos y obtener insights profundos. De manera similar, sin la Ciencia de Datos, el Big
Data sería solo una acumulación masiva de datos sin valor práctico
real.
Historia y evolución: del BI al Big Data
Desde los primeros sistemas de procesamiento por lotes en la década de 1960 hasta
las modernas arquitecturas de Big Data, el progreso tecnológico ha sido notable,
con hitos como la introducción de bases de datos relacionales en la década de 1980,
el auge de la inteligencia empresarial en la década de 1990 y la aparición de
tecnologías como Hadoop y NoSQL en la década de 2000 (Marr, 2020).
Principales hitos históricos
La evolución de las tecnologías de la información ha sido un proceso continuo y
acelerado que ha transformado la manera en que las organizaciones gestionan,
analizan y utilizan los datos. Desde los primeros sistemas de procesamiento de datos
en la década de 1960 hasta las complejas arquitecturas de Big Data actuales, el
progreso tecnológico ha sido notable.
A lo largo de la evolución de BI a Big Data, varios hitos y avances tecnológicos han
marcado el camino, transformando la capacidad de las organizaciones para procesar
y analizar datos.
Figura 3. Hitos relevantes del Big Data. Fuente: elaboración propia.
Transición de Business Intelligence (BI) a Big Data
La transición de BI a Big Data representa un cambio paradigmático en la manera
en que las organizaciones manejan y analizan sus datos, superando las limitaciones
de las bases de datos relacionales tradicionales (Deng, 2018).
BI tradicional
▸ Enfoque en datos estructurados provenientes de sistemas internos.
▸ Análisis retrospectivo y reportes estáticos.
Big Data
▸ Inclusión de datos no estructurados y de múltiples fuentes externas.
▸ Análisis en tiempo real y predictivo.
▸ Uso de tecnologías avanzadas como Hadoop, Spark y NoSQL.
▸ Capacidad de procesar grandes volúmenes de datos a alta velocidad.
Impacto del Big Data y la Ciencia de Datos
El Big Data y la Ciencia de Datos han revolucionado múltiples sectores, generando
un impacto profundo en la forma en que las organizaciones operan, toman
decisiones y crean valor. Estos avances han permitido no solo una mayor eficiencia
y precisión en diversas industrias, sino también la creación de nuevas oportunidades
y modelos de negocio.
Transformación en la operativa de las organizaciones
El uso del Big Data ha permitido a las organizaciones optimizar sus operaciones de
maneras que antes no eran posibles. Por ejemplo, en el sector manufacturero, el
análisis de datos de sensores instalados en equipos de producción permite el
mantenimiento predictivo, reduciendo significativamente los tiempos de inactividad y
los costos asociados con reparaciones imprevistas. Asimismo, en la cadena de
suministro, el Big Data ayuda a predecir la demanda de productos, optimizar el
inventario y mejorar la logística, lo que resulta en una mayor eficiencia operativa y
menores costos.
Mejora en la toma de decisiones
La Ciencia de Datos proporciona herramientas avanzadas de análisis que permiten a
las organizaciones tomar decisiones más informadas y basadas en datos. En el
sector financiero, por ejemplo, los algoritmos de machine learning pueden analizar
grandes volúmenes de datos de transacciones en tiempo real para detectar patrones
de fraude con mayor precisión y rapidez que los métodos tradicionales. Además,
las instituciones financieras utilizan el Big Data para realizar análisis de riesgos
más detallados, lo que mejora la gestión del riesgo crediticio y las estrategias de
inversión.
Creación de nuevas oportunidades de negocio
El Big Data ha abierto la puerta a nuevas oportunidades de negocio al permitir la
personalización a gran escala. En el sector retail, las empresas pueden analizar el
comportamiento de compra de los consumidores y utilizar estos insights para ofrecer
recomendaciones de productos personalizadas, optimizando así la experiencia del
cliente y aumentando las ventas. Plataformas de streaming como Netflix y Spotify
utilizan datos de usuarios para ofrecer contenido personalizado, lo que no solo
mejora la satisfacción del cliente, sino que también incrementa la lealtad y el tiempo
de uso de las plataformas.
Innovación y desarrollo de nuevos productos y servicios
La capacidad de analizar grandes volúmenes de datos ha impulsado la innovación y
el desarrollo de nuevos productos y servicios. En la industria de la tecnología, las
empresas están utilizando el Big Data para desarrollar aplicaciones avanzadas de
inteligencia artificial y aprendizaje automático, que pueden automatizar procesos,
mejorar la precisión de los sistemas de reconocimiento de voz y visión por
computadora y desarrollar vehículos autónomos. Además, el análisis de Big Data en
tiempo real permite a las empresas responder rápidamente a las tendencias del mercado y
adaptar sus productos y servicios para satisfacer mejor las
necesidades de los consumidores.
A continuación, se detallan algunos de los usos más significativos en distintos
ámbitos del Big Data y la Ciencia de Datos.
Tabla 1. Diferentes aéreas de aplicación del Big Data y la Ciencia de Datos. Fuente: elaboración propia.
Del BI a Big Data: cambios tecnológicos
La transición de Business Intelligence (BI) tradicional a Big Data ha implicado
cambios significativos en las tecnologías involucradas, así como en la infraestructura
y las herramientas utilizadas. A continuación, se detallan las tecnologías clave en
ambas eras y los cambios correspondientes.
BI tradicional
▸ OLAP (Online Analytical Processing). Análisis multidimensional: OLAP permite a
los usuarios realizar consultas y análisis multidimensionales en grandes volúmenes
de datos. Las herramientas OLAP facilitan la exploración interactiva de datos desde
múltiples perspectivas, utilizando dimensiones como tiempo, geografía y producto
para desglosar los datos y extraer insights detallados.
▸ Data Warehouses: los Data Warehouses son almacenes centralizados diseñados
para almacenar datos estructurados provenientes de múltiples fuentes. Estos
almacenes permiten la integración y consolidación de datos, facilitando el análisis y
la generación de informes. Se organizan en esquemas de estrella o copo de nieve
para optimizar el rendimiento de las consultas.
▸ ETL (Extract, Transform, Load): el proceso ETL extrae datos de diversas fuentes,
los transforma para adecuarlos a las necesidades del análisis (limpieza,
normalización, agregación) y los carga en el Data Warehouse. Este proceso es
fundamental para garantizar la calidad y consistencia de los datos almacenados y
analizados.
▸ Dashboards estáticos: las herramientas de visualización en el BI tradicional suelen
ofrecer dashboards estáticos que presentan datos históricos mediante gráficos y
tablas predefinidas. Estas visualizaciones son útiles para el seguimiento de
indicadores clave de rendimiento (KPI) y la generación de informes periódicos.
Big Data
▸ Hadoop: Hadoop es una plataforma de código abierto que permite el
almacenamiento y procesamiento distribuido de grandes volúmenes de datos en
clústeres de computadoras. Utiliza el modelo de programación MapReduce para
dividir las tareas de procesamiento en subtareas que se ejecutan en paralelo,
mejorando la eficiencia y escalabilidad del análisis de datos masivos.
▸ Spark: Apache Spark es una plataforma de procesamiento de datos en memoria que
ofrece una alternativa más rápida y eficiente a Hadoop MapReduce. Spark permite
realizar análisis complejos, como el aprendizaje automático y el procesamiento de
gráficos, a gran escala y con tiempos de respuesta más cortos, gracias a su
capacidad de procesamiento en memoria.
▸ NoSQL: las bases de datos NoSQL, como MongoDB, Cassandra y Couchbase,
proporcionan una mayor flexibilidad para gestionar datos no estructurados y
semiestructurados. A diferencia de las bases de datos relacionales tradicionales, NoSQL permite la
escalabilidad horizontal y la capacidad de manejar grandes
volúmenes de datos de diversa índole, sin necesidad de esquemas rígidos.
▸ Stream: las tecnologías de procesamiento de flujos, como Apache Kafka y Apache Storm, permiten el
análisis en tiempo real de datos en movimiento. Estas
herramientas son esenciales para aplicaciones que requieren una respuesta
inmediata a eventos, como la detección de fraudes, el monitoreo de redes y la
personalización en tiempo real de servicios y ofertas.
Cambios en infraestructura y herramientas
La transición de BI tradicional a Big Data ha llevado a cambios significativos en la
infraestructura y las herramientas utilizadas para gestionar y analizar datos. Estos
cambios incluyen:
Figura 4. Cambios en la infraestructura del Big Data. Fuente: elaboración propia.
Casos de estudio en la evolución del Big Data y la Ciencia de Datos
La transición del Business Intelligence (BI) tradicional al Big Data ha generado
numerosos casos de estudio que ilustran cómo diversas organizaciones han
adoptado estas tecnologías para mejorar sus operaciones, optimizar procesos y
obtener ventajas competitivas. A continuación, se presentan algunos casos de
estudio destacados que demuestran la evolución y el impacto del Big Data y la Ciencia de Datos en
diferentes sectores.
Transformación en el sector salud
▸ Organización: Kaiser Permanente.
▸ Desafío: mejorar la atención al paciente y optimizar la gestión de recursos.
▸ Solución: utilización de análisis predictivo y datos de registros electrónicos de salud (EHR) para
identificar pacientes de alto riesgo y gestionar el flujo de pacientes y
recursos en tiempo real.
▸ Resultados: reducción de tasas de readmisión, optimización de recursos y
personalización de tratamientos médicos.
Optimización en el sector retail ▸
Organización: Walmart.
▸ Desafío: mejorar la eficiencia de la cadena de suministro y personalizar la
experiencia del cliente.
▸ Solución: análisis de datos de transacciones e inventarios para predecir la demanda
y personalizar ofertas y recomendaciones de productos.
▸ Resultados: reducción de costos de inventario, aumento en ventas y lealtad del
cliente y optimización logística.
Innovación en el sector financiero
▸ Organización: JPMorgan Chase.
▸ Desafío: detectar y prevenir fraudes financieros.
▸ Solución: implementación de algoritmos de machine learning para analizar
transacciones en tiempo real y evaluar riesgos crediticios.
▸ Resultados: mejora en la detección de fraudes, optimización en la gestión de
riesgos crediticios y aumento en la confianza del cliente.
Eficiencia en el sector de transporte y logística ▸
Organización: UPS.
▸ Desafío: optimizar rutas de entrega y reducir costos operativos.
▸ Solución: uso de datos de sensores y análisis en tiempo real para optimizar rutas
de entrega y mantenimiento predictivo.
▸ Resultados: reducción de costos de combustible, mejora en tiempos de entrega y
eficiencia operativa.
Innovación en el sector de energía
▸ Organización: General Electric (GE).
▸ Desafío: mejorar la eficiencia y la fiabilidad de las operaciones de generación y
distribución de energía.
▸ Solución: análisis de datos de sensores en infraestructuras energéticas y
mantenimiento predictivo.
▸ Resultados: incremento en eficiencia operativa, reducción de costos de
mantenimiento y mejora en la fiabilidad y sostenibilidad de las operaciones.
Impacto de la transición a Big Data
La transición del Business Intelligence (BI) tradicional al Big Data ha tenido un
impacto profundo y multifacético en diversas organizaciones e industrias. Este
impacto se puede observar en varias áreas clave, que se resumen en la siguiente
figura:
Figura 5. Ejemplos de impacto del Big Data en áreas claves. Fuente: elaboración propia.
Ética y privacidad en Big Data
El uso de Big Data implica una serie de consideraciones éticas y la necesidad de
cumplir con diversas regulaciones y legislaciones para proteger la privacidad de
los datos personales. A continuación, se describen las principales consideraciones
éticas y las regulaciones actuales en este ámbito.
Consentimiento informado
Es crucial asegurar que los usuarios comprendan cómo se utilizarán sus datos. Esto implica
proporcionar información clara y detallada sobre las prácticas de
recolección, uso y almacenamiento de datos y obtener el consentimiento explícito de
los usuarios antes de proceder.
Transparencia
Las organizaciones deben ser transparentes sobre sus prácticas de manejo de
datos. Esto incluye la claridad sobre qué datos se recopilan, cómo se utilizan y con
quién se comparten. La transparencia ayuda a construir la confianza de los usuarios
y garantiza un manejo ético de la información.
Equidad y no discriminación
Es fundamental evitar sesgos en el análisis y la toma de decisiones basada en datos. Los algoritmos
y modelos de análisis deben diseñarse y entrenarse para ser justos e
imparciales, garantizando que no se discrimine a ningún grupo o individuo.
Responsabilidad
Las organizaciones deben asumir la responsabilidad por el uso de los datos. Esto
implica implementar políticas y prácticas que aseguren la protección de la privacidad
de los datos y que cualquier violación sea manejada de manera adecuada y
transparente.
Regulaciones y legislaciones actuales
Figura 6. Leyes y regulaciones aplicadas al Big Data. Fuente: elaboración propia.
Beneficios futuros
El Big Data y la Ciencia de Datos seguirán ofreciendo significativos beneficios a
medida que avancen las tecnologías y se descubran nuevas aplicaciones.
Innovación y nuevas oportunidades
▸ La capacidad de analizar grandes volúmenes de datos abrirá nuevas oportunidades
de innovación en diversas industrias, desde la creación de nuevos productos hasta
la optimización de procesos existentes.
▸ Ejemplos: desarrollo de nuevas aplicaciones en inteligencia artificial y aprendizaje
automático que pueden revolucionar sectores como la salud y la energía.
Mejora de la toma de decisiones
▸ Las organizaciones podrán tomar decisiones más informadas y basadas en datos,
mejorando la eficiencia operativa y la competitividad.
▸ Ejemplos: uso de análisis predictivos para mejorar la gestión de la cadena de
suministro y reducir costos.
Desafíos futuros
Sin embargo, también existen importantes desafíos que deben ser abordados para
maximizar los beneficios del Big Data y la Ciencia de Datos.
Gestión y almacenamiento de datos
▸ A medida que los volúmenes de datos continúan creciendo, las organizaciones
enfrentarán desafíos en la gestión y almacenamiento eficiente de estos datos.
▸ Ejemplos: desarrollo de nuevas tecnologías de almacenamiento y procesamiento
que puedan manejar la escala creciente de datos.
Privacidad y regulación
▸ La privacidad de los datos y la regulación seguirán siendo temas críticos. Las
organizaciones deberán navegar un entorno regulatorio en constante evolución y
asegurar la conformidad con las leyes de protección de datos.
▸ Ejemplos: implementación de regulaciones como el GDPR en Europa y su impacto
en la gestión de datos global.
Habilidades y formación
▸ La demanda de profesionales capacitados en Big Data y Ciencia de Datos seguirá
creciendo. Es esencial invertir en formación y desarrollo de habilidades para
satisfacer esta demanda.
▸ Ejemplos: programas educativos y de formación que preparen a la próxima
generación de científicos de datos y analistas.
1.3. Referencias bibliográficas
Deng, L. (2018). Artificial Intelligence in the Rising Wave of Deep Learning: The
Historical Path and Future Outlook [Perspectives]. IEEE Signal Processing Magazine, 35, 180-177.
https://doi.org/10.1109/MSP.2017.2762725
Kitchin, R. (2014). The data revolution: Big Data, open data, data infrastructures and
their consequences. Sage.
Marr, B. (2020). The intelligence revolution: transforming your business with AI. Kogan Page.
Provost, F. y Fawcett, T. (2013). Data Science for business: what you need to know
about data mining and data-analytic thinking. O'Reilly Media, Inc.
Big Data: principles and best practices of scalable realtime data systems
Marz, N. y Warren, J. (2015). Big Data: principles and best practices of scalable realtime data systems. Manning Publications Co.
Este libro proporciona una comprensión profunda de los principios del Big Data y
cómo construir sistemas escalables para el procesamiento de datos en tiempo real. Es una
excelente referencia para profundizar en la arquitectura de sistemas de Big Data, el diseño de
pipelines de datos y las mejores prácticas para la implementación
de soluciones de datos a gran escala.
Big Data: what it is and why it matters
SAS.
(s.f.). Big
Data:
what
it
is
and
why
it
matters.
https://www.sas.com/en_us/insights/big-data/what-is-bigdata.html#:~:text=Big%20data%20is%20a%20term,with%20the%20data%20that%20
matters.
Este artículo proporciona una explicación detallada de qué es el Big Data, cómo se
diferencia de los datos tradicionales, las tecnologías utilizadas y sus aplicaciones en
diversos sectores. Es un excelente recurso para entender los conceptos
fundamentales y el impacto del Big Data en la ciencia de datos.
Test
1.
¿Cuál de las siguientes tecnologías se utiliza para el procesamiento distribuido
en Big Data?
A. OLAP.
B. Data Warehouses.
C. Hadoop.
D. ETL.
2.
¿Qué herramienta se utiliza comúnmente para el análisis a gran escala en BigData?
A. Excel.
B. Spark.
C. Tableau.
D. Microsoft Word.
3.
¿Cuál de las siguientes bases de datos es un ejemplo de NoSQL?A. MySQL.
B. SQL Server.
C. MongoDB.
D. Oracle.
4.
¿Qué principio ético asegura que los usuarios comprendan cómo se utilizarán
sus datos?
A. Equidad.
B. Transparencia.
C. Responsabilidad.
D. Consentimiento Informado.
5.
¿Cuál es una regulación europea que protege los datos personales de los
ciudadanos de la UE? A. CCPA.
B. LGPD.
C. GDPR.
D. HIPAA.
6.
¿Qué beneficio principal proporciona la implementación de tecnologías de BigData en el sector
salud?
A. Reducción de costos de inventario.
B. Personalización de tratamientos médicos.
C. Mejora en la logística de transporte.
D. Análisis de sentimientos en redes sociales.
7.
¿Cuál es una ventaja clave de utilizar bases de datos NoSQL en Big Data?A. Estructura
jerárquica rígida.
B. Flexibilidad para manejar datos no estructurados.
C. Requiere esquemas predefinidos.
D. Solo se usa para datos estructurados.
8.
¿Qué práctica ética implica evitar sesgos en el análisis de datos?A. Transparencia.
B. Responsabilidad.
C. Equidad y no discriminación.
D. Consentimiento informado.
9.
¿Qué herramienta es ampliamente utilizada para la gestión de proyectos Agile?
A. MATLAB.
B. JIRA.
C. Excel.
D. Microsoft Word.
10. ¿Cuál es una responsabilidad principal de un Big Data Architect?
A. Crear informes de visualización.
B. Diseñar la arquitectura de sistemas de Big Data.
C. Analizar grandes conjuntos de datos.
D. Desarrollar modelos de machine learning.