Criterios de Evaluación de Herramientas de
Ingeniería: Marco Referencial y Aplicaciones
La selección y evaluación de herramientas de ingeniería constituye un proceso crítico para
organizaciones y profesionales que buscan optimizar sus procesos técnicos. Esta investigación
presenta un análisis comprensivo de los criterios, estándares y metodologías utilizados para
evaluar herramientas en diversos campos de la ingeniería. Los resultados muestran una clara
tendencia hacia la adopción de normas internacionales como ISO/IEC 9126 e ISO 25010,
complementadas con criterios específicos según el dominio de aplicación. Se evidencia que
metodologías de evaluación estructuradas y sistemáticas permiten obtener valoraciones
objetivas que facilitan la toma de decisiones para la selección de herramientas adecuadas a
contextos particulares.
Estándares Internacionales para la Evaluación de Calidad
La evaluación de herramientas de ingeniería se fundamenta principalmente en estándares
internacionales que proporcionan marcos estructurados para valorar sus características y
desempeño. Estos estándares han evolucionado a lo largo del tiempo para adaptarse a las
cambiantes necesidades tecnológicas.
ISO/IEC 9126: Marco Tradicional de Evaluación
La norma ISO/IEC 9126 fue un estándar internacional para la evaluación de la calidad del
software hasta que fue reemplazada en 2005 por el conjunto de normas SQuaRE (ISO
25000:2014) [1] . Este estándar tiene sus raíces en el modelo establecido en 1977 por McCall y
sus colegas, quienes propusieron un modelo organizado en tres tipos de características de
calidad: factores (visión externa), criterios (visión interna) y métricas (escala y método de
medida) [1] .
El modelo de calidad establecido en la primera parte del estándar (ISO 9126-1) clasifica la
calidad del software en un conjunto estructurado de características y subcaracterísticas,
incluyendo:
1. Funcionalidad: Adecuación, exactitud, interoperabilidad, seguridad y cumplimiento funcional
2. Fiabilidad: Madurez, recuperabilidad, tolerancia a fallos y cumplimiento de fiabilidad
3. Usabilidad: Aprendizaje, comprensión, operatividad y atractividad
4. Eficiencia: Comportamiento en el tiempo y de recursos
5. Mantenibilidad: Estabilidad, facilidad de análisis, de cambio y de pruebas
6. Portabilidad: Capacidad de instalación y de reemplazamiento [1]
La implementación de esta norma ha sido documentada en diversas aplicaciones prácticas,
como la evaluación de sistemas de información académicos. En un estudio realizado en la
Universidad Santo Tomás (Tunja), se evaluaron las características de calidad del sistema de
información académico (SAC) en términos de efectividad, productividad, seguridad y
satisfacción mediante la norma ISO/IEC 9126-1:2001 [2] .
ISO/IEC 25010: Evolución de los Criterios de Calidad
La norma ISO/IEC 25010, como parte del conjunto de normas SQuaRE, representa una evolución
y actualización de la ISO 9126. Este estándar establece un sistema que evalúa la calidad de
software considerando:
1. Adaptación funcional
2. Eficiencia de desempeño
3. Compatibilidad
4. Usabilidad
5. Fiabilidad
6. Seguridad
7. Mantenibilidad
8. Portabilidad
9. Efectividad
10. Satisfacción
11. Libertad de riesgo [3]
Esta norma ha sido aplicada en diversos contextos educativos y tecnológicos. Por ejemplo, en el
diseño de un prototipo tecnológico educativo basado en realidad aumentada para la enseñanza
de programación básica, los investigadores utilizaron la norma ISO 25010 para establecer los
requerimientos funcionales, no funcionales, pedagógicos y didácticos necesarios para asegurar
un proceso de enseñanza-aprendizaje eficiente [3] .
Criterios Específicos según el Dominio de Aplicación
Los criterios de evaluación varían significativamente según el campo de aplicación de las
herramientas de ingeniería, adaptándose a las particularidades y necesidades específicas de
cada dominio.
Herramientas de Pentesting y Seguridad Informática
En el campo de la ciberseguridad, la selección adecuada de herramientas de pentesting es
crucial para realizar evaluaciones efectivas de vulnerabilidades en entornos de red, aplicaciones
web, móviles, cloud e ingeniería social. Un estudio reciente destaca que "la selección de la
herramienta de pentesting adecuada puede marcar la diferencia entre una evaluación de
seguridad efectiva y una ineficaz" [4] .
Los criterios principales para la selección de estas herramientas suelen establecerse mediante la
coincidencia de recomendaciones entre diferentes autores especializados y entidades
certificadoras. El proceso de evaluación debe considerar tanto aspectos técnicos como
operativos de las herramientas [4] .
Herramientas Computacionales para Sistemas Fotovoltaicos
En el ámbito de las energías renovables, la evaluación de herramientas de simulación para
sistemas fotovoltaicos sigue criterios específicos orientados a su aplicabilidad en contextos
particulares. Un estudio realizado para el contexto colombiano estableció cuatro criterios
principales de evaluación:
1. Histórico de citaciones: Valorando el impacto y reconocimiento académico de la herramienta
2. Accesibilidad: Facilidad para obtener y utilizar la herramienta
3. Amabilidad con el usuario: Aspectos relacionados con la interfaz y experiencia de usuario
4. Simulación: Capacidades y funcionalidades específicas para el análisis de sistemas
fotovoltaicos [5]
Este estudio evaluó herramientas como PVSyst, PVSOL, SAM y RETScreen, concluyendo que
"PVSOL es el programa con más ventajas y fortalezas" para el contexto colombiano,
destacando tanto su interfaz como la información proporcionada en las simulaciones [5] .
Herramientas de Software Libre para Análisis Forense
En el campo de la informática forense, la evaluación de herramientas de software libre para la
adquisición de evidencias de la memoria RAM requiere criterios específicos basados en la norma
ISO/IEC 25010. Un estudio evaluó herramientas como DumpIt, FTK Imager, Windows Forensic
Toolchest, OS Forensic y RamCapturer, considerando aspectos técnicos del análisis y la
capacidad de las herramientas para preservar la integridad de las evidencias [6] .
Un criterio fundamental en este dominio es la capacidad de la herramienta para recuperar
información sin alterar la evidencia, ya que "una alteración muy sutil podría cambiar el HASH
obteniendo problemas de gran escala en un juicio" [6] .
Metodologías de Evaluación y Ponderación
La selección efectiva de herramientas de ingeniería requiere metodologías estructuradas que
permitan ponderar y comparar distintos criterios de evaluación.
Proceso de Jerarquía Analítica (AHP)
El Proceso de Jerarquía Analítica (AHP) es una metodología robusta para la evaluación y
comparación de alternativas basada en criterios múltiples. Esta metodología ha sido aplicada en
diversos contextos de ingeniería, incluyendo la evaluación de la sustentabilidad en campus
universitarios.
Un estudio reciente combinó el Método Delphi para la recolección de datos con el AHP para el
análisis, permitiendo seleccionar criterios de sustentabilidad efectivos. Esta combinación
metodológica permitió "identificar y analizar las actividades sustentables en cada campus para
gestionarlos e implementar nuevos criterios e indicadores" [7] .
Ponderación de Criterios y Asignación de Puntajes
La asignación de puntajes a diferentes aspectos de evaluación y su posterior ponderación
constituye una metodología común para la valoración comparativa de herramientas. Este
enfoque permite integrar criterios cualitativos y cuantitativos en una evaluación estructurada.
En el estudio sobre herramientas de simulación para sistemas fotovoltaicos, cada criterio incluía
aspectos específicos a los cuales se asignaron puntajes individuales. Posteriormente, se realizó
"la ponderación de los puntajes para definir la herramienta computacional con más ventajas y
potencial" [5] . Este método permitió una comparación objetiva entre las diferentes alternativas
evaluadas.
Evaluación Basada en la Calidad en Uso
La calidad en uso constituye un enfoque complementario que evalúa el desempeño de las
herramientas desde la perspectiva de los usuarios finales. La norma ISO/IEC 9126-4 proporciona
un marco para esta evaluación, considerando atributos como:
1. Eficacia: Rendimiento en las tareas realizadas por el usuario
2. Productividad: Eficiencia en las operaciones cotidianas
3. Seguridad: Niveles de riesgo asociados
4. Satisfacción: Experiencia general del usuario [1] [8]
Un estudio aplicó esta metodología para evaluar software de control de activos informáticos,
concluyendo que la herramienta analizada "cumple con un porcentaje bajo de las características
de la calidad en uso", lo que resultó en una clasificación de "nivel inaceptable" [8] .
Casos Prácticos de Aplicación de Criterios de Evaluación
Los criterios de evaluación cobran especial relevancia cuando se aplican a casos concretos,
donde se evidencia su utilidad y adaptabilidad a contextos específicos.
Evaluación de Prácticas de Enseñanza en Ingeniería
En el ámbito educativo, la evaluación de herramientas y prácticas de enseñanza en ingeniería
requiere criterios específicos orientados a los resultados de aprendizaje. Un estudio basado en
la revisión sistemática de la literatura (modelo PRISMA) analizó las metodologías activas,
instrumentos de evaluación y su enfoque e impactos curriculares en la enseñanza de
ingeniería [9] .
Los resultados indicaron que "las investigaciones se centran en asignaturas relacionadas a las
ciencias de la ingeniería mediadas por aprendizaje cooperativo y aprendizaje basado en
proyectos", utilizando "técnicas de recolección de datos basadas en cuestionarios y encuestas
focalizadas en la experiencia de la innovación" [9] .
Rúbricas de Evaluación con Elementos Visuales
La incorporación de elementos visuales como emojis en las rúbricas de evaluación representa
una innovación en los criterios de evaluación tradicionales. Un estudio propone "la incorporación
de una estrategia para la especificación y elaboración de una rúbrica usando el lenguaje icono
textual a través de emoji y con pautas que proporciona la comunicación asertiva digital" [10] .
Esta aproximación, basada en experiencias en cursos de ingeniería de sistemas, demostró que
"los estudiantes asocian un lenguaje icono textual más rápido y logran entender con mayor
fluidez los aspectos de calificación colocados en cada nivel de desempeño" [10] .
Evaluación de Componentes de Software
La evaluación de componentes de software requiere criterios específicos que consideren tanto
la calidad del componente individual como su contribución a sistemas mayores. Un estudio
brasileño basado en la norma ISO/IEC 9126 identificó y organizó "las características de calidad
de mayor relevancia para componentes de software y define dimensiones de calidad, que
influencian en el grado de importancia de las mismas" [11] .
Esta investigación no solo identificó las características relevantes basándose en literatura
especializada, sino que también realizó "una pesquisa de campo, con especialistas en DBC
[Desarrollo Basado en Componentes], visando la jerarquización de esas características de
calidad" [11] .
Conclusiones y Consideraciones Futuras
La evaluación de herramientas de ingeniería constituye un campo multidimensional que requiere
criterios adaptados a contextos específicos, pero fundamentados en estándares internacionales
reconocidos.
Integración de Estándares y Criterios Específicos
Los criterios de evaluación más efectivos combinan principios generales establecidos en normas
como ISO/IEC 9126 e ISO 25010 con criterios específicos del dominio de aplicación. Esta
integración permite valoraciones holísticas que consideran tanto aspectos técnicos como
funcionales de las herramientas evaluadas.
La evidencia sugiere que "el uso de un modelo de calidad estandarizado con reconocimiento
internacional permite tener certeza para definir los requerimientos necesarios" en el desarrollo y
evaluación de herramientas de ingeniería [3] . Sin embargo, estos estándares deben
complementarse con criterios específicos para cada contexto de aplicación.
Evolución hacia Métodos de Evaluación Multidimensionales
Los métodos de evaluación han evolucionado desde enfoques unidimensionales hacia
aproximaciones multidimensionales que integran diversos criterios. Esta evolución refleja la
creciente complejidad de las herramientas de ingeniería y la diversidad de contextos en que se
aplican.
El uso de metodologías como el Proceso de Jerarquía Analítica (AHP) y la combinación de
técnicas cualitativas y cuantitativas representa una tendencia que probablemente se fortalecerá
en el futuro, permitiendo evaluaciones más robustas y adaptadas a necesidades específicas [7]
[5] .
Importancia de la Participación de Usuarios y Expertos
La participación de usuarios finales y expertos en el proceso de evaluación emerge como un
factor crítico para garantizar la relevancia y aplicabilidad de los criterios utilizados. Esta
participación puede materializarse mediante encuestas, entrevistas o metodologías como el
Método Delphi, que permite consolidar el conocimiento colectivo en criterios consensuados [7] .
La evidencia sugiere que las evaluaciones más efectivas son aquellas que integran tanto
perspectivas técnicas como funcionales, considerando no solo el desempeño de la herramienta
sino también su adecuación al contexto específico de uso y las necesidades de los usuarios
finales.
Referencias Bibliográficas
⁂
1. https://es.wikipedia.org/wiki/ISO/IEC_9126
2. https://www.semanticscholar.org/paper/caa163ded73f415610ff88fdbd06c616f69d23a9
3. https://www.semanticscholar.org/paper/45125107262cb08e23ae0191c546784961c59d44
4. https://www.semanticscholar.org/paper/6563cfd9aed09f7cb5be791770c265e7b49de9f8
5. https://www.semanticscholar.org/paper/6867ee8341ca807cd59dea7698c390228bc4d388
6. https://www.semanticscholar.org/paper/af192f69dcf29c6d6e48570da008f9c0988cdde2
7. https://www.semanticscholar.org/paper/fb31ac19293de9f74ccbb44dd8333ca056b5c490
8. https://www.semanticscholar.org/paper/a3ec3e746a7e378cd63cf0d0b80c22bc14bd0546
9. https://www.semanticscholar.org/paper/628b164e48b54c9bf957b65936040dbd827fc101
10. https://www.semanticscholar.org/paper/7c8eebcc196f9442533c098f80b3b27e8d208549
11. https://www.semanticscholar.org/paper/596737666b1e42d69f0e27018127f1ae0c36a26a