INTRODUCCIÓN
El sistema de indicadores para prever, diseñar y medir el impacto en los proyectos de investigación planteados por Fernández de Castro y López (2014), fue sometido a validación por el método Delphi de consulta a expertos según Fernández de Castro y López (2013), durante este proceso el sistema quedo constituido por 30 indicadores en cuatro dimensiones. Posteriormente se comprobó la satisfacción del cliente con la obtención de un alto coeficiente 0,93, lo que demostró su utilidad.
Para el análisis inicial para la automatización de los indicadores, nos basamos en la definición de Itzcovitz, (2001), un indicador es una comparación entre dos o más tipos de datos que sirve para elaborar una medida cuantitativa o una observación cualitativa. Esta comparación da un valor, una magnitud o un criterio, que tiene significado para quien lo analiza. Una de las ventajas de utilizar indicadores es la objetividad y comparabilidad; representan un lenguaje común que facilita una medida estandarizada. Son herramientas útiles porque permiten valorar diferentes magnitudes como, por ejemplo, el grado de cumplimiento de un objetivo o el grado de satisfacción de un cliente, a partir de evidencias de fuentes de datos que indican cambios positivos (ERAMUS, 2018).
Los indicadores por lo general, se construyen con información cuantitativa, no obstante y de modo creciente, se usan indicadores cualitativos (Albornoz, 1994). Los indicadores describen los resultados, efectos e impactos sobre la sociedad (Batista, 2005).
Los indicadores de impacto, expresan los cambios ocasionados a partir de los resultados de un proyecto y permiten la evaluación cíclica del impacto de las etapas de un proyecto (Estébanez, 2002; Lingane y Olsen, 2004; Mikkelsen, 2005; Nicholls et al., 2009; García y Palomares, 2012).
Reflejan cambios observados en los resultados de una investigación.
Se definen desde el diseño de los proyectos
Pueden ser cuantitativos y cualitativos, estos últimos están basados en la percepción o el grado de convicción del participante sobre una cierta situación.
En la evaluación de impacto se utilizan métodos cuantitativos y cualitativos, no son métodos excluyentes y se suelen utilizar en forma combinada, dependiendo de las características del proyecto a evaluar y del enfoque de evaluación diseñado.
A partir de un sistema de indicadores propuesto por Fernández de Castro y López (2013), estructurado en 4 dimensiones, científico, económico, social y medioambiental y 30 indicadores, está orientado a medir en que ámbitos y en qué medidas, un proyecto de investigación obtiene o va a obtener impacto. Otro aspecto a tener en cuenta es lo planteado en A guide to Social Return on Investment por Banke et al. (2015), donde se plantea que los indicadores propuestos deben predecir adecuadamente los resultados finales.
Estos indicadores deben predecir si el resultado ocurrido o no.
El mismo ha consistido en automatizar, la valoración de los impactos alcanzados respecto a los esperados en los proyectos de investigación científica, o sea, la cuantificación estimada del cambio que se espera producir en el ámbito científico, económico, social, tecnológico, ambiental u otro que se considere.
Para el diseño del software se ha realizado un análisis de los impactos en un análisis técnico de los mismos en las diferentes áreas o ámbitos que genere el proyecto en su contexto.
En este sentido en el Centro de Mecanización Agropecuaria (CEMA), se ha desarrollado el proyecto denominado Sistema de indicadores para prever, diseñar y medir el impacto en proyectos de investigación (Fernández de Castro y López, 2014). Partiendo de lo anterior, en el presente trabajo se propone la confección de un software, que proporcione a los investigadores, profesores y técnicos de los centros de investigación, universidades y otras entidades relacionadas con los proyectos de investigación, una herramienta de fácil utilización que permita la valoración de los indicadores de impactos en los proyectos de investigación científica en Ingeniería Agrícola, o sea, la cuantificación estimada del cambio que se espera producir en el ámbito científico, económico, social y medio ambiental.
DESARROLLO DEL TEMA
Fundamentos teóricos
Según Fernández de Castro y Shkiliova (2012), el impacto de los proyectos de investigación puede ser cuantificado por medio de 4 dimensiones: conocimiento; económico, social y medio ambiental, con 30 indicadores definidos de la siguiente forma:
Dimensión Conocimiento
1. Publicaciones
2. Tesis de doctorado
3. Tesis de maestría y especialidad
4. Trabajos de diploma
5. Fórum de ciencia y técnica
6. Premios obtenidos
7. Propuesta de propiedad intelectual
8. Participación en eventos científicos
9. Cantidad de profesores e investigadores
10. Cantidad de estudiantes
11. Carácter multidisciplinario
12. Cantidad de aportes al conocimiento
Dimensión Económica
13. Diversificación de la producción y servicios
14. Criterios de eficiencia económica
15. Tecnología, productos o servicios generados
16. Desarrollo de nuevos fondos exportables
17. Sustitución de importaciones
18. Recuperación de la inversión
19. Valor apreciado del impacto equivalente en la localidad
Dimensión Social
20. Distinción entre investigación básica y aplicada
21. Ofertas para la solución de problemas al desarrollo
22. Vinculación de actores sociales
23. Utilización de métodos participativos
24. Capacitación
25. Instituciones vinculadas al proyecto
Dimensión Medio Ambiental
Software para la evaluación del impacto de los proyectos de investigación
El software “IMPACTOp” se desarrolló sobre plataforma de trabajo EXCEL para Windows por investigadores del Centro de Mecanización Agropecuaria (CEMA),
FIGURA 1.
Panel de control del sistema
El sistema cuenta con un panel de control interactivo que permite el vínculo del usuario con cada una de las partes que lo conforman (Figura 1), mediante 7 botones de acceso rápido. Todas las partes presentan un botón de comando que permite el regreso al panel de control principal.
El Panel de control contiene los siguientes botones
Datos de entrada: permite acceder a la hoja de cálculo para la entrada de la información, referente a la valoración del proyecto por cada experto, mediante un sistema de puntuación en el rango de 1 a 5.
Las dimensiones comprendidas en la evaluación son: Conocimiento, Económica, Social y Medio Ambiental, con un total de 30 indicadores analizados.
Cada indicador presenta un comentario que explica el significado de los mismos, para lograr la comprensión más rápida por el usuario.
Esta hoja posee un botón de comando que permite el regreso al panel de control.
Hoja de resultados: permite acceder a la hoja de cálculo donde se brinda los resultados de la evaluación de cada dimensión e indicador por los expertos que realizaron el estudio del proyecto (Figura 2).
En la misma los resultados se muestran de forma normalizada con valores entre 1 y 100 puntos, así como, los valores promedios de cada dimensión y el resultado general de la evaluación del proyecto.
En esta hoja se ofrece además un gráfico radial con el comportamiento de cada dimensión en el proyecto, siendo útil para el usuario para el análisis general del mismo.
Esta hoja posee un botón de comando que permite el regreso al panel de Control.
A Continuación de forma gráfica (Figura 2) se muestra el comportamiento de las cuatro dimensiones del proyecto.
FIGURA 2.
Resultados de la evaluación de los indicadores.
En el CEMA hay experiencia en la elaboración de sistemas automatizados, los que se han tomado de base en la realización de este sistema, estando entre ellos los De las Cuevas et al. (2005, 2008, 2013).
Como se observa el proyecto presenta sus valores promedio totales en el caso de la dimensión conocimiento de 74,17 puntos, económicos 75,71 puntos, social 53,33 puntos y medio ambiental 56,00 puntos. Siendo el promedio total general de 63,23 puntos. La dimensión conocimiento está afectada fundamentalmente por el indicador relacionado con las salidas de tesis de doctorado; la dimensión económica, tuvo su indicador más bajo en el desarrollo de fondos exportables con 47,0 puntos; en la dimensión social los indicadores con influencia negativa son la utilización de métodos participativos y vinculación con actores sociales con 40 puntos cada uno. En el caso del aspecto medio ambiental los indicadores de menores valores, son las tecnologías limpias para mejorar la calidad del medio ambiente y servicios ecológicos generados, con 20 puntos cada uno.
Se muestra seguidamente de forma gráfica el comportamiento de cada dimensión de impacto en el proyecto evaluado.
Grafico Dimensión Conocimiento: permite la visualización del grafico sobre el comportamiento de los 12 indicadores que relacionan esta dimensión, el cual permite al usuario una valoración más clara sobre las posibles indicadores con bajas puntuaciones y en los que es necesario trabajar. Este análisis personalizado influye de manera positiva con vistas a lograr un impacto mayor con el proyecto evaluado Figura 3).
FIGURA 3.
Comportamiento de los indicadores de conocimiento.
Esta hoja posee un botón de comando que permite el regreso al panel de control.
Gráficos Dimensión Económica, Social y Medio Ambiental: permite la visualización de los gráficos sobre el comportamiento de los indicadores para las dimensiones mencionadas, estas hojas presentan iguales características que para la dimensión del Conocimiento (Figuras 4, 5 y 6)
FIGURA 4.
Comportamiento de los indicadores económicos.
FIGURA 5.
Comportamiento de los indicadores sociales.
FIGURA 6.
Comportamiento de los indicadores medio ambientales.
Acerca de: muestra los nombres y apellidos de los autores, versión, logotipo y dirección del centro de trabajo, etc. (Figura 7)
FIGURA 7.
Acerca de:
CONCLUSIONES
El software “IMPACTOp” realiza la determinación rápida de los principales indicadores que caracterizan las dimensiones Conocimiento, Económica, Social y Medio Ambiental en los proyectos de investigación.
“IMPACTOp” es de fácil manipulación, accediendo a cada parte del mismo mediante el vínculo del usuario con el Panel de Control Principal.
Con el empleo del software se logra un aumento de la productividad del personal científico-técnico que necesita determinar el impacto de un proyecto de investigación.
El proyecto “Evaluación de un conjunto de máquinas para la labranza conservacionista”, presentó como evaluación general de impacto de 63,26 puntos.