INTRODUCCIÓN
La problemática de la medición del impacto de las investigaciones científicas, realizadas en el marco de proyectos de investigación I+D+i, constituye un tema novedoso que genera la necesidad de estandarizar patrones para prever, diseñar y medir el efecto de sus resultados a corto, mediano y largo plazo. El sistema de indicadores es una herramienta que permite a los profesores e investigadores desde el diseño de un proyecto, prever determinados aspectos que tenidos en cuenta desde la confección del mismo en correspondencia con la Resolución 44 /2012 del Ministro CITMA Citma-Cuba (2012), con vistas a ayudar a la medición del impacto delos resultados obtenidos como se solicita en los objetivos del Ministerio de Educación Superior (MES) de Cuba Mes-Cuba (2009), y en el Manual de Procedimientos para la Gestión y Control de los Programas y Proyectos del MES (Mes-Cuba, 2012).
Este sistema de indicadores fue propuesto mediante la implementación de dos estudios de caso único instrumental, el primero desarrollado a nivel de la UNAH con los proyectos concluidos que tributaban al desarrollo local en el período 2007-2009 y el segundo a nivel del CEMA con la totalidad de los proyectos de investigación concluidos en el período 2006-2010. Posteriormente, se sometieron a la validación desde el punto de vista teórico, por el criterio de expertos mediante el método Delphi, con la participación de 16 expertos de 8 instituciones del país, los cuales consideraron válido el mismo para su aplicación y lo enriquecieron con sus opiniones cualitativas al recomendar la inclusión de la dimensión medioambiental con sus indicadores. El nivel de validación antes expresado permitió proceder a la implementación del sistema de indicadores a nivel de 12 instituciones académico investigativas del país (5 universidades y 7 centros de investigación de tres ministerios diferentes relacionados con el sector agropecuario), El proceso de validación mediante la Técnica de IADOV, confirmó su factibilidad de uso, expresado cuantitativamente en el alto Índice de Satisfacción Grupal ,lo que refleja aceptación de la propuesta y un reconocimiento a su utilidad.
El objetivo general de este trabajo es demostrar la validez del sistema de Indicadores para la previsión, el diseño y la medición del impacto sobre el desarrollo local de los proyectos de investigación.
Los objetivos específicos son: la propuesta del sistema de indicadores mediante estudios de casos, su validación teórica mediante el método Delphi de consulta a expertos, y mediante la utilización de la Técnica de IADOV validar el grado de satisfacción delos usuarios con la implementación del sistema de indicadores propuesto.
MÉTODOS
En la primera parte del trabajo ¨El sistema de indicadores para la previsión, diseño y medición de impacto sobre el desarrollo local de los proyectos de investigación del sector agropecuario¨ de (Fernández de Castro, 2010), fue propuesto mediante la implementación de dos estudios de caso, el primero desarrollado a nivel de la Universidad Agraria de La Habana (UNAH)y el segundo a nivel del Centro de Mecanización Agropecuaria (CEMA). Se utilizó como referente teórico para la selección de los indicadores y su clasificación según el impacto (del conocimiento, económicos y sociales) de (Fernández, 2000), así como la conceptualización de las tres dimensiones realizada por (Itzcovitz y Fernández, 1998), que propone para medir el impacto social tener en cuenta los resultados de las investigaciones realizadas en los proyectos mediante el uso de indicadores, y los canales o vías de comunicación para la vinculación de las instituciones locales y los actores sociales. Los indicadores se seleccionaron teniendo en cuenta los documentos rectores del Ministerio de Educación Superior (MES), del Ministerio de Ciencia, Tecnología y Medio Ambiente (CITMA) y los de la Red Internacional de Indicadores (RICYT) para conocer cómo había sido prevista la medición del impacto en los proyectos de investigación de la Universidad Agraria de la Habana y determinarlos principales logros y deficiencias en la previsión, diseño y medición del impacto sobre el desarrollo local de los proyectos de investigación del sector agropecuario.
Para la validación del sistema de indicadores desde el punto de vista teórico, se utilizó el método Delphi de consulta a expertos, considerado uno de los métodos subjetivos de pronosticación más confiables, al combinar criterios de análisis de base subjetiva con análisis matemático-estadístico de los resultados. Para conseguir el objetivo de la investigación, en concordancia con lo que plantea el método Delphi en sus postulados teóricos Oñate et al.(1988); Estévez y Gallastegui (2005); Cruz (2007); Blasco et al.(2010), se conformaron los dos grupos humanos encargados de validar el sistema de indicadores diseñado, en este caso el grupo coordinador y el grupo de expertos.
En la selección del grupo de expertos el primer paso fue fijar como criterio fundamental de selección la competencia de los candidatos en el área de las investigaciones y el postgrado, sobre la base de su currículo personal. Se identificaron 32 posibles candidatos y se descartó la mitad por falta de disposición a participar. Del total inicial quedaron 16 expertos.
El instrumento que se somete a validación por el panel de expertos es un sistema constituido por 17 indicadores, referido anteriormente, distribuidos en tres dimensiones propuestas por (Fernández, 2000): la del Conocimiento (9), la Económica (2) y la Social (6). También se evaluaron la Relevancia, la Pertinencia y la Coherencia del Sistema de Indicadores propuesto (Fernández, 2012).
Siguiendo los criterios de un grupo de autores que han aplicado el método Delphi en sus investigaciones como Oñate et al. (1988); López (2008); Cruz (2009); Blasco et al. (2010), se estableció la secuencia metodológica a seguir, compuesta de tres fases fundamentales: preliminar, exploratoria y final.
En la fase preliminares conformó el grupo coordinador que asumió la responsabilidad de seleccionar el grupo de expertos a partir de su nivel de conocimiento y competencia. Entre sus funciones estuvo interpretar los resultados parciales y finales de la investigación y supervisar la marcha correcta de la misma, para realizar ajustes y correcciones.
En la fase exploratoria se confeccionó la primera versión del cuestionario y se sometió, en una segunda ronda, a la validación por el grupo de expertos seleccionados con la intención de recabar los criterios cuantitativos y cualitativos más estables. El envío y la recepción del cuestionario se realizó por correo electrónico en archivo adjunto, el cual estaba conformado por una primera página con una breve introducción al tema de investigación, la explicación clara del objetivo de la investigación, el método que se utiliza, la fase en que se encontraba el proceso de investigación, las instrucciones para cumplimentar el cuestionario, seguido del correspondiente instrumento para la validación. Este último consta de una escala de respuesta tipo Likert con 5 categorías, además de una pregunta abierta para recoger las valoraciones cualitativas de cada experto acerca de los ítems planteados o la introducción de alguno nuevo. El plazo máximo dado para responder fue de 20 días. Se le asignó un número a cada experto para garantizar el anonimato.
Los resultados de la segunda ronda de consulta para la validación por parte del grupo de expertos, fueron analizados desde el punto de vista cuantitativo. El tratamiento estadístico, se llevó a cabo a través del sistema automatizado para el procesamiento del método de consulta a expertos, versión 1.0 propuesto por (Hurtado de Mendoza y Méndez, 2007). Asimismo, se realizó un análisis cualitativo de las opiniones expresadas por los expertos a la pregunta abierta incorporada al instrumento de consulta. Los resultados estadísticos tabulados y el cuestionario modificado, teniendo en cuenta las sugerencias de los expertos, fueron devueltos al grupo para una tercera ronda de consulta. La tercera ronda de consulta para la validación por parte del grupo de expertos, consistió en opinar sobre el sistema de indicadores incrementado con las sugerencias de los expertos participantes.
En la fase final se solicitó la valoración por parte de los expertos en cuanto a la Relevancia, la Pertinencia y la Coherencia del sistema de indicadores para prever, diseñar y medir el impacto sobre el desarrollo local de los proyectos de investigación, y se sintetizan los resultados de todo el proceso de validación mediante consulta interactiva a los expertos en la propuesta definitiva del sistema de indicadores para su posterior aplicación en el proceso de investigación (Fernández de Castro y López, 2013a; 2013b).
Para la validación desde el punto de vista prácticos utilizó la Técnica de IADOV (basada en el criterio de usuarios) como procedimiento científico metodológico para el procesamiento de los resultados. Esta técnica constituye una vía indirecta para el estudio de la satisfacción del cliente según López y González (2002); Tejedor (2005); Lombillo (2011); Pérez et al. (2013), teniendo en cuenta los postulados teóricos de Campistrous y Rizo (2006), cuando expresan que la técnica de criterio de usuarios debe usarse como vía para valorar resultados en aquellos casos en que los evaluadores son usuarios de lo que se propone, es decir que además de tener dominio del problema en estudio, están "contextualizados", inmersos en el contexto en el que se aplica el resultado. En correspondencia con el criterio antes esgrimido, se seleccionaron un total de 12 instituciones del país en las cuales se ha utilizado previamente el sistema de indicadores propuesto, coincidiendo con igual número de profesores e investigadores, que son líderes de proyectos de investigación afines con el sector agropecuario. El procedimiento de selección de la muestra para determinar la distribución de esta con respecto a la población, fue de tipo no probabilística, intencional, que permitió seleccionar directa y explícitamente los sujetos que se consideraron más accesibles y con posibilidades de ofrecer mayor cantidad de información.
El cuestionario empleado para determinar el grado de satisfacción de los usuarios con la propuesta de sistema de indicadores para prever, diseñar y medir el impacto de los proyectos de investigación en el sector agropecuario contó con un total de cinco preguntas, de ella tres cerradas (1, 3 y 5) y dos abiertas (2 y 4), cuya relación ignoraba el sujeto. Estas tres preguntas cerradas se relacionan a través del “Cuadro lógico de Iadov” el cual se presenta adaptado a la presente investigación en la Tabla 1.
TABLA 1.
Cuadro lógico de IADOV
Fuente: Elaboración propia
El número resultante de la interrelación de las tres preguntas nos indica la posición de cada sujeto en la escala de satisfacción, o sea su satisfacción individual (Fernández de Castro y López, 2014).
Esta técnica también permite obtener el índice de satisfacción grupal (ISG), para lo cual se trabaja con los diferentes niveles de satisfacción que se expresan en la escala numérica que oscila entre +1 y - 1.
RESULTADOS Y DISCUSIÓN
Estudios de caso y propuesta del sistema de indicadores
Basándose en el estudio de la experiencia internacional, nacional y los documentos rectores del CITMA, MES y RICYT, se diseñó un set de17 indicadores que se pueden utilizar para la planificación y medición de impactos de los proyectos de investigación sobre el desarrollo local. La selección se fundamentó en el vínculo de los efectos de la ciencia y la innovación tecnológica sobre las distintas esferas que conducen a la obtención del impacto social. Este vínculo se expresa mediante la combinación de indicadores que midan el impacto del conocimiento (ocho indicadores), el económico (dos indicadores), social (siete indicadores), teniendo en cuenta los canales o vías de comunicación entre ellos. Se identificó la presencia delos indicadores seleccionados dando como resultado que en el diseño del proyecto se utilizan los indicadores de forma insuficiente y no cuantificados y que por consiguiente el impacto se prevé mayoritariamente de forma cualitativa. Se elaboró por primera vez una propuesta de indicadores para estandarizar la medición del impacto sobre el desarrollo local en los proyectos de investigación de la UNAH, que debe contribuir al perfeccionamiento del procedimiento para la evaluación del impacto real de las estrategias (Fernández de Castro, 2010).
Validación por el método Delphi
En la fase preliminar. El 62% de los 16 expertos seleccionados proceden de seis instituciones académicas diferentes de alto nivel y prestigio, relacionados directamente con la temática de investigación. El 38% son de la Universidad Agraria de La Habana (UNAH).
La Fase exploratoria constó de tres rondas de consulta para la validación del sistema de indicadores obtenido como resultado del análisis realizado por Fernández de Castro (2010). En la primera ronda de esta fase se sometió a la valoración del grupo coordinador la versión inicial del sistema que aportó como resultado un grupo de consideraciones de orden cualitativo que favorecieron el ajuste y corrección del mismo.
Una vez modificado el sistema de indicadores a partir de las consideraciones obtenidas como resultado de la primera ronda, se sometió a una segunda ronda de consulta al grupo de expertos, cuyos resultados cuantitativos de las valoraciones realizadas se procesaron mediante análisis estadístico aplicando la metodología descrita en los métodos.
En la Tabla 2 se puede apreciar que las dimensiones propuestas fueron calificadas de muy adecuadas por los expertos. En la Tabla 3 se recoge que el 77% de los indicadores fueron clasificados como muy adecuados y el 23% de adecuados.
TABLA 2.
Resultados del método de expertos para la valoración de las dimensiones que componen el sistema de indicadores para la previsión, diseño y medición del impacto de los proyectos de investigación sobre desarrollo local
TABLA 3.
Resultados del método de expertos para la valoración de los indicadores que componen el sistema de indicadores para la previsión, diseño y medición del impacto de los proyectos de investigación sobre desarrollo local
Además, los expertos plantearon un grupo de consideraciones de orden cualitativo en respuesta a la pregunta abierta incluida en el instrumento. Éstas fueron recogidas y analizadas con el fin de comprobar, en términos de discrepancia o concordancia, la necesidad de complementación de las dimensiones e indicadores que conforman el sistema.
Se propone la inclusión de nuevos indicadores:
En la dimensión 1 Impacto del conocimiento se proponen 3 indicadores:
Para la dimensión 2 Impacto económico se proponen 5 indicadores:
Se propone por 3 expertos una nueva dimensión 4, el “Impacto medioambiental” y 5 indicadores.
En la tercera ronda de consulta al grupo de expertos, se presentaron los resultados estadísticos de la segunda ronda tabulados y el cuestionario modificado teniendo en cuenta las propuestas realizadas por ellos. Al repetir el mismo análisis estadístico utilizado de la segunda ronda, así como los resultados cualitativos en respuesta a la pregunta abierta, se mantuvo la estabilidad de los criterios en el 100% de los expertos consultados, que valoraron las 4 dimensiones y los 30 indicadores como muy adecuados. Se consideró que la estructura del sistema de indicadores para prever, diseñar y medir el impacto sobre el desarrollo local de los proyectos de investigación, en la forma que están estructurados, son su ficientes para la investigación, razón por la cual no se hace necesario realizar una nueva ronda como señalan en sus investigaciones (Oñate et al., 1988; Cruz, 2007; Blasco et al., 2010).
En la fase final se solicitó la valoración por parte de los expertos de la Relevancia, la Pertinencia y la Coherencia del sistema de indicadores para prever, diseñar y medir el impacto sobre el desarrollo local de los proyectos de investigación. Las evaluaciones resultaron: muy relevante-relevante y muy coherente-coherente en el 81,3% y muy pertinente-pertinente en el 87,5%. Una vez que los expertos han llegado a un consenso en relación a la validez del sistema de indicadores para prever, diseñar y medir el impacto sobre el desarrollo local de los proyectos de investigación a partir de su consulta iterativa aplicando el método Delphi, el grupo coordinador de la investigación estableció la estructura definitiva del mismo, la cual se presenta en el Anexo 1. A partir de su validación este sistema de indicadores fue entregado a los usuarios para su utilización.
Evaluación de la satisfacción del usuario mediante el uso de la técnica de IADOV
Para evaluar la satisfacción con el sistema de indicadores aplicado en las doce instituciones seleccionadas como muestra, se utilizó la Técnica de IADOV para recoger el criterio de los usuarios, mediante dicha técnica se determina el nivel de satisfacción individual y grupal a partir de una encuesta elaborada según las exigencias pertinentes y aplicada a la muestra seleccionada de profesores e investigadores, que son líderes de proyectos de investigación afines con el sector agropecuario.
Para obtener el índice de satisfacción grupal (ISG) se parte de asociar los diferentes niveles de satisfacción de los encuestados con una escala numérica que oscila entre +1 y-1 (Tabla 4), de la siguiente forma:
TABLA 4.
Relación de la satisfacción individual con la escala de satisfacción
Fuente: Elaboración propia.
En esta investigación el Índice de Satisfacción Grupal fue: ISG=0,92. Como se puede apreciar en la Figura 1, el valor del índice es alto, lo que refleja aceptación de la propuesta, un reconocimiento a su utilidad, en tanto los usuarios han emitido criterios donde evidencian su satisfacción por la contribución del sistema de indicadores para prever, diseñar y medir el impacto en los proyectos de investigación del sector agropecuario, resultados que concuerdan con lo alcanzado por González y López (2010); Coria (2008); González (2013), Estebanez (1998); Estébanez (2002)
Fuente: Elaboración propia
FIGURA 1.
Ubicación del Índice de Satisfacción Grupal con el Sistema de Indicadores propuesto.
La técnica de IADOV contempla además dos preguntas complementarias de carácter abierto.
Pregunta 2. ¿Qué importancia le concede al sistema de indicadores?
Pregunta 4. ¿Qué aspectos a su juicio potencian o limitan el uso de este sistema de indicadores?
Con respecto a la importancia que le conceden al sistema de indicadores respondieron lo siguiente:
Constituye una herramienta metodológica de trabajo que permite prever, diseñar y medir el impacto de forma rápida e imparcial, lo cual posibilita fundamentar científicamente los resultados y el futuro impacto de los proyectos.
Permite analizar un proyecto con un enfoque integrador, considerando las dimensiones abordadas (conocimiento, económica, social y medioambiental).
Facilita la planificación, el control y el análisis justo y oportuno del impacto de los proyectos de investigación.
Con relación a los aspectos que potencian o limitan el uso de este sistema de indicadores aplicado, señalaron:
Potencian:
Incrementar la generalización del sistema de indicadores en las instituciones académico investigativas del sector agropecuario.
La exigencia del jefe del proyecto, de la institución ejecutora y los financista para prever, diseñar, y medir dichos impactos.
La validez e impacto del resultado de los proyectos, previo, durante y posterior a su aplicación.
Mejorar la calidad de los proyectos y la medición de impacto.
Limitan:
No contar con la herramienta.
La falta de difusión y conocimiento por parte de los usuarios del sistema de indicadores.
La falta de rigor profesional al realizar una evaluación detallada del impacto que se logra al aplicar este tipo de proyectos.
La resistencia al cambio.
Resulta significativo en el análisis de estas opiniones, la preponderancia de aspectos positivos planteados, lo cual sirve como fundamento del alto valor obtenido en el ISG.
No obstante, varias de las opiniones negativas aportan elementos que señalan la necesidad de perfeccionar el proceso de implementación del sistema de indicadores propuesto, lo cual constituye un valioso elemento de retroalimentación.
CONCLUSIONES
Se elaboró por primera vez una propuesta de indicadores para estandarizar la medición del impacto sobre el desarrollo local en los proyectos de investigación del sector agropecuario de la UNAH, con el fin de contribuir al perfeccionamiento del procedimiento para la evaluación del impacto real de las estrategias y acciones para el desarrollo local. A partir del análisis de las principales deficiencias en el uso de los diferentes indicadores para prever y medir el impacto se pudo constatar la efectividad que se logra con el empleo de los mismos.
El proceso de validación mediante el método Delphi de consulta a expertos concluyó con un consenso del 100% de los expertos consultados en relación a la validez del sistema de indicadores para prever, diseñar y medir el impacto sobre el desarrollo local de los proyectos de investigación. El sistema de indicadores propuesto fue enriquecido con las opiniones de los participantes, que otorgaron Relevancia, Pertinencia y Coherencia al sistema de indicadores. Las evaluaciones fueron: muy relevante-relevante y muy coherente-coherente en el 81,3% y muy pertinente-pertinente en el 87,5%. Por todo lo antes expresado, se puede considerar validado el sistema de indicadores para prever, diseñar y medir el impacto sobre el desarrollo local de los proyectos de investigación.
El proceso de validación mediante la Técnica de IADOV de la consulta a los usuarios donde se ha implementado el sistema de indicadores propuesto, confirmó su factibilidad de uso, expresado cuantitativamente en el alto Índice de Satisfacción Grupal (ISG=0,92) y cualitativamente en los criterios emitidos donde evidencian su satisfacción por la contribución del sistema de indicadores para prever, diseñar y medir el impacto en los proyectos de investigación del sector agropecuario, lo que refleja aceptación de la propuesta y un reconocimiento a su utilidad.