ARTÍCULO ORIGINAL

http://opn.to/a/hl6NG

Sistema de indicadores para prever, diseñar y medir el impacto de los proyectos de investigación

System of Indicators to Prevent, Design and Measure the Impact of Research Projects


RESUMEN

La problemática de la medición del impacto de las investigaciones científicas, realizadas en el marco de proyectos de investigación I+D+i, constituye un tema novedoso que genera la necesidad de estandarizar patrones para prever, diseñar y medir el efecto de sus resultados a corto, mediano y largo plazo. El impacto de las investigaciones científicas es un tema de importancia en la actualidad, dado que, de su cumplimiento, se derivan luego una serie de decisiones sobre política científica y sobre la orientación del trabajo en beneficio de la sociedad. Este sistema de indicadores se realizó teniendo en cuenta el vínculo que debe existir entre los resultados obtenidos en las universidades y centros de investigación mediante proyectos y los resultados que se puedan transferir a las instituciones del territorio, que impacten sobre el desarrollo local. Se validó desde el punto de vista teórico por el método DELPHI de consulta a expertos, los que lo consideraron válido para su aplicación y le otorgaron Relevancia, Pertinencia y Coherencia. La implementación de este sistema de indicadores en universidades y centros de investigación sirvió de base para la aplicación de la Técnica de IADOV, que permitió conocer el grado de satisfacción de los usuarios, como resultado se confirmó la factibilidad de uso, expresado cuantitativamente en el alto Índice de Satisfacción Grupal. El objetivo general de este trabajo es demostrar la validez del sistema de indicadores para la previsión, el diseño y la medición del impacto sobre el desarrollo local de los proyectos de investigación.

Palabras clave: 

evaluación; Método Delphi; Técnica de Iadov; desarrollo local; universidad.

ABSTRACT

The problem of measuring the impact of scientific research, carried out within the framework of R + D + i research projects, is a novel subject that generates the need to standardize patterns to predict, design and measure the effect of short-term, medium and long term results. The impact of scientific research is an issue of current importance, given that its fulfillment is followed by a series of decisions on scientific policy and on the orientation of work for the benefit of society. This system of indicators was made taking into account the link that must exist between the results obtained in universities and research centers through projects and the results that can be transferred to the institutions of the territory, which have an impact on local development. It was validated from the theoretical point of view by the DELPHI method of consulting experts, who considered it valid for its application and gave it Relevance, Relevance and Consistency. The implementation of this system of indicators in universities and research centers served as the basis for the application of the IADOV Technique, which allowed knowing the degree of satisfaction of the users, as a result the feasibility of use was confirmed, expressed quantitatively in the High Index of Group Satisfaction. The general objective of this work is to demonstrate the validity of the system of indicators for the forecast, design and measurement of the impact on the local development of research projects.

Keywords: 

Evaluation; Delphi Method; Iadov Technique; Local Development; University.


INTRODUCCIÓN

La problemática de la medición del impacto de las investigaciones científicas, realizadas en el marco de proyectos de investigación I+D+i, constituye un tema novedoso que genera la necesidad de estandarizar patrones para prever, diseñar y medir el efecto de sus resultados a corto, mediano y largo plazo. El sistema de indicadores es una herramienta que permite a los profesores e investigadores desde el diseño de un proyecto, prever determinados aspectos que tenidos en cuenta desde la confección del mismo en correspondencia con la Resolución 44 /2012 del Ministro CITMA Citma-Cuba (2012), con vistas a ayudar a la medición del impacto delos resultados obtenidos como se solicita en los objetivos del Ministerio de Educación Superior (MES) de Cuba Mes-Cuba (2009), y en el Manual de Procedimientos para la Gestión y Control de los Programas y Proyectos del MES (Mes-Cuba, 2012).

Este sistema de indicadores fue propuesto mediante la implementación de dos estudios de caso único instrumental, el primero desarrollado a nivel de la UNAH con los proyectos concluidos que tributaban al desarrollo local en el período 2007-2009 y el segundo a nivel del CEMA con la totalidad de los proyectos de investigación concluidos en el período 2006-2010. Posteriormente, se sometieron a la validación desde el punto de vista teórico, por el criterio de expertos mediante el método Delphi, con la participación de 16 expertos de 8 instituciones del país, los cuales consideraron válido el mismo para su aplicación y lo enriquecieron con sus opiniones cualitativas al recomendar la inclusión de la dimensión medioambiental con sus indicadores. El nivel de validación antes expresado permitió proceder a la implementación del sistema de indicadores a nivel de 12 instituciones académico investigativas del país (5 universidades y 7 centros de investigación de tres ministerios diferentes relacionados con el sector agropecuario), El proceso de validación mediante la Técnica de IADOV, confirmó su factibilidad de uso, expresado cuantitativamente en el alto Índice de Satisfacción Grupal ,lo que refleja aceptación de la propuesta y un reconocimiento a su utilidad.

El objetivo general de este trabajo es demostrar la validez del sistema de Indicadores para la previsión, el diseño y la medición del impacto sobre el desarrollo local de los proyectos de investigación.

Los objetivos específicos son: la propuesta del sistema de indicadores mediante estudios de casos, su validación teórica mediante el método Delphi de consulta a expertos, y mediante la utilización de la Técnica de IADOV validar el grado de satisfacción delos usuarios con la implementación del sistema de indicadores propuesto.

MÉTODOS

En la primera parte del trabajo ¨El sistema de indicadores para la previsión, diseño y medición de impacto sobre el desarrollo local de los proyectos de investigación del sector agropecuario¨ de (Fernández de Castro, 2010), fue propuesto mediante la implementación de dos estudios de caso, el primero desarrollado a nivel de la Universidad Agraria de La Habana (UNAH)y el segundo a nivel del Centro de Mecanización Agropecuaria (CEMA). Se utilizó como referente teórico para la selección de los indicadores y su clasificación según el impacto (del conocimiento, económicos y sociales) de (Fernández, 2000), así como la conceptualización de las tres dimensiones realizada por (Itzcovitz y Fernández, 1998), que propone para medir el impacto social tener en cuenta los resultados de las investigaciones realizadas en los proyectos mediante el uso de indicadores, y los canales o vías de comunicación para la vinculación de las instituciones locales y los actores sociales. Los indicadores se seleccionaron teniendo en cuenta los documentos rectores del Ministerio de Educación Superior (MES), del Ministerio de Ciencia, Tecnología y Medio Ambiente (CITMA) y los de la Red Internacional de Indicadores (RICYT) para conocer cómo había sido prevista la medición del impacto en los proyectos de investigación de la Universidad Agraria de la Habana y determinarlos principales logros y deficiencias en la previsión, diseño y medición del impacto sobre el desarrollo local de los proyectos de investigación del sector agropecuario.

Para la validación del sistema de indicadores desde el punto de vista teórico, se utilizó el método Delphi de consulta a expertos, considerado uno de los métodos subjetivos de pronosticación más confiables, al combinar criterios de análisis de base subjetiva con análisis matemático-estadístico de los resultados. Para conseguir el objetivo de la investigación, en concordancia con lo que plantea el método Delphi en sus postulados teóricos Oñate et al.(1988); Estévez y Gallastegui (2005); Cruz (2007); Blasco et al.(2010), se conformaron los dos grupos humanos encargados de validar el sistema de indicadores diseñado, en este caso el grupo coordinador y el grupo de expertos.

En la selección del grupo de expertos el primer paso fue fijar como criterio fundamental de selección la competencia de los candidatos en el área de las investigaciones y el postgrado, sobre la base de su currículo personal. Se identificaron 32 posibles candidatos y se descartó la mitad por falta de disposición a participar. Del total inicial quedaron 16 expertos.

El instrumento que se somete a validación por el panel de expertos es un sistema constituido por 17 indicadores, referido anteriormente, distribuidos en tres dimensiones propuestas por (Fernández, 2000): la del Conocimiento (9), la Económica (2) y la Social (6). También se evaluaron la Relevancia, la Pertinencia y la Coherencia del Sistema de Indicadores propuesto (Fernández, 2012).

Siguiendo los criterios de un grupo de autores que han aplicado el método Delphi en sus investigaciones como Oñate et al. (1988); López (2008); Cruz (2009); Blasco et al. (2010), se estableció la secuencia metodológica a seguir, compuesta de tres fases fundamentales: preliminar, exploratoria y final.

En la fase preliminares conformó el grupo coordinador que asumió la responsabilidad de seleccionar el grupo de expertos a partir de su nivel de conocimiento y competencia. Entre sus funciones estuvo interpretar los resultados parciales y finales de la investigación y supervisar la marcha correcta de la misma, para realizar ajustes y correcciones.

En la fase exploratoria se confeccionó la primera versión del cuestionario y se sometió, en una segunda ronda, a la validación por el grupo de expertos seleccionados con la intención de recabar los criterios cuantitativos y cualitativos más estables. El envío y la recepción del cuestionario se realizó por correo electrónico en archivo adjunto, el cual estaba conformado por una primera página con una breve introducción al tema de investigación, la explicación clara del objetivo de la investigación, el método que se utiliza, la fase en que se encontraba el proceso de investigación, las instrucciones para cumplimentar el cuestionario, seguido del correspondiente instrumento para la validación. Este último consta de una escala de respuesta tipo Likert con 5 categorías, además de una pregunta abierta para recoger las valoraciones cualitativas de cada experto acerca de los ítems planteados o la introducción de alguno nuevo. El plazo máximo dado para responder fue de 20 días. Se le asignó un número a cada experto para garantizar el anonimato.

Los resultados de la segunda ronda de consulta para la validación por parte del grupo de expertos, fueron analizados desde el punto de vista cuantitativo. El tratamiento estadístico, se llevó a cabo a través del sistema automatizado para el procesamiento del método de consulta a expertos, versión 1.0 propuesto por (Hurtado de Mendoza y Méndez, 2007). Asimismo, se realizó un análisis cualitativo de las opiniones expresadas por los expertos a la pregunta abierta incorporada al instrumento de consulta. Los resultados estadísticos tabulados y el cuestionario modificado, teniendo en cuenta las sugerencias de los expertos, fueron devueltos al grupo para una tercera ronda de consulta. La tercera ronda de consulta para la validación por parte del grupo de expertos, consistió en opinar sobre el sistema de indicadores incrementado con las sugerencias de los expertos participantes.

En la fase final se solicitó la valoración por parte de los expertos en cuanto a la Relevancia, la Pertinencia y la Coherencia del sistema de indicadores para prever, diseñar y medir el impacto sobre el desarrollo local de los proyectos de investigación, y se sintetizan los resultados de todo el proceso de validación mediante consulta interactiva a los expertos en la propuesta definitiva del sistema de indicadores para su posterior aplicación en el proceso de investigación (Fernández de Castro y López, 2013a; 2013b).

Para la validación desde el punto de vista prácticos utilizó la Técnica de IADOV (basada en el criterio de usuarios) como procedimiento científico metodológico para el procesamiento de los resultados. Esta técnica constituye una vía indirecta para el estudio de la satisfacción del cliente según López y González (2002); Tejedor (2005); Lombillo (2011); Pérez et al. (2013), teniendo en cuenta los postulados teóricos de Campistrous y Rizo (2006), cuando expresan que la técnica de criterio de usuarios debe usarse como vía para valorar resultados en aquellos casos en que los evaluadores son usuarios de lo que se propone, es decir que además de tener dominio del problema en estudio, están "contextualizados", inmersos en el contexto en el que se aplica el resultado. En correspondencia con el criterio antes esgrimido, se seleccionaron un total de 12 instituciones del país en las cuales se ha utilizado previamente el sistema de indicadores propuesto, coincidiendo con igual número de profesores e investigadores, que son líderes de proyectos de investigación afines con el sector agropecuario. El procedimiento de selección de la muestra para determinar la distribución de esta con respecto a la población, fue de tipo no probabilística, intencional, que permitió seleccionar directa y explícitamente los sujetos que se consideraron más accesibles y con posibilidades de ofrecer mayor cantidad de información.

El cuestionario empleado para determinar el grado de satisfacción de los usuarios con la propuesta de sistema de indicadores para prever, diseñar y medir el impacto de los proyectos de investigación en el sector agropecuario contó con un total de cinco preguntas, de ella tres cerradas (1, 3 y 5) y dos abiertas (2 y 4), cuya relación ignoraba el sujeto. Estas tres preguntas cerradas se relacionan a través del “Cuadro lógico de Iadov” el cual se presenta adaptado a la presente investigación en la Tabla 1.

TABLA 1. 

Cuadro lógico de IADOV

  • P1

  • ¿Se siente satisfecho con el resultado que obtuvo con la aplicación del Sistema de Indicadores propuesto para la previsión, diseño y medición de impacto de los proyectos de investigación?

No sé No

  • P5

  • ¿Le gusta la forma en que se diseñó el sistema de indicadores basado en las dimensiones, del conocimiento, económico, social y medioambiental?

  • P3

  • ¿Siente Usted que esta herramienta le es útil para ser utilizada desde el mismo diseño del proyecto?

No séNoNo séNoNo séNo
Me gusta mucho126226666
Me gusta más de lo que me disgusta223233636
Me es indiferente333333333
Me disgusta más de lo que me gusta636344344
No me gusta666644645
No puedo decir236333634

Fuente: Elaboración propia

El número resultante de la interrelación de las tres preguntas nos indica la posición de cada sujeto en la escala de satisfacción, o sea su satisfacción individual (Fernández de Castro y López, 2014).

Esta técnica también permite obtener el índice de satisfacción grupal (ISG), para lo cual se trabaja con los diferentes niveles de satisfacción que se expresan en la escala numérica que oscila entre +1 y - 1.

RESULTADOS Y DISCUSIÓN

Estudios de caso y propuesta del sistema de indicadores

Basándose en el estudio de la experiencia internacional, nacional y los documentos rectores del CITMA, MES y RICYT, se diseñó un set de17 indicadores que se pueden utilizar para la planificación y medición de impactos de los proyectos de investigación sobre el desarrollo local. La selección se fundamentó en el vínculo de los efectos de la ciencia y la innovación tecnológica sobre las distintas esferas que conducen a la obtención del impacto social. Este vínculo se expresa mediante la combinación de indicadores que midan el impacto del conocimiento (ocho indicadores), el económico (dos indicadores), social (siete indicadores), teniendo en cuenta los canales o vías de comunicación entre ellos. Se identificó la presencia delos indicadores seleccionados dando como resultado que en el diseño del proyecto se utilizan los indicadores de forma insuficiente y no cuantificados y que por consiguiente el impacto se prevé mayoritariamente de forma cualitativa. Se elaboró por primera vez una propuesta de indicadores para estandarizar la medición del impacto sobre el desarrollo local en los proyectos de investigación de la UNAH, que debe contribuir al perfeccionamiento del procedimiento para la evaluación del impacto real de las estrategias (Fernández de Castro, 2010).

Validación por el método Delphi

En la fase preliminar. El 62% de los 16 expertos seleccionados proceden de seis instituciones académicas diferentes de alto nivel y prestigio, relacionados directamente con la temática de investigación. El 38% son de la Universidad Agraria de La Habana (UNAH).

La Fase exploratoria constó de tres rondas de consulta para la validación del sistema de indicadores obtenido como resultado del análisis realizado por Fernández de Castro (2010). En la primera ronda de esta fase se sometió a la valoración del grupo coordinador la versión inicial del sistema que aportó como resultado un grupo de consideraciones de orden cualitativo que favorecieron el ajuste y corrección del mismo.

Una vez modificado el sistema de indicadores a partir de las consideraciones obtenidas como resultado de la primera ronda, se sometió a una segunda ronda de consulta al grupo de expertos, cuyos resultados cuantitativos de las valoraciones realizadas se procesaron mediante análisis estadístico aplicando la metodología descrita en los métodos.

En la Tabla 2 se puede apreciar que las dimensiones propuestas fueron calificadas de muy adecuadas por los expertos. En la Tabla 3 se recoge que el 77% de los indicadores fueron clasificados como muy adecuados y el 23% de adecuados.

TABLA 2. 

Resultados del método de expertos para la valoración de las dimensiones que componen el sistema de indicadores para la previsión, diseño y medición del impacto de los proyectos de investigación sobre desarrollo local

Resultados Frecuencias Acumuladas Frecuencias Relativas Imágenes por la inv, de la curva normal
DimensionesC1C2C3C4C5TotalC1C2C3C4C5C1C2C3C4C1C2C3C4SumaProm,N-PCateg,
D-1 9 4 3 0 0 16 9 13 16 16 16 0,5625 0,8125 1,0000 1,0000 0,16 0,89 3,49 3,49 8,03 2,01 -0,73MA
D-2 8 5 2 1 0 16 8 13 15 16 16 0,5000 0,8125 0,9375 1,0000 0 0,89 1,53 3,49 5,91 1,48 -0,2MA
D-3 8 4 2 2 0 16 8 12 14 16 16 0,5000 0,7500 0,8750 1,0000 0 0,67 1,15 3,49 5,31 1,33 -0,05MA
Puntos de Corte0,050,822,063,4919.25

TABLA 3. 

Resultados del método de expertos para la valoración de los indicadores que componen el sistema de indicadores para la previsión, diseño y medición del impacto de los proyectos de investigación sobre desarrollo local

Resultados Frecuencias Acumuladas Frecuencias Relativas Imágenes por la inv. de la curva normal
IndicadoresC1C2C3C4C5TotalC1C2C3C4C5C1C2C3C4C1C2C3C4SumaProm,N-PCateg,
I- 1,196001169151515160,56250,93750,93750,93750,161,531,531,534,751,190,19BA
I-1,21051001610151616160,62500,93751,00001,00000,321,533,493,498,832,21-0,83MA
I-1,396100169151616160,56250,93751,00001,00000,161,533,493,498,672,17-0,79MA
I- 1,496100169151616160,56250,93751,00001,00000,161,533,493,498,672,17-0,79MA
I- 1,577200167141616160,43750,87501,00001,0000-0,161,153,493,497,971,99-0,61MA
I-1,61041101610141516160,62500,87500,93751,00000,321,151,533,496,491,62-0,24MA
I-1,71040111610141415160,62500,87500,87500,93750,321,151,151,534,151,040,34BA
I-1,895011169141415160,56250,87500,87500,93750,161,151,151,533,990,990,39BA
I-1,975121167121315160,43750,75000,81250,9375-0,160,670,891,532,930,730,65BA
I- 2,176300167131616160,43750,81251,00001,0000-0,160,893,493,497,711,93-0,55MA
I- 2,295110169141516160,56250,87500,93751,00000,161,151,533,496,331,58-0,2MA
I- 3,166220166121416160,37500,75000,87501,0000-0,320,671,153,494,991,250,13MA
I- 3,21141001611151616160,68750,93751,00001,00000,491,533,493,4992,25-0,87MA
I- 3,31051001610151616160,62500,93751,00001,00000,321,533,493,498,832,21-0,83MA
I- 3,486110168141516160,50000,87500,93751,000001,151,533,496,171,54-0,16MA
I- 3,51051001610151616160,62500,93751,00001,00000,321,533,493,498,832,21-0,83MA
I- 3,61051001610151616160,62500,93751,00001,00000,321,533,493,498,832,21-0,83MA
Puntos de Corte0,141,262,463,03117,14

Además, los expertos plantearon un grupo de consideraciones de orden cualitativo en respuesta a la pregunta abierta incluida en el instrumento. Éstas fueron recogidas y analizadas con el fin de comprobar, en términos de discrepancia o concordancia, la necesidad de complementación de las dimensiones e indicadores que conforman el sistema.

Se propone la inclusión de nuevos indicadores:

En la dimensión 1 Impacto del conocimiento se proponen 3 indicadores:

Para la dimensión 2 Impacto económico se proponen 5 indicadores:

Se propone por 3 expertos una nueva dimensión 4, el “Impacto medioambiental” y 5 indicadores.

En la tercera ronda de consulta al grupo de expertos, se presentaron los resultados estadísticos de la segunda ronda tabulados y el cuestionario modificado teniendo en cuenta las propuestas realizadas por ellos. Al repetir el mismo análisis estadístico utilizado de la segunda ronda, así como los resultados cualitativos en respuesta a la pregunta abierta, se mantuvo la estabilidad de los criterios en el 100% de los expertos consultados, que valoraron las 4 dimensiones y los 30 indicadores como muy adecuados. Se consideró que la estructura del sistema de indicadores para prever, diseñar y medir el impacto sobre el desarrollo local de los proyectos de investigación, en la forma que están estructurados, son su ficientes para la investigación, razón por la cual no se hace necesario realizar una nueva ronda como señalan en sus investigaciones (Oñate et al., 1988; Cruz, 2007; Blasco et al., 2010).

En la fase final se solicitó la valoración por parte de los expertos de la Relevancia, la Pertinencia y la Coherencia del sistema de indicadores para prever, diseñar y medir el impacto sobre el desarrollo local de los proyectos de investigación. Las evaluaciones resultaron: muy relevante-relevante y muy coherente-coherente en el 81,3% y muy pertinente-pertinente en el 87,5%. Una vez que los expertos han llegado a un consenso en relación a la validez del sistema de indicadores para prever, diseñar y medir el impacto sobre el desarrollo local de los proyectos de investigación a partir de su consulta iterativa aplicando el método Delphi, el grupo coordinador de la investigación estableció la estructura definitiva del mismo, la cual se presenta en el Anexo 1. A partir de su validación este sistema de indicadores fue entregado a los usuarios para su utilización.

Evaluación de la satisfacción del usuario mediante el uso de la técnica de IADOV

Para evaluar la satisfacción con el sistema de indicadores aplicado en las doce instituciones seleccionadas como muestra, se utilizó la Técnica de IADOV para recoger el criterio de los usuarios, mediante dicha técnica se determina el nivel de satisfacción individual y grupal a partir de una encuesta elaborada según las exigencias pertinentes y aplicada a la muestra seleccionada de profesores e investigadores, que son líderes de proyectos de investigación afines con el sector agropecuario.

Para obtener el índice de satisfacción grupal (ISG) se parte de asociar los diferentes niveles de satisfacción de los encuestados con una escala numérica que oscila entre +1 y-1 (Tabla 4), de la siguiente forma:

TABLA 4. 

Relación de la satisfacción individual con la escala de satisfacción

ESCALASIGNIFICADOSATISFACCIÓN INDIVIDUAL%
+ 1Máximo de satisfacción1083,3
+ 0,5Más satisfecho que insatisfecho216,7
0No definido y contradictorio00
- 0,5Más insatisfecho que satisfecho00
- 1Máxima insatisfacción00

Fuente: Elaboración propia.

En esta investigación el Índice de Satisfacción Grupal fue: ISG=0,92. Como se puede apreciar en la Figura 1, el valor del índice es alto, lo que refleja aceptación de la propuesta, un reconocimiento a su utilidad, en tanto los usuarios han emitido criterios donde evidencian su satisfacción por la contribución del sistema de indicadores para prever, diseñar y medir el impacto en los proyectos de investigación del sector agropecuario, resultados que concuerdan con lo alcanzado por González y López (2010); Coria (2008); González (2013), Estebanez (1998); Estébanez (2002)

Fuente: Elaboración propia

FIGURA 1. 

Ubicación del Índice de Satisfacción Grupal con el Sistema de Indicadores propuesto.

La técnica de IADOV contempla además dos preguntas complementarias de carácter abierto.

Pregunta 2. ¿Qué importancia le concede al sistema de indicadores?

Pregunta 4. ¿Qué aspectos a su juicio potencian o limitan el uso de este sistema de indicadores?

Con respecto a la importancia que le conceden al sistema de indicadores respondieron lo siguiente:

  • Constituye una herramienta metodológica de trabajo que permite prever, diseñar y medir el impacto de forma rápida e imparcial, lo cual posibilita fundamentar científicamente los resultados y el futuro impacto de los proyectos.

  • Permite analizar un proyecto con un enfoque integrador, considerando las dimensiones abordadas (conocimiento, económica, social y medioambiental).

  • Facilita la planificación, el control y el análisis justo y oportuno del impacto de los proyectos de investigación.

Con relación a los aspectos que potencian o limitan el uso de este sistema de indicadores aplicado, señalaron:

Potencian:

  • Incrementar la generalización del sistema de indicadores en las instituciones académico investigativas del sector agropecuario.

  • La exigencia del jefe del proyecto, de la institución ejecutora y los financista para prever, diseñar, y medir dichos impactos.

  • La validez e impacto del resultado de los proyectos, previo, durante y posterior a su aplicación.

Mejorar la calidad de los proyectos y la medición de impacto.

Limitan:

  • No contar con la herramienta.

  • La falta de difusión y conocimiento por parte de los usuarios del sistema de indicadores.

  • La falta de rigor profesional al realizar una evaluación detallada del impacto que se logra al aplicar este tipo de proyectos.

  • La resistencia al cambio.

Resulta significativo en el análisis de estas opiniones, la preponderancia de aspectos positivos planteados, lo cual sirve como fundamento del alto valor obtenido en el ISG.

No obstante, varias de las opiniones negativas aportan elementos que señalan la necesidad de perfeccionar el proceso de implementación del sistema de indicadores propuesto, lo cual constituye un valioso elemento de retroalimentación.

CONCLUSIONES

  • Se elaboró por primera vez una propuesta de indicadores para estandarizar la medición del impacto sobre el desarrollo local en los proyectos de investigación del sector agropecuario de la UNAH, con el fin de contribuir al perfeccionamiento del procedimiento para la evaluación del impacto real de las estrategias y acciones para el desarrollo local. A partir del análisis de las principales deficiencias en el uso de los diferentes indicadores para prever y medir el impacto se pudo constatar la efectividad que se logra con el empleo de los mismos.

  • El proceso de validación mediante el método Delphi de consulta a expertos concluyó con un consenso del 100% de los expertos consultados en relación a la validez del sistema de indicadores para prever, diseñar y medir el impacto sobre el desarrollo local de los proyectos de investigación. El sistema de indicadores propuesto fue enriquecido con las opiniones de los participantes, que otorgaron Relevancia, Pertinencia y Coherencia al sistema de indicadores. Las evaluaciones fueron: muy relevante-relevante y muy coherente-coherente en el 81,3% y muy pertinente-pertinente en el 87,5%. Por todo lo antes expresado, se puede considerar validado el sistema de indicadores para prever, diseñar y medir el impacto sobre el desarrollo local de los proyectos de investigación.

  • El proceso de validación mediante la Técnica de IADOV de la consulta a los usuarios donde se ha implementado el sistema de indicadores propuesto, confirmó su factibilidad de uso, expresado cuantitativamente en el alto Índice de Satisfacción Grupal (ISG=0,92) y cualitativamente en los criterios emitidos donde evidencian su satisfacción por la contribución del sistema de indicadores para prever, diseñar y medir el impacto en los proyectos de investigación del sector agropecuario, lo que refleja aceptación de la propuesta y un reconocimiento a su utilidad.

 

REFERENCIAS BIBLIOGRÁFICAS

BLASCO, M.J.E.; PADRÓN, L.A.; MENGUAL, A.S.: “Validación mediante el método Delphi de un cuestionario para conocer las experiencias e interés hacia las actividades acuáticas con especial atención al Winsurf”, Ágora para la educación física y el deporte, 12(1): 75-94, 2010, ISSN: 1578-2174.

CAMPISTROUS, L.; RIZO, C.: El criterio de expertos como método en la investigación educativa, no. Documento elaborado para el Doctorado Curricular, Inst. Instituto Superior de Cultura Física «Manuel Fajardo», La Habana, Cuba, 1-31 p., 2006.

CITMA-CUBA: Reglamento para el proceso de elaboración, aprobación, planificación, ejecución y control de los Programas y Proyectos de Ciencia, Tecnología e Innovación, no. Resolución 44 /2012 del CITMA, Inst. Ministerio de Ciencia, Tecnología y Medio Ambiente, La Habana, Cuba, 2012.

CORIA, I.D.: “El estudio de impacto ambiental: características y metodologías”, Invenio, 11(20): 125-135, 2008, ISSN: 0329-3475.

CRUZ, M.: “El Método Delphi en las Investigaciones”, En: Congreso PEDAGOGÍA’2007, La Habana, Cuba, p. 40, 2007.

CRUZ, M.: El método Delphi en las investigaciones educacionales, no. Informe Final del Proyecto de Investigación Estadística para la Educación, La Habana, Cuba, 1-48 p., 2009.

ESTEBANEZ, M.E.: “La medición del impacto de la ciencia y la tecnología en el desarrollo social”, En: Taller de Indicadores de Impacto Social de la Ciencia y la Tecnología, RICYT, La Cumbre, Argentina, La Cumbre, Argentina, 1998.

ESTÉBANEZ, M.E.: “Impacto social de la ciencia y la tecnología: estrategias para su análisis”, En: RICYT: El estado de la ciencia. Principales indicadores deficiencia y tecnología iberoamericanos/interamericanos, Argentina, pp. 95-103, 2002.

ESTÉVEZ, B.M. de L.; GALLASTEGUI, A.J.J.: “El método Delphi. Su implementación en una estrategia didáctica para la enseñanza de las demostraciones geométricas”, Revista Iberoamericana de educación, 36(7): 1-10, 2005, ISSN: 1681-5653.

FERNÁNDEZ DE CASTRO, F.A.: Análisis de la medición del impacto en los proyectos de investigación de la Universidad Agraria de La Habana (UNAH), 100 pp, Universidad Agraria de La Habana (UNAH), MSc. Thesis, San José de Las Lajas, Mayabeque, Cuba, 100 p., 2010.

FERNÁNDEZ DE CASTRO, F.A.; LÓPEZ, P.A.: Los proyectos de investigación y su impacto. Validación y propuesta de un sistema de indicadores, no. Registro: 2233-2013, Inst. Centro Nacional de Derecho de Autor (CENDA), Certificación de depósito legal facultativo de obras protegidas del CENDA, La Habana, Cuba, 2013a.

FERNÁNDEZ DE CASTRO, F.A.; LÓPEZ, P.A.: “Validación mediante método Delphi de un sistema de indicadores para prever, diseñar y medir el impacto sobre el desarrollo local de los proyectos de investigación en el sector agropecuario”, Revista Ciencias Técnicas Agropecuarias, 22(3): 54-60, 2013b, ISSN: 1010-2760, e-ISSN: 2071-0054.

FERNÁNDEZ DE CASTRO, F.A.; LÓPEZ, P.A.: “Validación mediante criterio de usuarios del sistema de indicadores para prever, diseñar y medir el impacto en los proyectos de investigación del sector agropecuario”, Revista Ciencias Técnicas Agropecuarias, 23(3): 77-82, 2014, ISSN: 1010-2760, e-ISSN: 2071-0054.

FERNÁNDEZ, P.E.: “La medición del impacto social de la ciencia y tecnología”, 2000.

FERNÁNDEZ, P.E.: “La medición del impacto social de la ciencia y tecnología. 30p”, Retrieved on, 12, 2012.

GONZÁLEZ, C.L.: Sistema de Indicadores para evaluar el impacto de la formación de los profesionales del Centro Universitario Municipal de Quivicán, Universidad Agraria de La Habana (UNAH), MSc. Thesis, San José de las Lajas, Mayabeque, Cuba, 157 p., 2013.

GONZÁLEZ, L.; LÓPEZ, I.: “Validación y propuesta de un modelo de indicadores de evaluación de la calidad en el la universidad”, Revista Iberoamericana de educación, 53(6): 1-13, 2010.

HURTADO DE MENDOZA, S.; MÉNDEZ, D.: Software educativo, Método de Consulta a Expertos (Delphi). CECOFIS ] 2007, [en línea], Inst. CECOFIS, La Habana, Cuba, 2007, Disponible en: http://www.cecofis.cu/artículo3.asp ., [Consulta: 10 de septiembre de 2009].

ITZCOVITZ, V.; FERNÁNDEZ, P.E.: “Propuesta metodológica sobre la medición del impacto de la C y T sobre el desarrollo social”, En: al Segundo Taller de Indicadores de Impacto Social de la Ciencia y la Tecnología, RICYT, Ed. Red Internacional de Indicadores RICYT, La Cumbre, Argentina, 1998.

LOMBILLO, R.I.: Estrategia metodológica para el uso integrado y progresivo de los medios de enseñanza por docentes de la Universidad Agraria de La Habana, Universidad Agraria de La Habana, PhD. Thesis, San José de las Lajas, Mayabeque, Cuba, 2011.

LÓPEZ, A.: “La modelación de la habilidad diagnóstico patológico desde el enfoque histórico cultural para la asignatura patología veterinaria”, Pedagogía Universitaria, 13(5): 51-71, 2008, ISSN: 1609-4808.

LÓPEZ, A.; GONZÁLEZ, V.: “La técnica de Iadov. Una aplicación para el estudio de la satisfacción de los alumnos por las clases de educación física”, Revista Digital Lecturas: Educación Física y Deporte [en línea], 2002.

MES-CUBA: Manual de procedimientos para la gestión y control de los programas y proyectos, Inst. Ministerio de Educación Superior (MES), La Habana, Cuba, 2009.

MES-CUBA: Objetivos de trabajo para el año 2013 y hasta el 2016, Inst. Ministerio de Educación Superior (MES), La Habana, Cuba, 2012.

OÑATE, N.; RAMOS, L.; DÍAZ, A.: “Utilización del Método Delphi en la pronosticación: Una experiencia inicial”, Cuba: Economía Planificada, 3(4): 9-48, 1988.

PÉREZ, B.; MOREJÓN, C.A.; TORRES, A.; IRIARTE, L.: “Sistema de generación automática de hipervideo basado en repositorios de objetos de aprendizaje para la carrera Ingeniería Agrícola”, Revista Ciencias Técnicas Agropecuarias, 22(4): 36-40, 2013, ISSN: 1010-2760, e-ISSN: 2071-0054.

TEJEDOR, L.J.: “Niveles de satisfacción e insatisfacción escolar por las Actividades en el Medio natural en la Educación Secundaria Obligatoria y el Bachillerato. Aplicación de la técnica Iadov”, Revista EF deportes . com, 85, 2005.

ANEXO 1. Sistema de Indicadores para Prever, Diseñar y Medir el Impacto sobre el desarrollo local de los Proyectos de Investigación

  • 1. Impacto del Conocimiento

    • 1.1 Publicaciones en cualquiera de los 4 grupos propuestos. Normas, Innovaciones Instructivos Técnicos, así como otros documentos que expliciten el conocimiento nuevo o mejorado obtenido y lo incorporen al ciclo innovativo de las entidades del territorio.

    • 1.2Tesis de Doctorado, que consideren dentro de sus resultados científicos en el plano teórico y práctico, los aportes al desarrollo local.

    • 1.3 Tesis de Maestría y Especialidad, que aporten a la solución de problemas de la localidad.

    • 1.4 Trabajos de Diploma, que aporten solución al problema real de la localidad, mediante el banco de problemas del municipio.

    • 1.5 Fórum de Ciencia y Técnica, presentación de trabajos resultantes del proyecto a nivel de base, municipal o provincial.

    • 1.6 Premios obtenidos, el proyecto debe ser objeto de premios y reconocimientos por la calidad de su aporte científico y por su introducción en la práctica. Premios Fórum Ciencia y Técnica y de Innovación Provincial y Premios Ramales.

    • 1.7 Propuestas de Propiedad Intelectual. Debe preverse la protección tanto por modalidades de propiedad industrial (patentes, registro de variedades vegetales u otra forma), como de derecho de autor (software, multimedias, WEB). Prever si es un proyecto con otras instituciones, el % de participación de las mismas con respecto a los resultados susceptibles de proteger.

    • 1.8 Participación en eventos científicos, presentación de trabajos en eventos científicos relevantes en Cuba y en el exterior.

    • 1.9 Cantidad de profesores e investigadores participantes en el proyecto.

    • 1.10 Cantidad de estudiantes procedentes de grupos científicos estudiantiles vinculados al proyecto.

    • 1.11 El carácter multidisciplinario de los proyectos a evaluar integración de distintas disciplinas.

    • 1.12 Cantidad de aportes al conocimiento como resultado de la investigación.

  • 2. Impacto Económico

    • 2.1 Diversificación de la producción y servicios, que los resultados tengan una repercusión en la localidad que favorezca la diversificación de productos y servicios.

    • 2.2 Crecimiento de la Eficiencia Económica, disminución de los costos, aumento de la rentabilidad, ahorro de recursos materiales.

    • 2.3 Tecnologías, productos o servicios generados por el proyecto.

    • 2.4 Desarrollo de nuevos fondos exportables, que generen nuevos productos.

    • 2.5 Sustitución de importaciones, que generen soluciones.

    • 2.6 Recuperación de la inversión, lograr ganancias o utilidades.

    • 2.7 Valor apreciado del impacto equivalente en la localidad, lograr un reconocimiento medible en los beneficiarios.

  • 3. Impacto Social

    • 3.1 Distinción entre investigación básica y aplicada: desarrollo e innovación según su carácter, las investigaciones pueden dar soluciones de carácter inmediato o a más largo plazo.

    • 3.2 Ofertas para la solución de problemas al desarrollo local: propuestas desde el conocimiento científico para la solución de problemas locales.

    • 3.3 Vinculación de actores sociales: establecimiento de vínculos con actores sociales locales y externos, como el gobierno local, CITMA municipal y provincial, las ONG, universidades, centros de investigación, (red de actores que contribuyan a un sistema local de innovación) necesario para vehicular la relación entre los resultados y la localidad.

    • 3.4 Utilización de métodos participativos: base de comunicación entre los investigadores y los actores sociales.

    • 3.5 Capacitación: capacitar de manera adecuada a las personas, comunidades, instituciones locales, responsables de continuar las acciones una vez culminados los proyectos.

    • 3.6 Instituciones locales vinculadas al proyecto: para la introducción de los aportes en la práctica, que posteriormente avalen la importancia y los beneficios obtenidos.

  • 4. Impacto Medioambiental

    • 4.1 Utilización de los Métodos de la Agricultura de Conservación, que no agredan el medioambiente (reducción del uso de portadores energéticos fósiles, etc.)

    • 4.2 Tecnologías limpias, para mejorar y preservar la calidad del medioambiente.

    • 4.3 Servicios ecológicos, generados por el proyecto como pueden ser, medidas para la conservación del paisaje, del patrimonio local, etc.).

    • 4.4 Soluciones a los problemas de contaminación (hídrica, atmosférica, sonora, química, etc.,) que se prevean antes de comenzar la investigación.

    • 4.5 Contribución al decrecimiento de la degradación de los recursos naturales, suelo (erosión, salinidad, compactación, mal drenaje, etc.) agua (alteración del drenaje natural, consumo excesivo, desecación, etc.) biodiversidad (deterioro de ecosistemas, reducción de cobertura boscosa, introducción de especies invasoras, etc.)

 

 

 

 

Astrid Fernández de Castro Fabre, Profesora e Investigadora Auxiliar, Universidad Agraria de La Habana, Dirección de Informatización, San José de las Lajas, Mayabeque, Cuba, CP: 32700,e-mail: astrid@unah.edu.cu

Alexander López Padrón, Profesor Titular, Universidad Técnica de Manabí, Portoviejo, Manabí, Ecuador. e-mail: alejolopezpadron@gmail.com

María Victoria Gómez Águila, Prof. Titular, Universidad Autónoma Chapingo, Departamento de Ingeniería Mecánica Agrícola, Chapingo, Texcoco, Edo. México, México, e-mail: mvgomez@hotmail.com

Los autores de este trabajo declaran no presentar conflicto de intereses.

Este es un artículo publicado en acceso abierto bajo una licencia Creative Commons