Un aspecto de gran importancia en la investigación educativa es determinar si existen diferencias en la capacidad que tienen los docentes para promover aprendizajes en sus estudiantes, identificar aquellos docentes más efectivos y llegar a descubrir los factores que permiten que un docente se destaque en comparación con otros. El proceso de aprendizaje de los estudiantes está influido por múltiples factores, entre otros, el efecto combinado de varios docentes que afectan de manera coincidente los alcances académicos del estudiante en un determinado momento. Conocer la relación que existe entre las mediciones de desempeño docente y los resultados de los estudiantes es de gran importancia en el proceso de mejoramiento continuo de la calidad académica que deben ofrecer las instituciones de Educación Superior. Ésta actividad investigativa se centra en la medición del desempeño docente como un primer paso, con el fin de llegar a caracterizar las diversas tipologías que se presentan en el ejercicio de la labor docente dentro de la UFPS e indagar si el instrumento utilizado es el adecuado. Para lograr este objetivo se procesan los datos derivados de la aplicación del formato de evaluación docente (del primer semestre del 2013) que fueron diligenciados por la totalidad de estudiantes en cada materia matriculada. Se utilizan diversas técnicas multivariantes como el Análisis Factorial, Análisis de Clústers y Análisis Discriminante para obtener el mayor beneficio posible de los datos y al final se generan varias conclusiones derivadas de estos análisis.
Palabras Claves: Desempeño docente, técnicas multivariantes.
AbstractAn aspect of great importance in educational research is to determine if there are differences in ability that have teachers to promote learning in their students, identify more effective teachers and get to discover the factors that allow a teacher stand in comparison with others. The learning process of the students is influenced by multiple factors, among others, the combined effect of several teachers that affect matching the academic scope of the student at a given time. Knowing the relationship between teaching performance measurements and the results of the students is of great importance in the process of continuous improvement of academic quality that should offer the institutions of higher education. This research activity focuses on measuring teacher performance as a first step, in order to characterize different typologies which arise in the exercise of the teaching within the UFPS and inquire if the instrument used is appropriate. To achieve this goal are processed the data deriving from the application of the format of teaching evaluation (of the first half of 2013) which were completed by all students in each subject enrolled. Various multivariate techniques such as factor analysis, cluster analysis and discriminant analysis are used to get the most benefit possible data and several conclusions derived from these analyses are generated at the end.
Keywords: Performance teacher, multivariate techniques.
Como referencia, Golhaber y E. Anthony (2004) es el primer estudio en proveer evidencia que confirma que el proceso de evaluación y certificación docente que aplica el NBPTS1 en Estados Unidos es eficiente en identificar a los docentes que contribuyen a que los estudiantes tengan mejores resultados de aprendizaje.
En el ámbito de la formación docente, los resultados de las evaluaciones generan información para identificar parte de la brecha existente entre las competencias docentes y los requerimientos nacionales para que los estudiantes alcancen los niveles de aprendizaje esperados. Estos antecedentes constituyen una fuente de información para los procesos de fortalecimiento de las instituciones de educación. Asimismo, los resultados de las evaluaciones docentes permiten diseñar políticas de educación continua focalizadas de acuerdo a los requerimientos de diversos grupos específicos de docentes.
La función de la evaluación en general, y del desempeño docente en particular debe ser comprendida en el marco de un contexto socioeconómico. Los procesos educativos no pueden entenderse de forma aislada, puesto que están de por medio los factores condicionantes tales como los culturales, políticos y económicos. El modelo económico neoliberal (predominante en Colombia) es el marco en donde se desarrollan los procesos educativos, y para efectivizar este modelo económico los países deberán privatizar el sector público, reducir el gasto público en la áreas sociales (salud, educación y empleo) y reducir el estado a su mínima expresión.
Cabe señalar algunos de los rasgos característicos del modelo mencionado: “La Educación Superior debe ser vista como una mercancía que debe ser pagada por los beneficiarios”; “Las instituciones deben ser administradas como empresas capaces de generar ganancias, antes que como entidades educativas formadoras de seres humanos...”; “La modificación de currículos para responder a lo que el mercado reclama incide, a su vez, en la preferencia por el carácter técnico-operativo de la Educación Superior, en desmedro de la formación cultural, ética y ciudadana...”; “Se instala políticas de estímulo al desempeño docente, según las cuales los maestros que más producen tendrán opciones a estímulos económicos o bonificaciones adicionales. Esta es una estrategia utilizada para calificar desde una nueva perspectiva productivista e individualizada el trabajo de los docentes e impulsar la mercantilización de la investigación”.
Como exigencia social y estatal, las instituciones de educación pública deben garantizar la calidad de los procesos académicos que ofrecen y es en este escenario dónde los procesos evaluativos se convierten en una herramienta útil. La Universidad Francisco de Paula Santander no es ajena a esta corriente y tomando como referencia las exigencias del Consejo Nacional de Acreditación en cuanto al Factor Docentes (Características 12-15) como un insumo para medir la calidad académica de los egresados de un programa, se ha institucionalizado el diligenciamiento de la evaluación docente por parte de la totalidad de estudiantes en todas las asignaturas matriculadas. De esta forma se pretende identificar las debilidades y fortalezas del grupo de docentes vinculados a cada programa académico.
Es por ello, que es de vital importancia garantizar que el instrumento utilizado para este fin cumpla de forma eficiente en la identificación de dichas fortalezas o debilidades. Esta actividad investigativa pretende hacer una revisión desde el punto de vista del Análisis Multivariante sobre la objetividad del instrumento y generar si es posible un documento que sirva de insumo en un proceso de meta-evaluación.
Materiales y MétodosEsta propuesta investigativa se desarrolla a través de varias etapas descritas a continuación.
Primera Etapa “Los Datos”. Los datos fueron obtenidos de la Vicerrectoría Académica de la UFPS, la cual facilitó una colección de archivos en PDF que contenía la lista de 676 docentes agrupados por Departamento Académico y acompañado por su calificación promedio en cada ítem del instrumento de evaluación. El instrumento utilizado se compone de 22 ítems los cuales están agrupados en cuatro categorías: Desarrollo del Conocimiento, Desempeño Docente, Procesos de Evaluación e Integración Interpersonal. Cada ítem es calificado con una escala Likert de cinco niveles. Dado este número de niveles en la escala valorativa, se asume como variable cuantitativa cada uno de los ítems del instrumento.
Segunda Etapa “El Procesamiento de los Datos”. Revisada la calidad de los datos, se procedió a exportarlos a SPSS y fue éste el software utilizado para la realización de los diversos análisis estadísticos descriptivos y multivariantes.
Tercera Etapa “Interpretación de Resultados”. En la medida que se avanzaba en la aplicación de los diversos análisis estadísticos se fueron encontrando hallazgos que al final proporcionan los aportes derivados de la técnica de análisis utilizada.
Cuarta Etapa “Socialización de Resultados”. Una vez finalizados los diversos análisis estadísticos se procede a generar el informe final y derivado de él, éste artículo con fines de difusión.
Resultados y DiscusiónSe consideran cuatro tipos de análisis diferentes, cada uno con un objetivo particular con el fin de lograr así extraer la mayor cantidad de información posible de los datos recolectados.
Análisis Descriptivo de los datos: orientada a describir características generales de los docentes tales como sexo, número de estudiantes a cargo, número de grupos orientados, relación de facultades y algunas tablas cruzadas.
Análisis Factorial de los datos: orientada a identificar la existencia de variables latentes que sean combinación lineal de las variables originales con el fin de reducir la dimensionalidad de los datos con la menor pérdida de información.
Análisis Discriminante de los datos: orientada a establecer la posible existencia de diferencias significativas entre los resultados de la evaluación docente en las diversas facultades de la estructura orgánica de la UFPS.
Análisis por Clúster de los datos: orientada a determinar la existencia de posibles agrupaciones considerando inicialmente la totalidad de docentes y en un segundo análisis la totalidad de ítems para contrastarlo con la agrupación proporcionada en el instrumento.
A continuación se presentan los aspectos más relevantes obtenidos de la cada uno de los análisis multivariantes propuestos.
Analisis Descritivos De Los Datos. Se destacan los siguientes aspectos:
Análisis Factorial De Los Datos. De una exploración inicial se encontró que todas las variables eran significativas en la primera componente. Este problema se generó debido a que las calificaciones obtenidas eran muy similares entre sí y ofrecían poca variabilidad. Para resolver éste problema se realizó un proceso de centrado de las calificaciones en cada ítem con respecto a la media de dicho docente.
De las Medidas de Adecuación para la realización del Análisis Factorial: a) De la matriz de correlación se concluye que no es conveniente aplicar el análisis factorial dado que muy pocos valores superan el umbral de 0,3 en valor absoluto, pero esta medida puede estar influenciada por el tamaño de la población considerada; b) De las medidas de adecuación KMO y de Esfericidad de Bartlett, se concluye que si es conveniente realizar un Análisis Factorial.
De la extracción del número de factores se llegó a la conclusión de utilizar los seis primeros componentes principales ya que con ellos se cumplen los criterios de Kaiser y el Test del Codo de Castell.
De la Aplicación del Análisis Factorial se logró reducir la dimensionalidad de los datos en un 72% sacrificando aproximadamente el 38% de la explicación de la varianza total. Este resultado es admisible dado que nuestro fin tras la aplicación del Análisis Factorial, era la reducción de la dimensionalidad de los datos.
De la Comunalidad se pudo garantizar la explicación de al menos el 50% de la varianza de cada ítem en el 95% de la prueba. Del ítem P8: ¿Fomenta la participación en clase? con este modelo se logró explicar aproximadamente el 41% de su varianza total.
De la información que representa los factores se logró generar un perfil de los docentes asociados a cada factor identificando dos grupos de variables, aquellas con alta comunalidad positiva y las de alta comunalidad negativa. De esta forma se podría decir de cada docente los aspectos positivos y negativos en su actuar docente. La información se muestra en la siguiente tabla.
| Factor | Características |
|---|---|
| 1 | Este factor permite identificar el perfil de un docente que en el aula expresa sus ideas de forma clara, responde satisfactoriamente ante las dudas de sus estudiantes, evidencia dominio de los temas desarrollados y presenta los contenidos apoyándose en aplicaciones reales. Pero, es impuntual con el horario de las clases, no brinda asesoría extramuros a sus estudiantes y no proporciona información de material bibliográfico. |
| 2 | Este factor permite identificar el perfil de un docente que trata con respeto al estudiante y considera sus problemas sociales, es abierto al dialogo y en su actuar refleja identidad con la institución. Pero, es impuntual con el cumplimiento de los horarios de clases. |
| 3 | Este factor permite identificar el perfil de un docente que planifica sus actividades académicas, las comunica a sus estudiantes y es ordenado en el desarrollo de sus clases. Pero, no hace reflexión sobre los resultados de las evaluaciones y desconoce los problemas sociales de sus estudiantes. |
| 4 | Este factor permite identificar el perfil de un docente que ajusta su metodología al contenido de la asignatura, despertando la motivación y la participación de los estudiantes en el aula. Pero, no da a conocer de forma oportuna los resultados de las evaluaciones ni proporciona programación de la asignatura al inicio de semestre. |
| 5 | Este factor permite identificar el perfil de un docente que establece los criterios de evaluación al inicio del curso y evalúa los contenidos desarrollados en el aula. Pero, es impuntual con el cumplimiento de los horarios de clases. |
| 6 | Este factor permite identificar el perfil de un docente que motiva a sus estudiantes por la investigación y les apoya proporcionando material bibliográfico para consultar. Pero, es desordenado en el desarrollo de la clase e impuntual en la entrega de los resultados de las evaluaciones. |
Tabla 1. Resumen de características en cada Factor
Análisis Discriminante De Los Datos. Con el fin de analizar si existen diferencias entre los resultados de la evaluación docente por facultades e identificar cuáles de las variables contribuyen a que estas diferencias sean más significativas se propone el siguiente Análisis Discriminante. Se procede a organizar la data incluyendo una nueva variable llamada “Facultad” que tendría seis posibles valores y a través de ella se agrupan los diversos departamentos académicos según la estructura orgánica definida en la universidad.
Antes de realizar el análisis discriminante, se evalúan algunos supuestos del modelo:
De la Homogeneidad de los datos de la prueba M de Box se puede concluir que los grupos no poseen la misma variabilidad en sus datos. Esto puede ser propiciado debido a que se está trabajando con diferencias entre la calificación obtenida para cada ítem y el promedio de todos los ítems de cada docente, luego los valores son muy cercanos a cero o en muchos casos cero, lo que derivaría en la obtención de matrices singulares.
Del origen de los datos de una Muestra Aleatoria Multivariante Independiente, en esta prueba se debe comprobar que las medias poblacionales de los grupos son diferentes de forma significativa. Se realiza un análisis de varianza, considerando cada uno de los ítems como la variable a explicar y como variable explicativa la variable dependiente. La tabla ANOVA permite identificar que no hay diferencias significativas entre las medias de las facultades para los ítems P2, P7, P10, P14, P15, P16 y P20. En el resto de ítems existen diferencias significativas.
De las Funciones Discriminantes se generaron cinco funciones discriminantes, de las cuales la primera explica el 46% de las diferencias existentes entre los docentes adscritos a cada facultad. Considerando la Correlación Canónica, se puede observar que en la totalidad de las funciones discriminantes, las variables consideradas no permiten establecer diferencias claras entre los docentes de las diversas facultades dado que su valor es menor a 0,5.
Del Lambda de Wilks se puede concluir que sólo tomando el modelo completo (todas las 5 funciones discriminantes) permite distinguir significativamente entre los seis grupos.
De los centroides y al construir un plano cartesiano con las dos primeras funciones discriminantes (siendo las más representativas) se puede concluir que la Facultad de Salud se separa de las otras cinco facultades, las cuales se distribuyen en los cuatro cuadrantes pero alrededor del origen.
De los resultados de Clasificación se puede verificar que se han clasificado correctamente el 41% de los docentes evaluados, por lo que se puede concluir que las funciones discriminantes no son muy fiables. Esta conclusión se puede confirmar con el bajo porcentaje de clasificación correcta alcanzado con la Validación Cruzada (34%).
Considerando que en los análisis realizados se evidencian ítems que aportan poco a la diferenciación entre las facultades, se procede a realizar el análisis discriminante utilizando la metodología Stepwise y se obtienen cinco funciones discriminantes en ocho pasos utilizando las variables:
Los resultados derivados de las nuevas funciones discriminantes son muy similares a los obtenidos en el modelo inicial. Estas semejanzas en los modelos se reflejan en los porcentajes de clasificación con los dos procedimientos ya que sólo difieren en un 5% del uno al otro.
Analisis De Cluster De Los Datos. Con el objetivo de observar la similaridad o divergencia entre los items existentes en el intrumento aplicado para la recolección de los datos y como aspecto complementario, indagar la similaridad entre los indivíduos de la población (la totalidad de docentes de los distitos departamentos académicos de la UFPS) se ha aplicado la técnica de cluster en las siguientes variantes: Método de Clasificación Jerarquica para lograr el primer objetivo y Método de Clasificasión No Jerárquica (k-means) para el segundo, la justificación de selección de estos métodos sigue a continuación: en general, el analisis de cluster es praticamente descriptivo, no existiendo ningun razonamiento inferencial, trataremos entoncés los datos como la población global.
Análisis de Clúster por Jerarquia
Clasificación de los items: este método se aplica con el fin de averiguar el grado de similaridad entre los ítems del cuestionario que se está analizando, la selección de este método es motivado por el deseo de obtener un número razonable de conglomerados que justifiquen las similaridades entre los ítems, sin tener un conocimiento previo de agrupación. Este método es aplicado utilizando la matriz de cuadrados de distancias euclidias como medidas de asociación. Con el fin de observar los pares de ítems con menores distancias, como método de formar conglomerados, se verifica lo siguiente: los pares de ítems que presentan distancias más cercanas son: P3 y P5, P4 y P5, P7 y P10, P8 y P9, P9 y P14, P15 y P16, P20 y P21, considerando una distancia menor que 10.
Por tanto, se esperaría que estos ítems se presenten en el mismo conglomerado. A través del historial de conglomerado se verifica que los ítems P3 y P5, P8 y P9, P20 y P21, P15 y P16, P7 y P10, P3 y P4, constituyen los primeros seis pares considerados de mayor grado de similitud (menores distancias entre el par), que coinciden con el analisis anterior.
Sintetizando, al observar la cadena formada por el dendograma, se observa que el ítem P4 es más próximo al par de P3 y P5; el ítem P14 es el que más se aproxima al par P8 y P9. Siguiendo con este raciocínio, se puede observar que el ítem P6 está asociado al conjunto P3, P5 y P14; el P10 es más próximo al conjuto formado por P7, P15 y P16. Por lo que si se desea formar grupos con un grado razonable de similitud, se obtendría:
Análisis de Clúster No Jerárquica
Clasificación de los indivíduos (docentes): la selección de este método de clasificación es debido principalmente al número elevado de individos a clasificar presentes en la población, por tanto, no sería eficiente aplicar el método anterior, pues tornaría el análisis poco notable y muy ambíguo. Sin embargo, el método de clasificación por k-means, sugiere una buena herramienta.
Como no se depende de jerárquias para formar los grupos, se debe sugerir una cantidad a priori k grupos para agrupar los indivíduos. Para realizar análisis de clúster utilizando este método se requiere determinar a priori los centroides iniciales, dónde a través de un proceso de interacción, los datos son agrupados al centroide más próximo.
El proceso de interacción que se realiza al intentar encontrar las distancias más próximas entre los centros de indivíduos con respecto a los cuatro grupos que se desean formar, se hace hasta que se encuentre que ya no existe desplazamiento entre ellos. Pero, en ocasiones este proceso tarda mucho. El SPSS ofrece a lo sumo 10 interacciones aunque en la última los centros continuen desplazados.
A continuación se presentan las características comunes de los indivíduos en cada grupo de clasificasión:
En el conglomerado 1: se encuentran los docentes con un nivel alto de competencia cientifica, laboral y que cumple con su función en clase; pero, en general son los que no insentivan a la investigacion y son impuntuales en los horarios de clase.
En el conglomerado 2: se encuentran los docentes con alto domínio cientifico y didáctico, puntuales y responsables con las clases; pero, no motivan el interés en los temas de clase y sus prácticas evaluativas son cuestionables.
En el conglomerado 3: se encuentran los docentes que poseen dominio conceptual sobre la asignatura, con buenas prácticas evaluativas y abiertos al dialogo con sus estudantes; pero, poseen dificultades didácticas en la presentación de forma ordenada de los contenidos, este hecho genera falta de motivación en sus estudiantes y desinterés por la investigación.
En el conglomerado 4: se encuetran los docentes con dominio científico de los temas, puntuales con el horario de clases y tienen buenas relaciones con los estudantes; pero, poseen dificultades en la presentación de sus ideas, sin incentivos a procesos investigativos y con inconvenientes en las relaciones sociales con los estudiantes.
Cabe destacar que en esta clasificación, el 47% del total de docentes se ubican en el Conglomerado 3. A nivel general, como se evidencia en los cuatro conglomerados, los docentes de la UFPS no incentivan la investigación, tienen domínio cientifico de las asignaturas que orientan, pero con dificultades de tipo didáctico en su proceso de socialización. Se destaca la impuntualidad de los docentes con el horario de clases.
ConclusionesTras la realización de la actual propuesta investigativa y atendiendo a dar respuesta a los objetivos trazados, se concluye que:
Bravo, D et al (2008). La relación entre la evaluación docente y el rendimiento de los alumnos: Evidencia para el caso de Chile. http://www.microdatos.cl/docto_publicaciones/Evaluacion%20docentes_rendimiento%20escolar.pdf
Canovas, L. y Fasciolo, G (2004). Evaluación de Desempeño Docente. Valoración de la situación funcional. http://bdigital.uncu.edu.ar/objetos_digitales/159/canovasAgrarias1-04.PDF
Di Cesare, A (2011). Evaluación del Desempeño Docente desde la perspectiva del estudiante. http://tesis.luz.edu.ve/tde_busca/arquivo.php?codArquivo=2623
Goldhaber, D. and E. Anthony (2004). Can Teacher Quality be Effectively Assesed?, Updated version of an Urban Iinstitute Working Paper.
Hair, J y Anderson R (1999). Análisis Multivariante. Prentice Hall Iberia, Madrid. Quinta Edición. ISBN: 978-84-8322-035-1
Levy, J y Varela, J (2003). Análisis Multivariable para las Ciencias Sociales. Prentice Hall. ISBN: 84-205-3727-6
Lineamientos para la Acreditación de Programas. http://www.cna.gov.co/1741/articles-311056_Lineamientos.pdf
Pérez, A (2012). La evaluación del desempeño docente en la formación para el trabajo, parte fundamental de la mejora continua. http://observatorio.ilce.edu.mx/documentos/Perez_Nava_Amado.pdf
Rubio, F y Tamayo, L (2012). Estudio sobre prácticas docentes en evaluación de la lengua inglesa. http://www.ugr.es/~recfpro/rev161COL5.pdf
1 Doctorado en Estadística y Optimización. Universidad Politécnica de Valencia. España. E-mail: raulprada@ufps.edu.co
2 Dpto. Biología. Facultad de Ciencias Básicas. UFPS. Cúcuta. Colombia. E-mail: carlospabon@ufps.edu.co
3 Dpto. Matemáticas. Universidad Pedagógica de Mozambique. África. E-mail: sergiomulema@gmail.com