Contribuciones a la evaluación educativa desde la formación doctoral

Edna Luna Serrano, Dolores Graciela Cordero Arroyo, Adán Moisés García Medina, Felipe Martínez Rizo, Joaquín Caso Niebla, Erika Paola Reyes Piñuelas, Mónica López Ortega, Coral González Barbera, Karla María Díaz López, Luis Ángel Contreras Niño, Citlalli Sánchez Álvarez, Eduardo Backhoff Escudero, David Alejand

• Editorial: Editorial Universidad de Guadalajara
• Año: 2020
• ISBN del libro electrónico: 9786077427063
• Edición: 1
• Categoría: Education
• Categoría: Education General

En cada uno de los capítulos que conforman este libro se da cuenta del marco conceptual de la tesis del alumno, que aparece como primer autor, seguido del director del proyecto y de algún miembro del comité tutorial. Esta triada de autores representa una excelente estrategia que contribuye a fortalecer la formación de los doctorandos, toda vez que les permite iniciarse (en la mayoría de los casos) en el mundo de las publicaciones académicas, con el respaldo, asesoramiento y guía de sus mentores, mucho más avezados y experimentados en estas lides. Además, esta forma de organizarse al interior del programa doctoral favorece la promoción de una cultura de colaboración y colegialidad docente, rompiendo con el ambiente aislado e individual que suele caracterizar el trabajo del investigador. Otra implicación que se deriva de estas prácticas es la motivación que puede generar en los doctorandos el hecho de ver publicado parte de su documento de tesis, algo que no es menor, toda vez que los estudios de doctorado representan la apuesta por un proyecto a largo plazo en el que mantener alta la motivación durante la travesía hasta la culminación de la tesis, constituye un factor esencial. Algunos autores han señalado que un alto porcentaje de alumnos que califican para presentar sus tesis doctorales no la terminan porque no son capaces de escribirla, ya que no han sido enseñados a hacerlo por ser un conocimiento tácito, silencioso y procedimental, por lo que sugieren la necesidad de desarrollar nuevas vías de apoyo a estos alumnos.

Evolución del concepto de validez en la medición educativa

Adán Moisés García Medina

Felipe Martínez Rizo

Graciela Cordero Arroyo

Joaquín Caso Niebla

Introducción

La validez es considerada el criterio más importante para evaluar el rendimiento de una prueba o instrumento de medición (cfr. AERA-APA-NCME, 2014). Su importancia es tan ampliamente reconocida que en varios países se encuentra como parte de sus leyes y reglamentos (Koretz, 2005). Sin embargo, cuando se inicia una investigación en no pocas ocasiones suele tenerse una concepción limitada o incluso errónea de la magnitud y trascendencia de este concepto, y del papel que juega en el desarrollo de estudios del campo de las ciencias sociales y las humanidades.

En la actualidad hay una clara distinción entre validez y confiabilidad. La confiabilidad se refiere a la precisión con la que un instrumento de medición logra recabar la información sobre un constructo que pretende medir; se dice que hay confiabilidad en la medición cuando los resultados son estables entre grupos de individuos, o bien, en los mismos individuos a lo largo del tiempo. Por su parte, se considera que una investigación es válida cuando mide lo que pretende medir. Para un científico de las ciencias exactas esta definición podría parecer extraña o incluso absurda, sin embargo, en el campo educativo los constructos sobre los cuales se genera conocimiento suelen ser variables complejas (v. gr. rendimiento académico, clima escolar, prácticas docentes, escuela eficaz, supervisión escolar, involucramiento de los padres de familia en la escuela, etcétera), compuestas por varias dimensiones. Es un reto importante observarlas a cabalidad, y cuando esto ocurre, se puede decir que la medición es válida.

La validez es una cualidad de la medición que ha sido mucho más difícil de definir. La acepción incluida en el párrafo anterior es limitada. El desarrollo de una teoría sobre la validación en instrumentos de medición ha sido paulatino, con algunos tropiezos y muchas discusiones entreveradas. En este capítulo se pretende mostrar cuál ha sido la evolución del concepto de validez en el campo de la medición educativa, para ayudar a comprender la concepción prevaleciente y que el lector pueda identificar algunos principios básicos que se deben considerar en el desarrollo de investigaciones educativas.

El capítulo está organizado en cuatro apartados, mismos que coinciden con las cuatro etapas de la teoría sobre la validación que proponen Newton y Shaw (2014). En el primero se describirán los inicios de la teoría de la validación, conocida como etapa de cristalización que ocurrió de 1921 a 1951; en el segundo apartado se tratará la etapa de la fragmentación de la validez (1952-1974); el tercero versa sobre la etapa de la reunificación, que transcurre de 1975 a 1999; y por último, en el cuarto apartado se presenta la etapa conocida como deconstrucción y que contempla de 2000 a la fecha.

La etapa de cristalización (de 1921 a 1951)

Aunque existen algunos desarrollos previos que provienen desde el siglo XIX, la primera época de la teoría de la validez identificada con la cristalización inició en 1921, cuando la North American National Association of Directors of Educational Research la incluyó entre los términos clave a definir dentro del movimiento de la medición educativa y psicológica (Newton y Shaw, 2014). Durante este periodo, la validez se definió de forma muy pragmática y poco en términos teóricos; se definía en función de la correlación de una prueba con un criterio que usualmente se asumía libre de error de medición.

Algunas definiciones representativas de la primera etapa son las siguientes: en 1937 Garrett señalaba que “la validez de un test es la fidelidad con la que mide lo que pretende medir” y Bingham definía la validez como “la correlación de las puntuaciones de un test con alguna otra medida objetiva de lo que el test quiere medir” (citados en Lissitz, 2009, p. 22). Por su parte, Guilford en 1946 la concebía así: “en un sentido general, una prueba es válida para cualquier cosa con la que se correlaciona” (citado en Messick, 1989, p. 18).

Esta visión tan empirista de la validez en buena medida se debió al desarrollo del análisis factorial que inventó Spearman a inicios del siglo XX donde se asumía que a partir de las variables observadas empíricamente se podían medir variables latentes o constructos sin considerar el error de medición. Lo anterior trajo consigo que en el campo de la psicología y la educación se desarrollasen métodos estadísticos para la validación de pruebas, tales como las técnicas correlaciones y de diferencias entre grupos.

En el capítulo sobre validez de la primera edición de una de las obras más influyentes en el campo, Educational Measurement, Edward Cureton (1951, p. 623) la definía en términos que son muy ilustrativos de la primera etapa: “la validez de un test es la correlación entre las puntuaciones observadas del test con las puntuaciones ‘verdaderas’ del criterio”. Un puntaje “verdadero” es aquel que no tiene error de medición, sostenía.

Por puntuaciones de criterio se entendía “un conjunto de evaluaciones sin sesgo, pero no necesariamente con alta confiabilidad, de la calidad del desempeño al realizar una tarea definida, y que dicha evaluación se realizase a partir de una muestra representativa de observaciones sobre tareas de desempeño de cada miembro de una muestra representativa de personas de una población específica” (Cureton, 1951, p. 625). Sin embargo, como para variables complejas nunca es posible saber las puntuaciones reales o verdaderas, las correlaciones entre el puntaje de la prueba y el valor real son siempre estimaciones. Por ello es que el poder predictivo de una prueba se consideraba como la correlación entre las puntuaciones originales de una prueba y las puntuaciones de criterio.

Para Cureton (1951) la validez siempre debe considerarse en función de los propósitos que se persigan con las pruebas, los cuales tienen al menos dos aspectos a considerar: uno se refiere a la finalidad de lo que evalúa, el otro a la naturaleza del grupo al que se evalúa. Si se aplica un test de vocabulario a niños de sexto grado que han tenido en su trayecto escolar oportunidades e incentivos para aprender el significado de palabras escritas y provienen de hogares con características culturales similares, la prueba puede ser un indicador válido de la inteligencia verbal. Sin embargo, si la misma prueba se aplica a un grupo que proviene de hogares con capital cultural muy desigual, podría ser más válida como un indicador de la calidad de la instrucción en lectura que previamente recibieron los niños, en lugar de ser un indicador de inteligencia verbal. La validez de cualquier prueba, desde la visión de este autor, es el valor que tiene como indicador de las diferencias individuales de algún aspecto en particular entre los miembros de algún grupo específico.

A pesar de esta visión tan empirista, desde esos tiempos ya se reconocían elementos del proceso de validación que siguen vigentes hasta hoy, por ejemplo, el mismo Cureton señalaba que la pregunta fundamental de la validez de las pruebas es “qué tan bien...

Índice

• Prólogo
• Evolución del concepto de validez en la medición educativa
• Aportaciones metodológicas para la validez y confiabilidad de los cuestionarios de evaluación docente con base en la opinión de los estudiantes
• Aportación de los modelos multinivel al estudio del rendimiento académico en matemáticas
• Modelos explicativos del rendimiento académico
• Generación automática de ítems: antecedentes teóricos
• Diseño de la formación como factor influyente en la transferencia del aprendizaje a la práctica docente. Análisis de un programa de formación pedagógica para profesores universitarios
• La supervisión clínica en medicina como una forma particular de docencia universitaria
• Repensar el servicio social universitario en sus dimensiones formativa, humanista y social
• Autores