Las encuestas de valoración docente se han utilizado desde principios del siglo XX como herramienta para garantizar la calidad de la educación superior (Sullivan et al., 2024) y como instrumento en los procesos de promoción del profesorado y de evaluación de las titulaciones (Abellán-Roselló y Fernández-Rodicio, 2023). A través de estas encuestas los estudiantes evalúan a sus profesores en distintos aspectos de la enseñanza, normalmente con cuestionarios estandarizados de escala tipo Likert que pueden completarse con preguntas abiertas (Castro-Morera, et al., 2020; Spooren et al., 2007). Tradicionalmente, estas encuestas se administraban a los alumnos en papel en el aula al final del periodo académico, y los resultados podían servir a los profesores para mejorar su práctica docente en el futuro (Jiang y Xiong, 2021). Con el desarrollo de la tecnología, estos cuestionarios comenzaron a administrarse electrónicamente a finales del siglo pasado, hasta convertirse en la principal forma de administración a día de hoy (Nederhand et al., 2023). Se prevé que el protagonismo de la valoración docente online siga aumentando (Campos et al., 2022), observándose la necesidad de ampliar las investigaciones sobre este sistema (Iancu et al., 2024). Cabe destacar que, en general, los estudiantes prefieren el método de administración online a la hora de evaluar a sus profesores, puesto que perciben un mayor anonimato al no sentirse presionados por la presencia de los profesores en clase (Stowell et al., 2012). Por el contrario, algunos profesores son reacios a cambiar a un entorno online por diversas razones, como la obtención de tasas de respuesta más bajas y la creencia de que los resultados son menos precisos (Crews y Curtis, 2011).

La mayoría de los estudios que han comparado ambas formas de administración muestran las ventajas e inconvenientes de cada una de ellas, centrándose en dos cuestiones fundamentales. Por un lado, en analizar las posibles diferencias entre las valoraciones medias que obtiene el profesorado según sea su administración en el aula o de forma online. Y por otro, en examinar las posibles diferencias en las tasas de respuesta que se obtienen con cada forma de administración. En cuanto al impacto en las valoraciones medias, no existe un consenso claro en la literatura. Algunas investigaciones han encontrado puntuaciones medias más bajas en la administración online, sugiriendo que los estudiantes que responden sin presión en un entorno digital son más estrictos a la hora de evaluar a sus profesores (Baldo et al., 2020). No obstante, existen otros estudios que muestran puntuaciones medias más altas, lo que podría sugerir que la utilización de este sistema online predispone a los estudiantes a realizar evaluaciones más favorables, en comparación con el uso tradicional del papel (Avery et al., 2006). Asimismo, otros trabajos no muestran diferencias significativas entre las puntuaciones medias cuando se comparaban los entornos online y presenciales (Guder y Malliaris, 2010).

En lo que se refiere a la tasa de respuesta, la mayoría de los estudios concluyen que esta es menor cuando la administración de las encuestas de valoración docente es online (Guder y Malliaris, 2010; Stowell et. al, 2012). Por ello, el estudio de los factores que pueden explicar las tasas de respuesta más bajas y cómo aumentar el porcentaje de respuestas ha sido objeto de investigación recurrente en los últimos años (Goodman et al., 2014; Sullivan et al., 2024). La literatura ha puesto de relieve diferentes formas de aumentar la tasa de respuesta en la valoración docente online. Así, motivar a los estudiantes a completar las encuestas cuando las reciban, explicándoles la importancia de estas como posible mecanismo de mejora de la práctica docente, y mostrándoles que el proceso garantiza la confidencialidad y el anonimato, conducen a un aumento de la tasa de respuesta (Crews y Curtis, 2011; Goodman et al., 2014). Asimismo, el hecho de que se familiaricen con el entorno de la encuesta online tiene un efecto positivo en la tasa de respuesta (Crews y Curtis, 2011; Nulty, 2008). Cuando varias de estas acciones se realizan de forma combinada, su eficacia aumenta (Ballantyne, 2003).

Por otra parte, algunas instituciones han optado por la incorporación de incentivos de respuesta como estrategia para aumentar las tasas de respuesta cuando las encuestas se administran online (Alvero et al., 2019; Stowell et al., 2012). Los incentivos pueden ser positivos o negativos, dependiendo de si los estudiantes están motivados para conseguir algo que quieren o para evitar una consecuencia negativa, respectivamente. Los incentivos positivos más eficaces incluyen la obtención de puntos extra en sus calificaciones o la publicación anticipada de las calificaciones (Berk, 2012). Por su parte, los incentivos negativos contemplan entre otros hacer obligatorias las encuestas para permitir la realización de exámenes o la consulta online de las calificaciones (Crews y Curtis, 2011; Anderson, Cain y Bird, 2005). En este sentido, varios estudios han destacado el uso de incentivos como la forma más eficaz de aumentar las tasas de respuesta en la administración online de las encuestas de valoración docente (Crews y Curtis, 2011; Goodman et al., 2014; Zipser y Mincieli, 2018).

Pero ¿podría el uso de incentivos de respuesta tener consecuencias, no sólo en el deseable aumento de la tasa de respuesta de las encuestas online, sino también en cómo los estudiantes responden a las encuestas? En concreto y en lo que a los incentivos negativos se refiere, ¿podría afectar al modo en que los estudiantes completan las encuestas de valoración docente el uso de ciertos incentivos negativos (p.ej.: la necesidad de completar la encuesta para la consulta de calificaciones) que hagan que las encuestas online se conviertan en prácticamente obligatorias en comparación con la administración tradicional en papel y en clase en las que no había ningún tipo de incentivo? Este fenómeno puede ser examinado mediante el análisis de la distribución de los rangos de respuesta. Para su análisis contamos con un indicador específico como es la variabilidad intracuestionario (también conocido como intravariabilidad de respuestas), que refleja cómo de variables son las respuestas de un encuestado cuando responde a un cuestionario (Lam y Green, 2023). Este indicador reflejaría el grado de variabilidad de las respuestas que cada estudiante da a los diferentes ítems que les son presentados en las encuestas de valoración docente de sus profesores. Esta medida es empleada habitualmente como indicador del nivel de esfuerzo e interés (o cuidado) que los encuestados muestran a la hora de cumplimentar un cuestionario (Dunn, et al., 2018), permitiendo así discriminar entre respondientes conscientes (del inglés conscientious responders; aquellos que responden de buena fe e interés a la encuesta) y respondientes aleatorios (del inglés random responders; aquellos que responden a los ítems de los cuestionarios sin realmente pararse a analizarlos (Marjanovic et al., 2015; Osborne y Blanchard, 2011). De entre los posibles métodos para computar la intravariabilidad de respuestas en un cuestionario destaca el uso del rango de variación o recorrido estadístico, entendido como la diferencia entre la puntuación máxima y la puntuación mínima otorgada a los diferentes ítems de la encuesta por parte de cada encuestado. Se trata de una medida de dispersión absoluta cuya principal ventaja es que, de forma sencilla, permite conocer la amplitud de los datos de una distribución (Casado, 2007). En contraposición, y es preciso señalarlo, se trata de una medida que por sí sola proporciona poca información sobre la distribución interna de los datos (Casado, 2007). Otros autores con este mismo propósito han utilizado la varianza intracuestionario o intravarianza (Steedle et al., 2019).

Hasta donde nuestro conocimiento alcanza, no existen estudios previos que hayan examinado los interrogantes anteriormente planteados, por lo que responder a ellos podría contribuir a avanzar en el conocimiento sobre las encuestas de valoración docente como elemento principal usado por las universidades para la valoración del desempeño de sus docentes. Con este contexto como motivación, el propósito de esta investigación fue analizar cómo el hecho de cambiar de un sistema tradicional de administración de encuestas de valoración docente en clase en papel, sin incentivos de respuesta, a un sistema de administración online fuera de clase que incluye el uso de un incentivo de respuesta negativo, puede afectar a la tasa de respuesta y al modo en que los estudiantes responden a las encuestas.

La Tabla 1 muestra los datos descriptivos de las encuestas de valoración docente analizadas. El 34,4% de las encuestas correspondieron a los nueve primeros semestres, recogidas en el aula y en papel, frente al 65,6% de encuestas correspondientes a los 9 semestres restantes, completadas online fuera del aula.

El propósito del presente trabajo fue analizar cómo afectaba a la calidad de los resultados de las encuestas valoración docente el cambio del sistema tradicional de administración de encuestas de la valoración docente en papel de forma presencial y sin incentivos de respuesta, a un sistema online no presencial y que incluía el uso de un incentivo de respuesta negativo: obligación de completar la encuesta para poder consultar las calificaciones de la asignatura. Para acometer dicho análisis se obtuvieron tres indicadores de calidad de las encuestas de valoración docente estudiadas, a saber: la tasa de respuesta, la distribución de los rangos de respuesta de las encuestas y la medida del tamaño del efecto de la intravariabilidad en las respuestas

En cuanto a las tasas de respuesta, tratar de conseguir un aumento en ellas ha sido una de las principales preocupaciones de académicos, investigadores e instituciones cuando se realizan encuestas de valoración docente online, pues tal y como sucede en el análisis de los resultados de cualquier encuesta, la preferencia será contar con el mayor número posible de encuestas recogidas para obtener estimaciones más precisas y menos sesgadas (Wu et al., 2022). Sin embargo, en el caso particular de las encuestas de valoración docente, la tasa de respuesta que se considera aceptable dependerá de múltiples factores, desde el propio tamaño del grupo de clase, hasta el porcentaje de asistencia del alumnado, lo que dificulta establecer una tasa concreta (Crews y Curtis, 2011). Así, algunos autores afirman que serían aceptables tasas de respuesta del 20% para clases de 100 alumnos (Nulty, 2008), mientras que otros consideran deseables tasas de respuesta en torno al 60-70% (Stowell, et al., 2012).

Los resultados de nuestro estudio mostraron un incremento claro tras la migración del sistema en papel al sistema online, con promedios superiores a las tasas de respuesta deseables para los criterios más exigentes. El resultado difiere del de otros estudios que reflejaron tasas de respuesta menores cuando la administración de las encuestas de valoración docente migraba a un sistema online (p.ej.: Dommeyer et al., 2004; Guder y Malliaris, 2010). Sin embargo, en estos estudios no había un incentivo de respuesta, como sí sucede en la investigación realizada. Es, de hecho, a partir de investigaciones como las anteriormente citadas cuando se plantea la necesidad de incorporar incentivos de respuesta en forma de moti- vadores extrínsecos como estrategia para aumentar las tasas de respuesta en la administración online de las encuestas de valoración docente (Alvero et al., 2019; Goodman et al., 2014; Stowell et al., 2012). Los resultados de nuestro estudio ratifican la importancia del uso de incentivos en línea con los hallazgos de Zipser y Mincieli (2018) que encontraron un incremento en la tasa de respuesta superior al 20% al incorporar un incentivo que permitía la consulta adelantada de la calificación de la asignatura si se completaba la encuesta de valoración docente de la misma.

La necesidad de completar las encuestas para poder consultar las calificaciones fue ya sugerida como posible incentivo para aumentar la tasa de respuesta en una revisión de la literatura sobre encuestas de valoración docente online publicada en 2005, cuando todavía el protagonismo era para las encuestas en papel (Cain y Bird, 2005). El incentivo implementado y cuyas consecuencias analizamos en esta investigación, tiene un antecedente en el trabajo de Crews y Curtis (2011) en el que proponían como posible medida para incrementar la tasa de respuesta no proporcionar la calificación de la asignatura hasta que el 80% hubiera completado la encuesta de valoración docente de la asignatura. Señalan los autores que se trataba de una medida que ya era implementada por uno de los docentes encuestados, si bien dicho profesor no había cuantificado su posible eficacia. Sin embargo, estos autores, no habían evaluado el efecto de la incorporación de un incentivo negativo en otros indicadores de calidad, como se discute seguidamente.

Cuando se comparan los indicadores de calidad entre el sistema presencial sin incentivo y el online con incentivo, se observó cómo la tasa de respuesta aumenta sensiblemente con la introducción del sistema online, mientras que disminuye la variabilidad intracuestionario. Estos dos indicadores son habitualmente empleados a la hora de analizar la calidad de las respuestas de una encuesta (Dunn et al., 2018; Kelley y Preacher, 2012; Osborne y Blanchard, 2011). La disminución de la variabilidad intracuestionario se manifestó en el incremento del porcentaje de respuestas con rango de variación cero. Se han encontrado dos explicaciones complementarias de este fenómeno, por una parte, el desinterés por parte de los estudiantes a la hora de completar las encuestas de valoración docente, que no tendrían la motivación suficiente para prestar atención a las respuestas que dan en cada ítem. Nichols et al. (1989) catalogan esta situación como falta de respuesta al contenido y la definen como el hecho de responder a la encuesta sin tener en cuenta el contenido del ítem en sí. Es decir, el estudiante responde a la encuesta solo, sin instrucciones por parte de una persona que administre los cuestionarios y con distracciones propias del entorno online, que lleva a los jóvenes a realizar varias tareas a la vez con la consecuente pérdida atencional (Huang et al., 2012; Van Der Schuur et al., 2015). Por otra parte, las respuestas de rango cero podrían deberse a un patrón de respuesta rápida, que sería aquella en la que un estudiante valora al profesor mediante una única puntuación que repite en todos los ítems de la encuesta de valoración docente y que se produce cuando los estudiantes quieren responder en el menor tiempo posible a la encuesta por tratarse de un requerimiento obligatorio para consultar la nota (Curran, 2016).

El análisis del esfuerzo o interés que los participantes en cualquier encuesta ponen a la hora de responder a las preguntas que en ella se plantean y cómo esto puede influir en los datos y conclusiones que se extraen ha sido objeto de múltiples estudios, pues se trata de uno de los principales instrumentos para la recogida de datos en investigación. En este sentido, diferentes autores han subrayado que las respuestas dadas por participantes desmotivados, que responden sin esfuerzo o interés, aun en porcentajes bajos, pueden tener un impacto negativo en la utilidad de los datos recogidos (Huang et al., 2012; Maniaci y Rogge, 2014), siendo necesario disponer de métodos para su detección (Curran, 2016; Huang et al., 2015). Para Marjanovic et al. (2015), las diferencias que se producen entre aquellos que son concienzudos en sus respuestas y el resto son fácilmente detectables y requieren de un análisis específico, tal y como se hace en esta investigación.

Los resultados muestran que con el cambio de sistema aumenta la proporción de respuestas de rango cero y se produce una disminución de las diferencias de puntuación entre el grupo de cuestionarios con intravarianza nula y el de intravarianza positiva, tal y como ocurre en otras investigaciones que han estudiado las amenazas que las respuestas descuidadas o aleatorias pueden tener en la validez y tamaño del efecto en las encuestas (Credé, 2010; Osborne y Blanchard, 2011). El coeficiente empleado para medir el tamaño del efecto disminuyó cuando se migró al sistema online. Es decir, las distancias entre el promedio de puntuaciones de aquellos que contestaron a todas las preguntas con el mismo valor (intravariabilidad nula) y las de aquellos que no lo hicieron así (intravariabilidad positiva) se redujeron. Para interpretar el significado del hecho se debe considerar que los cuestionarios de intravariabilidad nula comprenden tanto a aquellos estudiantes que desean otorgar la máxima o mínima puntuación a su docente (están muy satisfechos o insatisfechos con su labor) y por tanto marcan el máximo o mínimo valor en todos los ítems de la encuesta. como a aquellos estudiantes que emplean la misma puntuación en toda la encuesta para otorgar una puntuación global a su profesor o profesora (p.ej.: un estudiante que considera de forma global la labor del docente como de “2 sobre 5” y decide marcar un 2 en todos los ítems de la encuesta sin prestar especial atención a lo preguntado en cada una de ellas). Es decir, se trataría de estudiantes que usan un patrón de respuesta de menor esfuerzo, equivalente a una única pregunta que resumiera de forma global su opinión sobre el desempeño docente, en línea con algunos estudios que afirman que la evaluación de la enseñanza por parte de los alumnos podría sustituirse por una única medida sin apenas pérdida de predictibilidad (Clayson, 2022). Las puntuaciones de los estudiantes que desean otorgar la máxima o mínima puntuación estarían más alejadas de las del resto de estudiantes que las de aquellos que emplean el patrón de respuesta de menor esfuerzo. Así, la disminución observada del tamaño del efecto podría explicarse si el incremento de las respuestas de intravariabilidad nula se debe mayoritariamente al incremento de la proporción de estudiantes cuyo patrón de respuesta es el de menor esfuerzo.

El estudio presenta algunas limitaciones. La primera de ellas se refiere al hecho de basarse en una muestra de una única universidad con un incentivo de participación tan específico como la obligatoriedad de respuesta, lo que ha de conducir a interpretar los resultados con cautela, no debiendo extrapolar los resultados a otras instituciones que quizás apliquen otros instrumentos y/o incentivos de respuesta en sus encuestas de valoración docente. Otra de las limitaciones pasa por el hecho de contar con una muestra de datos que se detuvo, desde la fecha de publicación del presente trabajo, hace cinco cursos académicos (curso 201819). Sería interesante, de cara a un futuro próximo, poder complementar el estudio con los datos relativos a los cursos 2019-20 y siguientes, probablemente considerando ya únicamente la administración online del cuestionario desde el segundo semestre del curso 2014-15. Esto permitiría examinar, entre otras cuestiones, si el descenso en la tasa de respuesta observado desde el curso 2016-17 es puntual o muestra una tendencia clara sobre la que, por ejemplo, los organismos encargados de la valoración del desempeño de los docentes debieran actuar. Otra posible línea de investigación para el futuropasaría por la incorporación de otros incentivos de participación (p.ej.: obtención de unas décimas adicionales en la calificación final, reconocimiento de créditos extra, cupones descuento para utilizar en el campus) y posterior análisis del efecto que puedan tener en la tasa de respuesta y en el modo en que los estudiantes responden a las encuestas de valoración docente. Por otra parte, el hecho de haber basado el estudio en encuestas de valoración docente con escala de respuesta de tipo Likert puede representar una limitación. En este sentido, existen investigaciones que han subrayado que emplear escalas de medida de tipo Likert en las encuestas de valoración docente puede ocasionar la aparición de cansancio en los estudiantes por lo repetitivo de la escala, más aún cuando han de completar encuestas de varias asignaturas (Cañadas y Cuétara, 2018; Moreno Olivos, 2018). Este hecho puede influir en el patrón de respuesta de los estudiantes, pudiéndoles llevar a cumplimentar las encuestas con rapidez y sin prestar la debida atención. Un efecto no deseado que puede verse aumentado cuando se incorporan incentivos de respuesta que hagan que los estudiantes quieran completar la encuesta cuanto antes para obtener la recompensa deseada (Matosas-López et al., 2019b). A este respecto, podría resultar interesante analizar el comportamiento de los estudiantes ante encuestas de valoración docente que empleen otras escalas de medida, como podrían ser aquellas que empleen escalas de conducta BARS (Behaviorally Anchored Rating Scale), en las que se muestran ejemplos de comportamiento concretos de desempeño docente (no descriptores genéricos) que son valorados por los estudiantes como buenos o deficientes (Martin-Raugh et al., 2016; Matosas-López et al., 2019a). Asimismo, en línea con estudios previos publicados que han analizado las puntuaciones de carácter extremo y su comportamiento en las encuestas de valoración docente (Prieto et al., 2023; Leguey et al., 2023), sería deseable investigar si la incorporación de incentivos puede afectar a las puntuaciones que un docente, que imparte la misma asignatura en cursos consecutivos, obtiene a lo largo de los años.

La presente investigación arroja conclusiones interesantes en un campo que no había sido suficientemente estudiado como es el efecto que pueden tener los incentivos negativos en la tasa de respuesta de las encuestas de valoración docente del profesorado universitario. En este sentido, y pese a que los resultados del estudio muestran un deseable aumento en la tasa de respuesta tras la migración a un sistema de encuesta online con incentivo de respuesta que requería al estudiante valorar al docente para acceder a las calificaciones finales de las asignaturas, se encontraron otras consecuencias no deseables, como son la reducción de la variabilidad intracuestionario y del tamaño del efecto. Este fenómeno, que ha sido estudiado en otros ámbitos (p.ej.: encuestas en el área de recursos humanos de las empresas; Dunn et al., 2018), debería invitar a la reflexión por parte de las instituciones, pues podría manifestar una falta de interés de los estudiantes a la hora de cumplimentar las encuestas, siendo su único objetivo completarlas cuanto antes para poder alcanzar el incentivo acceder así a la calificación de la asignatura. Esto podría sugerir que los estudiantes no tienen la motivación suficiente para dedicar atención a las respuestas que dan en cada ítem. Fruto del análisis realizado, así como del marco teórico elaborado, es posible plantear una serie de recomendaciones al respecto, que pasarían por la incorporación de nuevos mecanismos complementarios a la hora de que los estudiantes valoren al profesorado. Se podrían así, por ejemplo, realizar entrevistas individualizadas a un determinado número de estudiantes seleccionados de forma aleatoria en cada clase, lo que permitiría obtener una visión de carácter cualitativo que complementase la valoración cuantitativa aportada por las encuestas. Asimismo, podría ser interesante encuestar al alumnado en varios momentos durante el desarrollo de la asignatura (no únicamente al final), para contar con una visión más global y poder apreciar posibles variaciones en la valoración de los estudiantes (¿podrá un estudiante acabar valorando peor o mejor a su profesor por haber obtenido una peor o mejor calificación en una actividad de evaluación realizada a mitad de curso?). En definitiva, consideramos conveniente reflexionar a este respecto y encaminarse hacia un sistema de valoración del desempeño del profesorado por parte de los alumnos más amplio y de carácter holístico.