El pensamiento histórico y la conciencia histórica suponen dos ejes elementales en la corriente investigadora de las últimas décadas (Seixas, 2017), siendo los contextos inglés, alemán y norteamericano centrales en su reconocimiento (Lévesque, 2023; López Facal & Schugurensky, 2023).

El concepto de pensamiento histórico occidental tiene su máxima expresión en el libro The Big Six, de Seixas y Morton (2012). Este enfoque de investigación tiene su origen ideológico en los trabajos de finales de siglo XX, promovidos por Dickinson (Dickinson et al., 1984; Dickinson et al., 1995). En España, destacan los trabajos de la Red 14 de Investigación en Enseñanza de las Ciencias Sociales, en la que se integran los grupos de investigación más consolidados en este campo, que están contribuyendo de forma decisiva al fortalecimiento de esta corriente (Domínguez, 2015; Gómez et al., 2014; Guerrero et al., 2019; López-García, 2023; Sáiz y López-Facal, 2015). Este término aborda la explicación histórica a través del uso de fuentes que, gracias a la argumentación propia del historiador, funcionan como pruebas (Gómez & Sáiz, 2023). También implica la habilidad de identificar, analizar y evaluar los hechos históricos -distinguiendo entre la causalidad cortoplacista y largoplacista-, así como el contexto, los procesos de cambio y continuidad, o las lecciones que se pueden extraer del pasado para comprender mejor el presente (López Facal & Schugurensky, 2023).

La relevancia histórica responde a la habilidad para establecer y comprender qué acontecimientos han sido claves en la historia y por qué, brindándose la oportunidad en las narrativas de seleccionar y diferenciar lo históricamente determinante, de lo curioso, lo raro o lo anecdótico, que en ocasiones puede presentarse de forma conjunta (Egea y Arias, 2018).

Por su parte, la dimensión ética es la habilidad de enjuiciar el pasado y utilizar el pensamiento crítico para valorar el impacto histórico y la repercusión moral de las decisiones que se han tomado en otros tiempos. Un ejemplo son los genocidios históricos (Holocausto judío, genocidio armenio o masacre de Nankín, entre otros) o las políticas expansionistas (Imperio Romano, imperialismo ruso, o germanización de la Alemania nazi, son solo algunas de ellas). En la medida en que el razonamiento ético se encuentra unido con las obligaciones o responsabilidades que tiene la sociedad actual para recordar o responder a las contribuciones, sacrificios e injusticias pasadas, evitando que vuelvan a repetirse (Seixas & Morton, 2012), también se lo ha relacionado con la educación para la ciudadanía (Lévesque & Clark, 2018).

Analizar éticamente el pasado supone también reflexionar sobre los procesos históricos, que implican progresos y decadencias. El concepto de cambio y continuidad es la habilidad de reflexionar sobre qué permanece y qué cambia a lo largo del tiempo. Su complejidad coexiste con los esfuerzos que los profesores de Historia vienen haciendo en el contexto de actividades prácticas que implican el trabajo con líneas de tiempo, gráficos analíticos, metáforas, analogías u otros contextos temporales que buscan la erudición histórica (Counsell, 2017).

Para objetivar los procesos de cambio histórico son claves las evidencias; es decir, el arte de utilizar fuentes primarias como una herramienta fundamental para extraer pruebas que permitan construir el discurso histórico. Es imprescindible saber qué preguntas se deben hacer a la fuente, así como partir del conocimiento que deja el contexto histórico de la misma. Para Ashby (2006) se trata de uno de los conceptos más destacables, pues ofrece la posibilidad al alumnado de obtener la información del pasado, lo que contribuye a generar una comprensión acerca de la construcción del conocimiento histórico, advirtiendo las fuentes como testimonios directos. De esta forma, se pueden obtener el conjunto de inferencias que permitirán generar una explicación sobre el pasado (Cerqueira, 2021).

El concepto de causa y consecuencia sirve para analizar los factores que han provocado un determinado hecho histórico y las múltiples consecuencias que se derivan de este (Seixas & Morton, 2012). Según Domínguez (2015) el aprendizaje no debe ir enfocado a saber historia, sino a saber hacer historia. En este sentido, la comprensión de la causalidad es fundamental para comprender que esta es una sucesión de hechos interrelacionados y, desarrollar este concepto implica utilizar el razonamiento para construir ese pensamiento histórico. Germinari (2011) señala al respecto que no se trata de la cantidad de información factual que se puede aprender, sino de “aprender a pensar sobre el pasado históricamente” (p. 57), y ello implica conectar evidencias.

Seixas y Morton (2012) definen la perspectiva histórica estableciendo una analogía: debemos mirar al pasado como si fuésemos extranjeros en un país donde el contexto histórico, social y cultural es diferente al nuestro, y este influye en la vida de las personas que habitaron en el pasado. Esta competencia se encuentra especialmente vinculada a la empatía, ya que atiende a los actos y pensamientos de los individuos del pasado, pero a su vez se vincula con la propia experiencia del sujeto actual (Carril-Merino et al., 2023). Por tanto, promueve que los adolescentes puedan entender el pasado sin valerse de sus percepciones del presente, que puedan llevarlos a pronunciarse sobre este de una manera errónea (Lévesque & Clark, 2018).

Una vez descritas estas competencias de pensamiento histórico, es necesario situar en contexto la corriente de conciencia histórica o historical consciousness, por sus siglas en inglés. Esta escuela de investigación emerge en Europa central, concretamente en el contexto alemán, a raíz de los postulados propuestos por Rüsen (2004, 2015), y apoyados por Wertsch (2004) o Körber (2017), entre otros. La conciencia histórica europea es el modo en que los ciudadanos ven su pasado colectivo, como plataforma para entender el presente y formar el futuro (Lorentzer, 2000). Este concepto sostiene un papel más social en la enseñanza de la historia, relacionándose con la memoria común, la cultura popular, la identidad, las representaciones mediáticas y la educación moral (Gómez & Sáiz, 2023; Rodríguez-Medina, 2020). También ha sido situado desde una dualidad; como fenómeno colectivo de la sociedad occidental moderna y desde la categoría individual cognitivo-epistemológica (Grever & Adriaansen, 2019). Por otra parte, se integra en entornos informales y experienciales, creando espacios para las perspectivas marginadas, de género, racializadas y aborígenes, con un protagonismo periférico en los métodos tradicionales de enseñar historia (McLean et al., 2017). En definitiva, esta corriente de pensamiento desarrolla una competencia narrativa que permite orientar y comprender la vida práctica del presente gracias al recuerdo, a la representación y a la interpretación de la realidad pasada, cuyo sentido favorece, además de la vivencia actual, la anticipación del futuro (Duquette, 2015; Körber, 2017). Los centros de formación deben ejercer un papel significativo en el desarrollo de la conciencia histórica de los jóvenes, y en el nuevo enfoque multicultural de inclusión, igualdad y apertura ciudadana (Gómez & López Facal, 2023); una educación más cívica y democrática frente al discurso manipulador.

La historia -el pasado- es un recurso fundamental para el devenir del futuro (Arthur et al. 2001; Dewey, 1998). Partiendo de esta máxima, la enseñanza de la historia y la educación ciudadana deben mantener puntos de encuentro, ya que la primera debe ejercer un papel fundamental en el desarrollo de la conciencia cívica, mediante la formación de ciudadanos críticos y comprometidos con la sociedad y el entorno en el que viven (López-Fernández et al., 2023). En este sentido es como, desde las ciencias sociales, se contribuye a generar una memoria común, un pensamiento más crítico, valores como la empatía, la tolerancia y el respeto, o ciertos principios de justicia social (Pagés, 2005).

En el caso de las asignaturas relacionadas con la Historia, el actual Real Decreto 217/2022 de enseñanzas mínimas de Educación Secundaria Obligatoria recoge que, para contribuir a la consecución de los objetivos y competencias que conforman el Perfil de salida del alumnado al término de la enseñanza básica, es necesario trabajar con las herramientas y estrategias propias de los métodos de estudio de esta disciplina, el pensamiento histórico, el cual define como el “proceso por el que se crean narrativas sobre el pasado a través de la reflexión sobre su relevancia, el análisis de fuentes, la discusión sobre las causas y consecuencias de estos acontecimientos, así como el análisis de los cambios y continuidades entre los mismos, desde una perspectiva temporal y contextualizada, y con relación a determinados criterios éticos y cívicos” (p. 96). Este conjunto de intenciones, estrategias y métodos, que orientan el estudio del pasado, se mantiene en la etapa del Bachillerato en las asignaturas de Historia del Mundo Contemporáneo e Historia de España.

Partiendo de que, imperiosamente, las evaluaciones deben estar relacionadas con el proceso de enseñanza-aprendizaje, y habida cuenta de que la enseñanza de las ciencias sociales viene poniendo el foco en las competencias de pensamiento histórico desde hace varios decenios, particularmente en el contexto anglosajón, el sistema de evaluación en esta materia debe priorizar la adquisición de estas competencias -y su demostración fehaciente-, evidenciándose la necesidad de una nueva forma de evaluar la historia.

Moreno et al. (2023) han confirmado que, en el caso de la asignatura de Historia de España, no hay ninguno de los 17 criterios de evaluación que no tenga relación con las competencias del pensamiento histórico, exigiendo a los estudiantes reflexiones más profundas, una mayor comprensión y deducción, capacidades de explicación, argumentacion y comprensión de la historia, así como la generación de relaciones multicausales entre los acontecimientos históricos.

Los últimos estudios en la materia han demostrado que las evaluaciones centradas en las respuestas construidas son las que más favorecen la comprobación del nivel de adquisición competencial, seguidas de las preguntas de opción múltiple (Smith et al., 2019; Miguel-Revilla, 2020). Ambas están presentes en este trabajo, particularmente las primeras. En este sentido, Bruner (2005) planteaba a principios de siglo la siguiente pregunta: “¿Qué se gana y qué se pierde cuando los seres humanos recurren al modo narrativo de construir significados?” (p. 23). La propia pregunta evidencia que el pensamiento narrativo se

encuentra omnipresente en la vida de las personas, por lo que se trata de una operación mental imprescindible para representar, organizar y dar sentido a ese pasado histórico, mientras brinda significados y orienta la vida actual mediante la categoría temporal (Carretero y Atorresi, 2014). De hecho, el discurso narrativo promueve la dimensión temporal, el establecimiento de nexos causales y otros medios con los que otorgar importancia histórica y conectar pasado y presente, desde la perspectiva moral (Barton & Levstik, 2004). Así, los hechos históricos y sus protagonistas cumplen con los criterios de significación histórica sólo cuando se demuestre que ocupan un lugar significativo en una narrativa (Lévesque, 2008; Seixas & Morton, 2012), ya sea a través de su sentido de relevancia, su causalidad, su cambios y permanencias o su análisis del contexto histórico.

Este trabajo presenta el diseño y la validación de una prueba de competencias financiada que aspira a poder establecer un marco común de evaluación de competencias en todo el territorio español desde el respeto al marco legislativo, a las corrientes de investigación, y a la implementación práctica en las aulas.

Con base en lo anterior, el objetivo general de este trabajo es medir la validez de contenido de una prueba de evaluación sobre el nivel de adquisición de competencias de pensamiento histórico del alumnado que ha terminado la etapa de Bachillerato. Este objetivo se concreta en tres objetivos específicos:

Para este proceso de validación, la escala de valoración aplicada a los jueces-expertos consistió en un cuestionario que, en primer lugar, tiene un apartado de presentación de la prueba. Seguidamente, se propuso una valoración general de la misma de acuerdo con tres variables centrales: el título, las instrucciones para responder y el diseño general de esta. A continuación, para cada ejercicio sobre competencias históricas se incluyó una escala de valoración tipo Likert con cinco opciones (1-nada adecuado; 2-poco adecuado; 3-adecuado; 4-bastante adecuado; 5-muy adecuado), así como una propuesta de mejora, respecto a cada una de las competencias abordadas, de acuerdo con cuatro variables (pertinencia, claridad, coherencia y adecuación).

Respecto a la descripción del primer diseño de la prueba, en su parte inicial, esta incluía un primer apartado con los datos de identificación. Seguidamente, se presentaba un apartado de instrucciones. En su parte principal, la prueba se dividía en seis bloques, cada uno de los cuales se centraba en la evaluación de una competencia de pensamiento histórico. A esta primera propuesta se añadió una batería de ejercicios

alternativa, preparada por profesorado asociado y con experiencia docente en Bachillerato, dejando finalmente este primer diseño inicial de la prueba con dos opciones, A y B; la versión A contaba con 19 ítems y la versión B con 20 ítems, para un total de 39. Cada una de las opciones constaba de varios ejercicios para evaluar cada competencia, de acuerdo con el modelo de competencias que proponen Seixas y Morton (2012). Por tanto, de cada competencia se propusieron dos opciones, siendo labor del validador experto seleccionar o valorar una de ellas, incluso una opción intermedia o una mezcla de las dos.

Para analizar el acuerdo entre los jueces se calcularon los coeficientes ponderados de concordancia de Bangdiwala (B^WN) (Bangdiwala, 1987). El índice de acuerdo B^WN de Bangdiwala permite la representación gráfica del grado de acuerdo y proporciona una medida de la fuerza de este. En esta representación, los cuadrados negros muestran el acuerdo observado, en tanto que las áreas grises representan el acuerdo parcial. La zona blanca de cada rectángulo es la representación gráfica del desacuerdo. Los datos se analizaron mediante el software R v. 4.0.4 (R Core Team, 2021).

En la Tabla 1 se muestran los coeficientes de concordancia estrictos (BN) y ponderados o de acuerdo parcial (BWN) de Bangdiwala (Bangdiwala, 1987; Friendly & Meyer, 2016) obtenidos.

Para completar el análisis se calcularon también los coeficientes ponderados de Gwet (2008) para superar las limitaciones y paradojas propias del coeficiente Kappa de Cohen (Cicchetti & Feinstein, 1990; Feinstein & Cicchetti, 1990). En este caso se empleó el AC₂, por tratarse de datos ordinales, ya que permite el acuerdo parcial. Los índices de acuerdo AC obtenidos pueden considerarse entre moderados y buenos para las cuatro variables examinadas atendien²do a los criterios propuestos por Muñoz y Bangdiwala (1997).

Los coeficientes BN (sobre los valores de la matriz de coincidencia que se somete al análisis de concordancia) se calculan mediante la fórmula:

Para contemplar el acuerdo parcial (B^WN), puesto que se trata de una escala de valoración ordinal, se incluye una contribución ponderada de las celdas fuera de la diagonal en función de los pasos (separación) desde la diagonal principal. Estos acuerdos parciales se incluyen en el gráfico (Figura 1) en forma de cuadrados de un tono más claro (cuadrados grises) que el acuerdo estricto (cuadrados negros). De tal forma que se aplica un patrón de pesos (ponderaciones w1, w2, ..., wb), conforme a la fórmula propuesta por Fleiss y Cohen (1973), a las áreas sombreadas separadas b pasos de la diagonal. De modo que para calcular el coeficiente de acuerdo parcial (B^WN) se emplea la siguiente fórmula:

Donde wb representa la ponderación en función de la distancia a la diagonal y Abi representa el área de las zonas sombreadas con una separación b de la diagonal. Como se puede observar en la Figura 1, los coeficientes ponderados de concordancia de Bangdiwala (Bangdiwala, 1987) obtenidos fueron: B^WN = .49 (pertinencia); B^WN = .68 (coherencia); B^WN = .68 (adecuación); y B^WN = .62 (claridad de la redacción).

Para interpretar los coeficientes de concordancia, Muñoz y Bangdiwala (1997), proponen los siguientes criterios: valores por debajo de .09 indican un nivel de acuerdo pobre; entre .09 y .25, acuerdo escaso; entre .25 y .49 moderado; entre .49 y .801 bueno; y superiores a .801, indican un nivel de acuerdo excelente. Los resultados obtenidos, de acuerdo con esta interpretación, sugieren un nivel de acuerdo entre moderado y bueno, de modo que no disponemos de evidencias robustas de que el contenido de la prueba refleje adecuadamente el contenido que se pretende evaluar.

Los índices de acuerdo AC deben considerarse entre moderados y buenos, tomando en consideración la propuesta de Gwet (2021) p²ara interpretar los valores obtenidos. Así pues, el objetivo 2 alude a calcular la probabilidad de pertenencia a cada uno de los intervalos (Interval Membership Probability), cuyos resultados se muestran en la Tabla 2 utilizando la escala de referencia propuesta por Muñoz y Bangdiwala (1997).

Atendiendo a los resultados expuestos en la Tabla 2, y asumiendo los valores de la escala de referencia señalada, el nivel de acuerdo obtenido en cuanto a pertinencia y claridad se puede considerar escaso, mientras que, en relación a la coherencia y la adecuación, el grado de acuerdo es moderado, analizándose e interpretándose las cuatro variables con una confianza superior al 95%.

Para dar respuesta a este objetivo se calcularon las razones de validez de contenido (Content Validity Ratio, CVR) (Lawshe, 1975) para cada uno de los ítems en cada una de las variables analizadas (pertinencia, coherencia, adecuación y claridad de la redacción) y el índice de validez de contenido (Content Validity Index, CVI) (Lawshe, 1975) para el conjunto de ítems. Se trata de un indicador del acuerdo entre jueces que puede tomar valores entre -1 (desacuerdo total) y +1 (acuerdo total); de tal modo que el valor CVR es negativo si el acuerdo ocurre en menos de la mitad de los jueces; CVR es cero si se tiene exactamente la mitad de los acuerdos entre los jueces expertos; y CVR es positivo si más de la mitad de los jueces están de acuerdo en la valoración del ítem. Para la interpretación de los resultados con 7 jueces, Ayre y Scally (2014) proponen el valor crítico de CVR = 1 (p = .008), lo que supone que los 7 jueces estén de acuerdo en la valoración del ítem y supera la probabilidad de acuerdo por efecto del azar a un nivel de confianza del 95% (α = .05).

Para el cálculo de los valores CVR, se agruparon las valoraciones de los jueces que seleccionaron las opciones 4 (bastante) y 5 (mucho) y se calcularon las razones aplicando la fórmula propuesta por Lawshe (1975):

Donde n_e es igual al número de jueces que consideran el ítem bastante o muy pertinente, adecuado, coherente, o claro y N es el número total de jueces. Finalmente, el Índice de Validez de Contenido (CVI) se obtuvo mediante el cálculo del promedio de la validez de contenido (RVC) de cada uno de los ítems en cada una de las variables contempladas y globalmente.

Los valores RVC oscilaron entre -.71 y 1 en las cuatro variables consideradas (pertinencia, coherencia, adecuación y claridad de la redacción). Solo un ítem (B.1.3) alcanzó el valor RVC crítico propuesto por Ayre y Scally (2014) de .1 para 7 jueces, en las variables pertinencia y coherencia; del mismo modo, solo un ítem (B.1.1.) alcanzó este valor en la variable claridad. Ningún ítem alcanzó este valor en la variable adecuación. El CVI global para el conjunto de ítems fue .077 (pertinencia), .055 (coherencia), .077 (adecuación) y .077 (claridad).

Estos resultados indican que, a juicio de los expertos, la prueba carece de evidencias de validez referidas al contenido, es decir, el contenido de la prueba no refleja adecuadamente el contenido que se pretende evaluar. En cualquier caso, aparentemente la prueba B ha mostrado un nivel ligeramente superior de acuerdo entre los jueces respecto a su pertinencia, coherencia, adecuación y claridad que la prueba A.