e-ISSN: 1988-3129
RESEÑAS
El 29 de junio, en el marco del XV Congreso Español de Sociología, se celebró un simposio sobre el futuro de las encuestas en la era digital. Dos expertos y otras tantas expertas expusieron los retos actuales de las encuestas considerando, entre otros, la gran pérdida de colaboración de la ciudadanía. Esta situación genera que los resultados solo sean representativos de una parte de la población objeto de estudio, dificultando sobremanera la generalización de los hallazgos, aspecto fundamental en la investigación social mediante encuesta.
Este es, precisamente, el objetivo del trabajo objeto de esta recensión: desarrollar estrategias para aumentar la cooperación en las encuestas. Y considera tanto encuestas presenciales, telefónicas como autoadministradas (principalmente online). Se une así a la escasa literatura en castellano sobre el tema (Díaz de Rada, 1999; Sánchez Carrión, 1999), a diferencia de lo que ocurre en otros países donde se han publicado un gran número de monografías y números monográficos en revistas científicas de primer nivel. Journal of Official Statistics, publicada por Statistics Sweden, ha dedicado cuatro números al tema (años 1999, 2001, 2011 y 2020); Public Opinion Quarterly, editada por la Asociación Americana para la Investigación de la Opinión Pública-AAPOR, ha dedicado dos números (2006 y 2019); y un número The Annals of the American Academy of Political and Social Science (Massey y Tourangeau, 2013.
La falta de respuesta es un tema especialmente interesante en el caso de España. La comparativa de las tasas de respuesta de los 28 países que participan en el Eurobarómetro 93 sitúa a España entre los países con tasa de respuesta más baja (31,7%). Esta tasa de cooperación supera tan solo a Alemania (DE), Estonia (EE), Grecia (EL), Francia (FR), Italia (IT) y Finlandia (FL). Así, de los 28 países considerados, España ocupa la 7ª posición en menor tasa de respuesta.
Las 288 páginas del texto objeto de la reseña se estructuran en cinco capítulos, a los que se añade una introducción y un anexo con ejemplos de una estrategia para aumentar la cooperación. En las primeras páginas de la introducción se entra directamente en el tema, como si el autor y la autora temieran no poder disponer de suficiente espacio para todos sus argumentos. El texto comienza aludiendo a que la tasa de no respuesta se incrementó notablemente a partir de la última década del siglo xx. Más importante es que afecta a todo tipo de encuestas, tanto comerciales, académicas e incluso a la estadística oficial. Se trata, además, de un fenómeno internacional, que se produce en todos los países. De hecho, la Encuesta de Población Activa Europea (EPA en España) presenta descensos en la tasa de respuestas de un 0,73% anual, y la tasa de respuesta del barómetro telefónico de Pew Research (en Estados Unidos) ha pasado del 9% entre 2013 y 2016 al 6% en 2018. Esta situación ha llevado a que los institutos de opinión impartan formación específica al personal encuestador sobre cómo “mejorar el acceso”, que suponen un importante incremento del coste del trabajo de campo.
Tras la introducción, en el primer capítulo se lleva a cabo una contextualización histórica de la no respuesta, que aparece en la década de 1970 y que experimenta un gran crecimiento a finales del siglo pasado. Seguidamente se realiza una definición de la no respuesta, término con muchas acepciones al haber sido utilizado de muy diversas formas en libros sobre muestreo, procesos estadísticos, censos, etc.; considerando la propuesta de la Asociación Americana para la Investigación de la Opinión Pública (American Association for Public Opinion Research)-AAPOR. A continuación, el texto se centra en las implicaciones para la investigación, utilizando un ejemplo para explicar el concepto del sesgo, y las implicaciones que esto supone para la extrapolación de resultados. Un recorrido sobre las corrientes y escuelas que explican la cooperación en encuestas pone fin a este primer capítulo.
A partir de aquí el texto se organiza siguiendo la secuencia de actividades que desarrollan los y las encuestadoras antes de proceder con la aplicación del cuestionario. Así, el capítulo segundo se dedica a la mejora en la localización (de la unidad de estudio), el tercero al establecimiento del contacto de la mejor forma posible, y el cuarto a evitar el rechazo.
El objetivo del segundo capítulo es minimizar el número de unidades no contactadas, y propone llevar a cabo el contacto (con la persona a encuestar) teniendo en cuenta los horarios de la muestra objetivo, aumentar la duración del tiempo de recogida, e incrementando el número de contactos antes de dar una unidad por perdida. Solo esta última estrategia implica aumentos en el coste de la investigación en entrevistas presenciales; algo menor cuando se utilizan encuestas telefónicas. Esta estrategia incluye en la muestra las personas más difíciles de localizar, normalmente diferentes a los que colaboran tras el primer contacto, aumentando también el tiempo de duración del trabajo de campo.
En el capítulo tercero se considera que el personal de campo está a punto de contactar con la persona que se pretende seleccionar, y en el primer epígrafe se lleva a cabo una exhaustiva exposición de todos los obstáculos para contactar con el universo objeto de estudio: desde viviendas en las que las porteras impiden la entrada hasta la localización de viviendas vacías, así como viviendas en las que se aprecia que hay alguien dentro pero que no abren la puerta, o contactos con viviendas que no forman parte del objeto de estudio.
Los primeros momentos de interacción son fundamentales puesto que las personas no tienen fijada previamente una convicción de cooperar o no, sino que la mayor parte de las veces, la decisión se toma en el último momento y en dos o tres segundos. Tal y como se señala en el texto, “existe una gran cantidad de investigación empírica que muestra que esta decisión se toma de forma rápida y superficial, basada en escasa información y sujeta a rápidos cambios” (página 105).
Este proceso de acercamiento varía sustancialmente si el/la encuestador/a se encuentra frente al encuestado (encuesta presencial), si el contacto se realiza a través del teléfono (encuesta telefónica) o si se trata de un cuestionario autoadministrado a través de la red (encuesta online). En la última parte del capítulo se explica cómo reaccionar ante los recelos a cooperar, al tiempo que se destaca el protagonismo del personal que realiza la entrevista para aumentar la cooperación.
El cuarto capítulo constituye, a juicio de este lector, el mejor y de más utilidad investigadora. Los autores presentan cuatro estrategias para reducir el rechazo organizadas según el momento en que tienen lugar. Así, para prevenir el rechazo recomiendan notificar el contacto antes de llevarlo a cabo, incentivar a los encuestados, reducir la información para la selección de la unidad muestral, asícomo emplear la modalidad de recogida de información que logre más colaboración. Una vez que el rechazo ha tenido lugar puede optarse por reemplazar los que no cooperan, emplear estrategias de conversión considerando que en muchas ocasiones el rechazo es circunstancial (muy relacionado con un momento concreto y sujeto a desaparecer si se contracta en otro momento), aplicar una parte del cuestionario, y llevar a cabo un seguimiento de los que han rechazado.
Algunas de estas últimas estrategias son habitualmente utilizadas en las encuestas que se realizan en España. En concreto, la notificación del contacto antes de llevar a cabo la entrevista, así como incentivar al personal que aplica el cuestionario y al que lo responde, es algo habitual en la aplicación en España de la Encuesta Social Europea (Cuxart y Riba, 2009). Ahora bien, no se conoce la eficacia de cada una en la medida que se aplica a toda la muestra, sin realizar una asignación experimental como se lleva a cabo en otros países (Becker y Mehlkop, 2011; Beullens et al., 2018; Bianchi y Biffignandi, 2019).
Emplear la modalidad de recogida de información que logre más colaboración también es otra de las estrategias empleadas en la Encuesta social Europea en España y, de hecho, el cambio de la modalidad presencial a autoadministrada en la edición del año 2020 supuso un descenso de la cooperación en más de 15 puntos porcentuales. Que nos conste, esa encuesta es la única que emplea estrategias de conversión de rechazos, si bien la tasas de conversión ha descendido del 42% en las olas del 2008 y 2011 al 25% en la ola de 2015, y hasta el 13% en 2017 y 2019; tal y como se presenta en la página 216 del texto.
El reemplazo a los que no cooperan es una estrategia habitual de las encuestas realizadas por la investigación privada de opinión y de mercados (Núñez Villuendas, 2005), lo que aumenta la probabilidad de cooperar de los que más tiempo pasan en casa (Leonisio y Bartolomé, 2020), dificultando así la generalidad de los resultados. Más adecuada es el reemplazo por reservas seleccionadas aleatoriamente, habitualmente utilizada por el Instituto Nacional de Estadística en España (en adelante INE), si bien el propio INE ha comprobado que normalmente se sustituyen viviendas unipersonales y de más de seis miembros por viviendas de dos, tres y cuatro miembros. Respecto al nivel de estudios, son sustituidas viviendas de personas con estudios de Bachillerato, Formación Profesional de 2º grado y equivalentes por personas con titulación inferior al grado de Escolaridad; lo que implica un menor nivel de estudios de la muestra efectiva. Así, los hogares sustituidos presentan mayor nivel de formación (Bachiller, F.P. de 2º grado o títulos equivalentes o superiores) y menor tamaño (unipersonales). Los reservas tienen un menor nivel de formación (titulación inferior al Grado de Escolaridad) y mayor tamaño (entre tres y cuatro miembros).
Una de las bondades de este texto, a juicio del autor de esta recensión, es que estas técnicas importadas de la investigación social anglosajona son aplicadas a investigaciones realizadas en la realidad española, principalmente la Encuesta Social Europea. Esto, a su vez, constituye su principal debilidad; considerar que lo localizado en la Encuesta Social Europea pueda ser generalizable al resto de investigación. Así, por ejemplo, anteriormente se ha señalado que la estrategia del incremento del número de contactos incluye en la muestra a personas diferentes a las seleccionadas en el primer contacto, algo que ocurre en la Encuesta Social Europea pero no en otras que emplean este recurso como es la Encuesta Europea de Valores (Díaz de Rada, 2024). En definitiva, este es un texto preliminar de la no respuesta en encuestas, a falta de que el resto de la comunidad investigadora compruebe la eficacia de las estrategias aquí apuntadas.
Concluyo en un momento en el que aún resuenan los ecos de las erróneas predicciones electorales en las elecciones de Estados Unidos. Se hace referencia a esta situación porque los aciertos en las estimaciones se olvidan con rapidez, y los errores perduran en el tiempo. Basados en esta lógica, consideramos que se hacen muy necesarios libros como este en el que se analizan las debilidades de la encuesta, en la medida que solo conociendo sus debilidades se podrá fortalecer la técnica de la encuesta.
Asociación Americana para la Investigación de la Opinión Pública-AAPOR (2000): Public Opinion Quarterly: Special Issue, Nonresponse bias in household surveys, 70-2.
Asociación Americana para la Investigación de la Opinión Pública-AAPOR (2019): Public Opinion Quarterly: Special Issue, Eleanor Singer, 89-S1.
Becker, R. y G. Mehlkop (2011): “Effects of prepaid monetary incentives on mail survey response rates and on self-reporting about delinquency - empirical findings”, Bulletin de Methodologie Sociologique, 111, pp. 5-25.
Beullens, K., G. Loosveldt, C. Vandenplas et al. (2018): “Response Rates in the European Social Survey: Increasing, Decreasing, or a Matter of Fieldwork Efforts?”. Survey Methods: Insights from the Field, 1-12. Disponible en: https://surveyinsights.org/?p=9673. [Consulta: 12 de mayo de 2024].
Bianchi, A. y S. Biffignandi (2019): “Survey Experiments on Interactions and Nonresponse: A Case Study of Incentives and Mode”, en P. Lavrakas, E.de Leeuw, M. Traugott, et al. eds., Experimental Methods in Survey Research: Techniques that Combine Random Sampling with Random Assignment, Nueva York, Wiley, pp. 354-356.
Cuxart, A. y C. Riba (2009): “Mejorando a partir de la experiencia: la implementación de la tercera ola de a ESE en España”, Revista Española de Investigaciones Sociológicas, 125, pp. 147-165.
Díaz de Rada, V. (2000): Problemas originados por la no respuesta en investigación social: Definición, control y tratamiento, Pamplona, Universidad Pública de Navarra.
Díaz de Rada, V. (2024): “Factores influyentes en la tasa de respuesta de la V Encuesta Europea de Valores”, en XV Congreso Español de Sociología, Sevilla, Federación Española de Sociología.
European Commision (2020): Europeans’ opinions about the European Union’s priorities, Standard Eurobarometer, 93. Disponible en: https://op.europa.eu/en/publication-detail/-/publication/1b2d37c3-d7b6-11eb-895a-01aa75ed71a1 [Consulta: 24 de enero de 2025].
Leonisio, R. y E. Bartolomé (2020): “Aspectos metodológicos en torno a la oleada de 2017 de la encuesta europea de Valores”, en M. Silvestre y Equipo Deusto en valores sociales, eds., Valores en la era de la incertidumbre. Individualismos y solidaridades, Madrid, Catarata, pp. 307-316.
Massey, D. S. y R. Tourangeau (2013): “Introduction: new challenges to social measurement”, The ANNALS of the American Academy of Political and Social Science, 645, pp. 6-22.
Núñez Villuendas, A. (2005): “Incidencias de la entrevista personal en la investigación por encuesta”, Revista Española de Investigaciones Sociológicas, 109, pp. 219-236.
Sánchez Carrión, J.J. (2000). La bondad de la encuesta: el caso de la no respuesta, Madrid, Alianza.
Statistics Sweden (1999): Journal of Official Statistics: Special Issue on Nonresponse. 15.
Statistics Sweden (2001): Journal of Official Statistics: Special Issue on Nonresponse. 17 (2).
Statistics Sweden (2011): Journal of Official Statistics: Special Issue on Nonresponse. 27 (2).
Statistics Sweden (2020): Journal of Official Statistics: Special Issue on Nonresponse. 36 (3).