Todos los días escuchamos a medios de comunicación, personalidades y organizaciones respaldando noticias o discursos con datos obtenidos por encuestas. Muchas veces no nos detenemos a pensar sobre la confiabilidad de estos datos, cómo fueron obtenidos y para qué fin.
A continuación, te describimos 8 aspectos a tomar en cuenta para identificar si una encuesta es confiable o no lo es.
1- Descripción metodológica
Una encuesta confiable describe los procesos metodológicos que se utilizaron para realizarla. No es necesario que la descripción metodológica sea un documento de 50 paginas, generalmente basta con un resumen metodológico que describa principalmente: el objetivo de la encuesta, unidad de análisis, tamaño de la población, tamaño de la muestra, representatividad, fecha de aplicación de la encuesta, nivel de confiabilidad (el estándar es del 95%) y margen de error (el estándar es del 2.4%).
Si la encuesta tiene una descripción metodológica es un buen indicador de confiabilidad, sin embargo, la verificación de confiabilidad no termina aquí.
2- Tipo de muestreo
El tipo de muestreo hace referencia al procedimiento que se llevó a cabo para seleccionar la muestra, los hay de muchos tipos y cada uno tiene ventajas y desventajas. Por definición, los muestreos probabilísticos cuentan con mayor nivel de precisión y veracidad.
Una vez que hayas identificado el tipo que muestreo que se llevó a cabo:
- Informate sobre las ventajas y desventajas del mismo
- Evalúa que las conclusiones e indicadores que se crearon con los datos de la encuesta sean coherentes con los alcances de la muestra.
3- Fecha de realización de la encuesta
El día a día está lleno de ciclos y de eventos atípicos. Recibir pago todos los 15 del mes es un ejemplo de ciclo, sembrar ajonjolí solo en ciertos meses del año es otro, el aguinaldo al fin de años otro, y así muchos más. Eventos atípicos puede ser un terremoto, la introducción de una nueva política fiscal o un paro nacional.
Se deben tomar en cuenta estos eventos porque afectan directamente a los datos. Las encuestas, dependiendo del objetivo, tratan de evitar las perturbaciones generadas por eventos cíclicos o atípicos. Por ejemplo, si una encuesta que busca conocer el nivel de ingresos de la población se lleva a cabo un día después de que las personas recibieron el aguinaldo, es muy probable que se sobrestimen los ingresos de las personas, generando de esta forma datos imprecisos y errados. Lo ideal para este ejemplo sería hacer la encuesta en un momento donde las personas no estén expuestas a perturbaciones que alteren el “estado normal” de su cotidianidad.
4- Identificar representatividad
La mayoría de las encuestas estudian una muestra para concluir sobre una población, sin embargo, esto no significa que las conclusiones aplican para “todo el mundo”.
Si una encuesta de salud indaga por la población de un municipio A, no significa que se harán conclusiones para el municipio B más cercano, mucho menos hacerlas para todo el país. Si una encuesta es realizada a una etnia que vive en la zona atlántica de Nicaragua, esto no significa que es posible concluir por la misma etnia que vive en la zona pacífico.
Las encuestas deben definir claramente a qué nivel son representativas, esto con el fin de evitar malas interpretaciones o el uso inadecuado de los datos.
5- Bajo nivel de respuestas, valores perdidos y valores atípicos.
Las alarmas de la no confiabilidad se activan cuando la encuesta presenta bajo nivel de respuesta, gran cantidad de valores perdidos y valores atípicos. Esto tiene múltiples causas, algunas pueden ser la incorrecta aplicación de la encuesta, sesgos de selección de la muestra, encuestas demasiado extensas o con preguntas confusas, falta de confianza del entrevistado, bajos incentivos económicos a los encuestadores, etc.
Para verificar esto, se debe tener la base de datos de la encuesta y elaborar tablas de frecuencias o descripciones de variables. Muchas veces no es posible acceder a la base de datos, en esas ocasiones se tendrá que hacer lo posible por comunicarse con la organización que realizó la encuesta y consultar por estos valores.
6- Encuesta de dominio público
Conocer la encuesta (conocida también como formulario o formato de llenado) permite verificar cada pregunta y la estructura de la misma. Por ejemplo, se puede conocer la estructura de las preguntas, saber si inducen respuestas o son confusas. También se puede verificar que las preguntas y la estructura de la encuesta sean coherentes a los objetivos de la investigación.
Las instituciones privadas generalmente no comparten las encuestas que utilizan. Las oficinas nacionales de estadísticas son quienes comúnmente comparte las encuestas, manuales y protocolos de sus investigaciones.
7- Base de datos de dominio público
El acceso a las bases de datos de encuestas es la mejor forma de verificar las conclusiones o indicadores que se generan en los informes oficiales de las encuestas.
Las oficinas nacionales de estadísticas y demás instituciones públicas están obligadas por ley a compartir la mayoría de información que producen. En muchas ocasiones esto no sucede o sucede a medias. Si no se cuenta con la base de datos nunca está de más llamar a la institución correspondiente y solicitar los datos.
Las instituciones privadas suelen no compartir sus bases de datos de encuestas. Esto se ha vuelto una practica común en la industria, sin embargo, se debe presionar a estas instituciones a que compartan las bases de datos de sus encuestas, pues es la forma más directa de verificar los que dicen o promueven.
8- Confidencialidad
Si una encuesta pone en riesgo a terceros, no es confiable. Si la base de datos de la encuesta contiene información sensible de las personas encuestadas sin consentimiento previo, debemos hacer saber de esta situación a las autoridades competentes que velan por la protección de datos personales. Algunos ejemplos de información sensible son: direcciones de viviendas, georeferencias, números de identificación, nombres completos, números telefónicos, correos electrónicos, entre otros.
Estas fueron algunas consideraciones a tomar en cuenta para identificar encuestas confiables. Con toda seguridad existen muchas más, si conoces algunas no dudes en compartirla en los comentarios.
Trackbacks/Pingbacks