|
|
|
|
|
|
Encuestas de opinión publica En forma permanente, con un fuerte incremento al acercarse cada instancia electoral, distintas empresas promueven a través de los medios los resultados de sus encuestas así como análisis acerca de los resultados. ¿Cuánta validez tienen esos datos?
Sobre la validez de las encuestas El objetivo de este artículo es analizar la validez de los resultados de las encuestas de opinión pública que se realizan en Uruguay. La metodología está focalizada en la comparación de los resultados de las encuestas ya realizadas en elecciones anteriores con los resultados reales que las elecciones arrojaron. Esta enfoque tiene la ventaja de que no requiere conocer la metodología interna con que se realiza cada encuesta, sino que busca determinar la validez de los pronósticos. Para realizar el presente análisis, se compararon 20 valores previstos por la última encuesta previa a la elección con los resultados electorales definitivos para:
Los datos Para realizar la comparación se preparó una tabla que cuenta la cantidad de aciertos de las encuestadoras si se considera un margen de error determinado. Por ejemplo:
La empresa XYZ pronosticó un valor de 38% para el Partido nacional en las elecciones generales de 1999. El valor real fue de 39.6% con lo que la tabla que se generaría en este caso es:
Resumen de los datos:
Los datos son contundentes, para tener un porcentaje de aciertos mayor al 50% hay que aceptar un margen de error del 12%, esto quiere decir que si las encuestadoras pronostican que el partido XYZ va a sacar 50% de los votos, en realidad podemos estar más o menos convencidos de que va a sacar entre un 46% y un 54% de los votos.
Inmediatamente surge la pregunta de si una encuestadora es mejor que otra. Está fuera de nuestro alcance definir cuál es mejor, por lo que no vamos a revelar los nombres asociados a cada dato. De todos modos, los datos son de dominio público, están disponibles en Internet y quien quiera puede rehacer las operaciones aritméticas muy sencillas con la que se calcularon los valores aquí expuestos. Resumen de los datos por encuestadora:
El partido XYZ subió un 1% en tal encuesta
Si bien es posible profundizar el trabajo realizado, en la dirección de comparar los resultados de las encuestas con los resultados reales de los distintos actos eleccionarios, hay una primera conclusión a extraer: a la luz de los datos expuestos, las encuestas marcan a grosso modo, la posición relativa de los partidos políticos y muy poco más. En este marco, las disquisiciones sobre si un candidato pasó de 48% a 47% en una semana o si otro que tenía 24% ahora tiene 25.5% son disquisiciones políticas, no estadísticas. La industria de las encuestas, propone un mensaje pseudo-científico, que intenta mostrar un panorama muy distinto al que arrojan los datos. Independientemente de la encuestadora, el medio que difunde los datos, el candidato que festeja y el que dice que la encuesta está arreglada, los distintos voceros de las empresas analizan la realidad como si su herramienta de medición tuviera la precisión de un rayo láser, cuando tienen entre sus manos apenas un trabuco naranjero. Profecía autocumplida Imagine que usted es el dueño de una empresa encuestadora, y su personal le comunica que el resultado de la encuesta que acaban de digitar en el sistema arroja que el EP-FA tiene en Montevideo el 41% de las preferencias. ¿Qué hacer? ¿Publicar la encuesta? ¿Hacerla nuevamente? ¿Revisar los formularios para detectar posibles "dibujos" de los datos? Son todas decisiones políticas. Las encuestadoras reprocesan, descartan, chequean, vuelven a encuestar, con metodologías razonables para las ciencias sociales pero que invalidan completamente el valor estrictamente estadístico de sus resultados. En definitiva una encuesta debe "dar" en el entorno de lo que le da a las demás empresas, por lo que las encuestadoras jamás publican valores disparatados. Pero estos valores disparatados necesariamente deben aparecer cada tanto si lo estadístico es estrictamente estadístico y lo aleatorio es estrictamente aleatorio, de lo contrario una encuesta no es más que una profecía autocumplidaEpisodio II
El análisis se realiza entonces ahora con un total de 118 pronósticos, en base a los resultados de 5 actos eleccionarios:
Cuadro 2 - Los aciertos y fallas a medida que se aumenta el margen de error aceptado. La última columna muestra el mismo cálculo pero con los datos publicados en el artículo del 21 de octubre de 2004 Errores y precisión Un primer problema que surge del análisis de los resultados publicados en la prensa escrita, de los expuestos en radio y televisión y de los publicados en los distintos sitos de las encuestadoras, tiene que ver con los márgenes de error y la precisión con que se presentan los datos. Inclusive una lectura detenida de las fichas técnicas completas2 deja abiertas algunos flancos importantes Cuando se expresa el margen de error: ¿Se trata de márgenes de error en porcentaje del valor expresado o en puntos de la encuesta? El juego de palabras que se forma al hablar del error como un porcentaje de un porcentaje, deja siempre la duda de si cuando se afirma que el error es del 3% y se muestra un pronóstico de 10%, quiere decir que se pronostica un valor entre 7% y 13% o que se pronostica un valor entre 9.7% y 10.3%. Para el primer rango, el error estaría siendo expresado en "puntos de la encuesta", en el segundo caso, en "porcentaje del valor". Si se tratara de una distancia, por ejemplo 10km, entonces no habría problema, porque para el primer caso se diría que el error es de +/-3km y para el segundo caso se diría que es de +/-3%, con lo que se evitarían todas las confusiones. No se trata de un detalle. La ciencia enseña que no se deben considerar válidas medidas menores que el margen de error del instrumento con que medimos. O sea que si son puntos de la encuesta, no se deberían incluir pronósticos de menos de 3%, algo que se hace sistemáticamente con los partidos menores, los votos en blanco y en algunos casos con los indecisos. Tampoco queda claro el hecho de que los errores varían según se trate de resultados generales o de resultados de los distintos sectores dentro de un partido. Cuando se pronostica que un sector obtendrá el 20% de los votos dentro de su partido, ese pronóstico tiene un error mucho mayor que el pronóstico general que se hace para el partido. Este dato se omite sistemáticamente en los medios y aparece solamente hilando fino en algunas fichas técnicas. Otra problema importante tiene que ver con la precisión. En ciencia, es necesario expresar las los valores de forma que quien los lee entienda exactamente como se reflejan los márgenes de error de nuestras medidas en los valores que mostramos. Eso se aprende muy temprano, tal como muestran los textos de secundaria: "Las cifras significativas de una medida son todas las cifras seguras y un una única insegura. Siempre que realices una medida debes expresar el resultado utilizando solo las cifras significativas"3. Con un margen de error de 3%, el valor 50.9% es enormemente engañoso. Tanto si el error está expresado como puntos de la encuesta (rango 47.9%-53.9%) como si está expresado en porcentaje del valor, (rango 49.4%-52.4%) la cifra de las unidades es insegura, por lo que el método científico exige redondear y obviar la cifra de los décimos, es decir: se debería haber publicado 51%. Publicar 50.9% como pronóstico de una encuesta responde a las necesidades comerciales o de marketing, a costa de la violación de normas elementales del manejo científico de los errores.
Las picardías y el justificómetro La dinámica de la presentación de pronósticos a medida que se acerca el día de las elecciones, con todos los medios concediendo espacio a publicitar a su empresa encuestadora, a lo que se suma una verdadera canilla libre de números, encuestas, pronósticos y análisis, hace muy fácil perder la perspectiva. Los televidentes nos vemos literalmente apabullados por números, datos, análisis, que exceden largamente nuestra capacidad de recordar y comparar sin recurrir a procedimientos sistemáticos, algo que el 28 de octubre ninguno de nosotros estaba en condiciones de hacer. Pero ¿qué pasa cuando uno comienza a analizar con paciencia y detalle lo que dijeron en diversas instancias los distintos analistas y lo que pronosticaron las distintas encuestadoras? Comienza a vislumbrase que con mucha frecuencia se deslizan inexactitudes, se cometen picardías y se justifican errores, con procedimientos que no tienen nada que ver con la ciencia estadística. Citaremos aquí cuatro ejemplos, pero es posible encontrar decenas con solo navegar por Internet contrastando documentos. 1.- El primero de noviembre de 2004, es decir al otro día de la elección, en el programa En Perspectiva de la radio El Espectador, Juan Carlos Doyenart, director de Interconsult afirmó "(las encuestadoras) dieron al Partido Colorado (PC) en el orden del 10-11 por ciento -lo que muchos se resistían a creer- y estuvo en 10,5. O sea: las encuestas siguen siendo un referente fundamental, hay que respetar más este trabajo técnico y su seriedad". Tal como muestra el Cuadro 1, no es exacto que las encuestadoras dieron al Partido Colorado en el orden del 10-11 por ciento, sino en el orden del 8-12.5 por ciento. De hecho, la propia encuestadora que Doyenart dirige, según los datos proporcionados en el informativo de Canal 10 del 28/10/04 pronosticó 9.8% para el Partido Colorado. 2.- La empresa Cifra, el último día de los pronósticos dio su resultado en 2 pasos. Esto le permitió dar su resultado definitivo con cartas vistas, conociendo todos y cada uno de los pronósticos de sus colegas. Casualmente todos sus pronósticos se ubicaron en un extremo del rango de sus competidores: para el FA el menor valor y para el PC, PN y PI el mayor valor. La picardía fue complementada con la justificación de qué se proyectaban indecisos: en el marco de la fiebre de valores de ese día cualquier dato nuevo era bienvenido. Es al menos llamativo que los pronósticos estén colocados exactamente en la frontera de los rangos de sus colegas, que Cifra por primera vez en todos sus pronósticos utilice decimales y que mueva de golpe algunos valores, como el pronóstico del FA 4 puntos, después de haberlo mantenido durante meses en un rango que oscilaba entre 46 y 48 por ciento. 3.- Grupo Radar fue quién más enérgicamente pronóstico un resultado favorable al FA en primera vuelta. Su pronóstico de 56% incluyendo indecisos era según sus palabras de "avalancha" en favor del FA. Ante la vehemencia de las exposiciones, era esperable un ético y honesto "nos equivocamos" a secas, o al menos un silencio culposo. Recibimos todo lo contrario. En una extensa nota firmada por Adolfo Garcé, Daniel Chasquetti y Alain Mizrahi disponible en el sitio Web de la empresa y publicada en Crónicas, el 5 de noviembre de 2004 concluyen que "Por todo ello creemos que el error no está en la medición y que debemos buscarlo fuera de la encuesta, más precisamente en los hechos ocurridos desde el cierre de la encuesta hasta el día de la elección." 4.- En una entrevista en radio El Espectador, el 28 de octubre de 2004, Oscar Botinelli director de Factum justifica un pronóstico desacertado para las internas del 27 de junio de 2004, que excede varias veces4 el margen de error con la siguiente explicación: "(Factum) daba 49 para el Frente y 30 para el PN,... que esa proporción de cinco a tres entre la izquierda y los blancos podía ser mucho menor, bastante menor, y que existía, aunque con menos probabilidades, la posibilidad de que el EP-FA perdiera el primer lugar." Los comentarios sobran. No dudamos de las encuestas, nos sonrojamos con los encuestadores... En su análisis del 5 de noviembre de 2004, también en El Espectador, el mismo Botinelli afirma: "Las encuestas han quedado aceptadas claramente, demostraron ser una herramienta científica con todas las certezas y las limitaciones de cualquier herramienta científica, y nos parece que de aquí en adelante cualquiera que salga otra vez a discutirlas va a estar discutiendo si el Sol gira alrededor de la Tierra o los astros están colgados del cielo, ya no tiene sentido" ¡Otra vez la "picardía"! El problema no son las encuestas como método científico, sino el uso que las empresas de opinión pública y los medios de comunicación hacen de ellas con fines comerciales y políticos. A saber:
Confundir las encuestas con las encuestadoras es presentar una falsa disyuntiva. En las apariciones y documentos públicos de las encuestadoras hay apenas una traza de lo que en su origen fue una encuesta basada en la ciencia estadística, para transformarse a través de la ponderación, la estimación y el análisis en una pieza político/comercial. En el informe de una encuestadora hay tanto de ciencia estadística como hay de huevo en el pollo. Para probarlo alcanzaría con que hicieran públicos los resultados en bruto de la encuesta sin procesar, nos daríamos cuenta de la distancia enorme que separa el trabajo de campo con lo que al final nos muestran en TV. Queda planteado el desafío...
1 Los datos están tomados de las emisiones televisivas de los informativos del 28/10/2004. Para Factum, que pronosticó en base a rangos, se tomó el promedio del rango para el estudio. 2 Justo es decir que accedimos solamente a las de las empresas Cifra y Factum, para las otras tres empresas, por lo menos para nosotros, fue imposible encontrar la ficha técnica completa. 3 Ciencias Físicas 1, (texto para primer año del Ciclo Básico) - Saravia, Szwartcfiter, Segurola, Página 50. Textos del Sur - Montevideo. 4 El resultado final fue de 42.7% para el FA y 41.5% para el PN, con una diferencia entre ambos de aproximadamente 13.200 votos. Fuente: http://www.mordecki.com/Otros_Temas/EncuestasII/encuestasii.shtmlLA ONDA® DIGITAL |
|
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
Un portal para y por uruguayos |
© Copyright |
