Cómo evaluar la investigación científica
Después de escribir tres blogs sobre la controversia que rodea a los antitranspirantes como causa del cáncer de mama, recibí un correo electrónico de uno de nuestros clientes con una gran pregunta.
Gracias por recordarme que debo ser más cauteloso con lo que creo que veo en internet. Pero ¿cómo se supone que yo o cualquier persona sin formación científica sepamos qué buscar en todos esos estudios que leemos?
¡A la profesora de ciencias que llevo dentro le encantó esta pregunta! Así que decidí desviarme de mi plan original para el blog sobre desodorantes naturales para intentar responderla.
Cada día nos bombardean con información sobre ciencia procedente de los periódicos, la radio, la televisión e Internet.
Como consumidores, a menudo necesitamos evaluar las afirmaciones científicas en la publicidad y los medios de comunicación.
La publicidad se utiliza para vender productos y a menudo se utilizan afirmaciones científicas en la publicidad para convencernos de los beneficios de esos productos.
Comprenderlo todo y distinguir entre afirmaciones y estudios científicos creíbles puede ser muy difícil para quienes no son científicos. Entonces, ¿cómo podemos, como consumidores, distinguir entre ciencia buena y mala?
Una verdadera evaluación de un trabajo de investigación científica requiere una comprensión profunda de los métodos de investigación, así como del tema que se investiga.
El propósito de este blog es proporcionar información básica sobre cómo mirar con un ojo más crítico las afirmaciones e investigaciones científicas.
Los titulares suelen ser engañosos
Para empezar, siempre desconfío de los titulares. No solo suelen ser engañosos, sino también inexactos; recuerda que intentan llamar tu atención. Por ejemplo, el titular dice: «Las fresas curan el cáncer».
Pero cuando lees el artículo o el trabajo de investigación, el estudio en realidad muestra que hubo una correlación entre las ratas que comieron una libra de fresas por día y un riesgo reducido de cáncer.
En primer lugar, los humanos no son ratas y dado que la rata promedio solo pesa alrededor de media libra, ni siquiera puedo imaginar cuántas libras de fresas tendría que comer la persona promedio para repetir el estudio en humanos.
Además, tenga cuidado con los titulares que incluyen palabras como "se ha encontrado una relación" entre dos cosas, como "se ha encontrado una relación entre comer fresas y el cáncer". Palabras como "relación" con demasiada frecuencia significan que los resultados que se informan no son estadísticamente significativos.
Mucha gente usa la frase "estudios han demostrado..." sin citar el estudio. Sé que yo también lo hago. Tenga razón o no, no cuestiono un estudio que diga que "la manteca de cacao es hidratante". Pero cuando se trata de usar un estudio para tomar decisiones importantes en mi vida, me convierto en un consumidor escéptico: la información es falsa hasta que se demuestre su veracidad.
Hazte algunas preguntas:
Encuentre la investigación original
Me gusta ver una cita para poder leer el estudio original. Aunque tengo una buena formación en investigación científica, puede que me resulte difícil leer un artículo de investigación científica, así que empiezo por plantear algunas preguntas sencillas sobre el estudio:
- ¿Quiénes son los autores o investigadores? ¿Cuál es su especialidad?
- ¿Están los autores afiliados a una institución de buena reputación?
- ¿El estudio está publicado en una revista de prestigio?
- ¿Quién financió el estudio? Aunque quizás no encuentres esta información, me preocupa un poco que un estudio sea financiado por la empresa que intenta venderme el producto.
- ¿Han comentado o repetido otros investigadores el estudio? En otras palabras, ¿han sido verificados los hallazgos por otros expertos?
Entender el método científico
La investigación científica, ya sea un estudiante que crea un proyecto para una feria de ciencias o alguien que realiza una investigación académica, sigue alguna forma del mismo proceso básico llamado “Método científico”.
Puede parecer complicado, pero en realidad usamos los pasos de este proceso todos los días para tomar decisiones sencillas. Por ejemplo, suena el despertador y te levantas de la cama...
Este es un ejemplo muy simplista del método científico, pero muestra el flujo de cómo se realiza y se escribe la investigación.
Un artículo de investigación científica generalmente contiene las siguientes secciones
Resumen: Esta primera sección es, en realidad, la última parte escrita. Consiste en un resumen completo del artículo. Describe el propósito del mismo, cómo se llevó a cabo el trabajo, los resultados y las conclusiones.
Introducción: Esta sección ofrece información general sobre el tema del artículo y responde a preguntas como: ¿Cuál es la pregunta clave? ¿Qué problema se está estudiando? ¿Cuál es el propósito del estudio? ¿Por qué es una pregunta importante? ¿Qué información ya se conocía sobre la pregunta antes del estudio? ¿Qué esperan aprender los autores de esta investigación? ¿Cuál es la hipótesis?
Materiales y métodos: Los investigadores describen cómo diseñaron el experimento o investigación para probar su hipótesis.
Esta sección proporciona detalles técnicos y responde las preguntas: ¿Cómo resolvieron los investigadores el problema? ¿Cómo llevaron a cabo el experimento?
Esta sección también sirve como manual de instrucciones para quienes deseen repetir el experimento. Es una de las secciones más importantes, pero también una de las más difíciles de entender. Vea algunas preguntas básicas a continuación.*
Resultados: Este es un resumen objetivo de los datos y observaciones obtenidos en el estudio. Suele estar repleto de fórmulas y estadísticas, y puede ser difícil de leer. Observe los gráficos y diagramas para comprender los resultados. En esta sección no se ofrece ninguna interpretación de los datos ni conclusiones sobre su posible significado.
Discusión: Los autores expresan sus opiniones, extraen conclusiones sobre los resultados e interpretan los datos en relación con el problema o la hipótesis original. También es el espacio donde los investigadores deben evaluar su propio experimento o estudio. ¿Identifica el autor alguna debilidad en su propio estudio? ¿Se necesita más investigación? La discusión presenta las opiniones del autor, que no necesariamente se basan en hechos.
Cómo leer investigaciones científicas
Mi objetivo al leer un artículo científico es identificar la afirmación del autor y ver qué tan bien la respalda la investigación . Leer el resumen es un buen punto de partida para un principiante. Pero recuerda que, dado que el resumen incluye un resumen de todo el proyecto de investigación, también incluye las opiniones del investigador. ¡No te dejes persuadir por sus sesgos! Me gusta empezar por la introducción. En general, las secciones más fáciles de entender para un no experto son la introducción y la discusión.
Cuando los científicos realizan una investigación, la parte más importante es preparar un experimento bien construido para probar su hipótesis.
Es el procedimiento experimental, los materiales y los métodos, lo que realmente determina la validez de un estudio. Si el experimento no está bien estructurado, el estudio carece de sentido. Esta sección suele ser muy difícil de leer y comprender.
¿Cómo determinamos entonces si el experimento estuvo bien diseñado? *Aquí hay algunas preguntas básicas:
¿Había suficientes personas en el estudio para mostrar realmente alguna significación estadística?
Por ejemplo, dos estudios que detectaron niveles altos de aluminio en mujeres con cáncer de mama se realizaron con menos de 20 mujeres en cada uno. Es difícil extraer conclusiones fiables a partir de 20 personas. Si bien esto no siempre significa que los hallazgos sean inválidos, sí implica que se necesitan más pruebas con más personas para confirmarlo.
¿Hubo un grupo de control?
Un grupo de control en un experimento es el grupo que no recibe ningún tratamiento o no tiene la enfermedad o el problema que se está investigando.
Sirve como punto de comparación. Sin el grupo de control, no habría nada con qué comparar el grupo de tratamiento.
Por ejemplo, un estudio publicado en 2003 se basó en las respuestas a cuestionarios enviados a mujeres con cáncer de mama. El investigador informó que las mujeres diagnosticadas con cáncer de mama a una edad más temprana afirmaron usar antitranspirantes antes que las mujeres diagnosticadas a mayor edad. Sin embargo, el diseño del estudio no incluyó un grupo de control de mujeres que usaron antitranspirantes a una edad temprana y no padecieron cáncer de mama.
¿Qué pasa con las variables?
Al realizar un experimento, la variable independiente es la condición o el factor que se manipula o modifica. La variable dependiente es el resultado de la manipulación. Por ejemplo, si se mide cómo la cantidad de luz solar afecta el crecimiento de una planta, la variable independiente es la cantidad de luz solar. Se puede controlar la cantidad de luz solar que recibe cada planta. El crecimiento es la variable dependiente . Es el efecto de la cantidad de luz solar.
Una variable controlada es cualquier factor que se mantiene constante durante un experimento.
Un solo experimento puede tener muchas variables de control que son muy importantes porque podrían afectar el resultado.
Al enseñar a mis alumnos a construir un buen experimento, empezaba con un ejercicio sencillo. La pregunta que debían responder era "¿cuánto tiempo tarda en derretirse un cubo de hielo?". No les daban más información ni les permitían hacerme preguntas. Al día siguiente, recorría el aula y escribía sus respuestas en la pizarra. El tiempo para derretir un cubo de hielo variaba entre menos de un minuto y dos horas y media.
Los niños se apresuraron a decirme que el experimento había sido malo. Los cubitos de hielo eran de diferentes tamaños; no les expliqué cómo derretirlos (un par de estudiantes usaron un microondas); algunos colocaron los cubitos en el alféizar frío de una ventana; etc. Y lo que es más importante, no entendieron el propósito: cuál era la verdadera pregunta que intentaba responder.
Lo que aprendieron de este tonto experimento es que si no conocemos el propósito del experimento y si no controlamos las cosas que pueden afectar el resultado de nuestros experimentos, lo que los científicos llaman las "variables controladas", nunca obtendremos resultados precisos.
Luego pregunté, ¿qué pasaría si cambiamos la pregunta a "¿cuánto tiempo tarda en derretirse un cubo de hielo de una onza a temperatura ambiente de 70 grados F?"
Los estudiantes rápidamente señalaron que, aunque mi nueva pregunta era más específica, seguía siendo errónea. Las diferentes formas de los cubitos de hielo tienen distintas superficies; ¿qué sucedería si hubiera un ventilador en el techo? ¿Qué sucedería si el cubito de hielo estuviera expuesto a la luz del sol, pero la temperatura ambiente siguiera siendo de 21 °C? Lo que estaban aprendiendo era lo difícil que es controlar variables incluso en un experimento muy simple.
Imaginemos ahora intentar controlar las variables al realizar un experimento con seres humanos. Por ejemplo, se ha descubierto una relación entre el desarrollo del cáncer de mama y ciertos factores como la primera menstruación a una edad temprana; el menor número de hijos; la edad avanzada en el primer parto; la terapia hormonal sustitutiva; y la obesidad. Al leer un estudio sobre el efecto de los antitranspirantes en el cáncer de mama, debemos preguntarnos: "¿Se intentó controlar estas u otras variables?".
¿Las correlaciones reflejan siempre “causa y efecto”?
Los científicos a menudo buscan relaciones de causa y efecto en la naturaleza para identificar en qué medida una variable se relaciona con otra.
Esto se llama correlación , o una medida de la relación entre dos cosas.
Causalidad significa que una variable causa que otra cambie.
Debemos tener cuidado de no asumir que, porque dos cosas están cambiando al mismo tiempo, siempre existen en una relación de causa y efecto entre sí.
Sabemos, y las investigaciones lo han demostrado, que existe una correlación entre el aumento de las temperaturas exteriores y el aumento de las quemaduras solares. En este caso, el clima causó un efecto , que es la quemadura solar, y es lógico.
Sin embargo, el gráfico "La correlación no es causalidad" muestra que en realidad existe una correlación entre el número de niños en un hogar determinado y el número de nidos de cigüeñas en el techo de la casa.
Si bien es una correlación bastante interesante, probablemente sea seguro asumir que las cigüeñas NO están causando familias más numerosas. Quizás simplemente se deba a que las casas más grandes no solo tienen espacio para más cigüeñas en el techo, sino también para más niños.
Esto puede ayudar a explicar algunas de las conclusiones a las que llegaron los investigadores.
Por ejemplo, hubo un investigador que informó que las mujeres a las que se les diagnosticó cáncer de mama a una edad más temprana dijeron que usaban antitranspirantes y comenzaban a afeitarse las axilas antes.
Dado que el olor y el vello axilar aparecen con la pubertad, las mujeres que empezaron a usar antitranspirantes o a afeitarse a una edad más temprana probablemente la atravesaron antes, lo que significa que tuvieron su primera menstruación antes. El inicio temprano de la menstruación ya se considera un factor de riesgo de cáncer de mama. Entonces, ¿el aumento de casos de cáncer de mama se debió realmente al uso temprano de antitranspirantes o a la menstruación temprana?
Conclusión
Para hacer una analogía un tanto simplista, puedo relacionar la importancia de este tema con el proceso que seguimos cuando compramos un coche nuevo.
La mayoría de nosotros no somos expertos en coches y el precio de un coche es una inversión bastante considerable.
Sabemos que no es buena idea confiar únicamente en la información del vendedor o en los anuncios del fabricante. Por eso, investigamos a fondo, hacemos buenas preguntas y, a continuación, investigamos más para tomar la mejor decisión posible.
Deberíamos hacer lo mismo al leer afirmaciones “científicas” sobre productos para el cuidado de la piel.
Buscar comprensión más allá de la jerga científica no es tarea fácil. Pero para convertirnos en consumidores informados , debemos intentar ver más allá de los titulares , analizar detenidamente la fuente de información, recopilar toda la información posible y hacer muchas preguntas para tomar decisiones informadas en nuestras vidas.
Este blog no pretendía ser una lección exhaustiva sobre la evaluación de la investigación. Los estudiantes que se dedican a la ciencia o a la investigación científica suelen cursar un semestre completo, o incluso más, solo para aprender a leer, interpretar y evaluar una investigación científica. Espero que esta información les haya sido útil.
