¿Es buena la investigación?
¿Quiere ser un mejor consumidor de la investigación en ciencias sociales? Aquí hay una breve hoja de cuna para determinar la legitimidad general y la generalización de prácticamente cualquier estudio de ciencias sociales. Tenga en cuenta que esta hoja de cuna no será 100% precisa o relevante para aplicar a todos los estudios sobre los que pueda estar leyendo. Pero es una buena guía abreviada para ayudarlo a comenzar.
¿Qué tipo de investigación fue?
Los mejores y más sólidos estudios emplean un grupo experimental y un grupo de control. Los estudios que excluyen al grupo de control suelen ser menos útiles que los que lo hacen. Una encuesta es el tipo de investigación menos poderoso que se puede realizar, ya que no tiene un grupo experimental o de control, pero puede ser útil para identificar tendencias o concentrarse en conceptos o hipótesis que se pueden estudiar más a fondo.
¿Qué tan grande fue el estudio?
Un estudio de menos de 50 personas en prácticamente cualquier diseño experimental tendrá una generalización muy, muy limitada (porque casi siempre carecen de suficiente poder estadístico). Esto significa que, si bien los resultados pueden ser potencialmente interesantes, hasta que se repitan en otro grupo (y preferiblemente, en un grupo más grande), debe tomarlos con un grano de sal. (Algunas investigaciones, como los diseños experimentales de un solo caso, también pueden proporcionar puntos de datos únicos de interés o investigaciones futuras, pero generalmente pueden decirnos poco sobre tendencias o tratamientos más amplios).
¿Quién estuvo en el estudio?
Una buena investigación busca utilizar participantes que sean representativos de la población en general. Cuanto más representativa sea la muestra, más fácilmente se pueden generalizar los resultados. Por lo tanto, un estudio de 200 participantes equilibrado por género, raza, estatus socioeconómico e historia es mucho mejor que un estudio de 200 estudiantes universitarios en Harvard u OSU.
¿Cuánto tiempo se estudió a las personas?
Un estudio que examina a los participantes durante menos de 12 semanas para cualquier tipo de tratamiento es prácticamente inútil. Ningún clínico o médico que yo conozca ha recibido nunca un tipo de tratamiento convencional que haya funcionado en menos de 12 semanas. Una encuesta que encuesta a un grupo de personas en un momento determinado significa que los resultados encontrados son buenos para ese momento específico.
Hay excepciones buenas y razonables a esta regla, para el tratamiento de la ansiedad (los medicamentos a menudo se toman según sea necesario, no todos los días) y para cosas como psicosis aguda o manía. Los estudios que examinan estas inquietudes específicas pueden ser de menor duración y aun así brindar información valiosa.
De hecho, cualquier estudio que sea más corto (como un estudio de 4 u 8 semanas) nos proporciona algunos información. Es solo que esa información es una instantánea del régimen de tratamiento típico y no nos da una imagen tan completa como un estudio de tratamiento más largo. La duración del estudio es una preocupación menor para cualquier estudio que no esté examinando específicamente un tratamiento para un trastorno mental.
¿Quién financió el estudio?
En general, la mayoría de los estudios financiados por el gobierno mostrarán menos sesgos que los financiados por una empresa (como una empresa farmacéutica) con un interés directo en lograr un resultado específico. Sin embargo, prácticamente todos los estudios se llevan a cabo en un entorno universitario u hospitalario, por lo que es posible que la información de financiamiento no esté disponible (las afiliaciones de los investigadores generalmente brindan poca información sobre cómo se financió el estudio). La financiación del gobierno no significa que un estudio no pueda estar mal diseñado o implementado, solo significa que no tiene que preocuparse de que el "sesgo de financiación" influya en los resultados.
¿Cómo hablan los autores de sus resultados?
Los autores deben ser humildes y cautelosos acerca de sus resultados y no hacer generalizaciones demasiado amplias o conclusiones resumidas (especialmente sobre la causalidad si la causalidad no se diseñó en el estudio, como generalmente no lo es). Los autores también deben describir claramente las limitaciones del estudio actual en cualquier artículo de revista; Los artículos que omiten dicha información deben verse con escepticismo, ya que todo estudio tiene limitaciones.
Los autores también deben señalar claramente la diferencia entre la significación clínica y estadística en los estudios de tratamiento. Un cambio de 2 o 3 puntos en una escala que mide la depresión puede ser estadísticamente significativo (resultando en un resultado "positivo"), pero tiene poca importancia clínica para la mayoría de los participantes. (Consulte este artículo o este artículo para ver ejemplos de esto). Si bien es informativo saber que un grupo experimental es estadísticamente diferente (por ejemplo, mejor que la casualidad) que un grupo de control, esa diferencia puede no tener un significado real para la mayoría de nosotros. .
Tenga cuidado también con los estudios que se basan completamente en medidas o escalas calificadas por médicos sin escalas calificadas por el paciente. ¿Quién mejor para decirle que un tratamiento está funcionando que el propio paciente?
* * *Gracias a CL Psych por revisar un borrador anterior de este artículo.
