¿Un vínculo entre la legalización de la marihuana y los accidentes automovilísticos? Disparates

• Elijamos nuestros estados de control
• 11 análisis, pero solo 3 significativos
• ¡Juntemos los datos!
• Entonces, ¿qué muestran los datos?
• ¿Qué significa esto para la marihuana?

En octubre, el Highway Loss Data Institute y el Insurance Institute for Highway Safety publicaron un informe autoeditado que sugería que existe una fuerte correlación entre las tasas de accidentes automovilísticos y la legalización de la marihuana en los estados. Esta sería una noticia desgarradora si el hallazgo se basara en evidencia científica sólida.

Sin embargo, desafortunadamente para estos institutos, los datos de investigación son, en el mejor de los casos, turbios. Y debido a que estas organizaciones publicaron el informe por su cuenta, en lugar de pasar por el proceso de revisión científica por pares, es difícil tomar sus hallazgos en serio.

Antes de comenzar a mirar los datos, los lectores deben comprender que, aunque el Highway Loss Data Institute (HLDI) y el Insurance Institute for Highway Safety (IIHS) son dos legal organizaciones, comparten el mismo liderazgo senior, la misma dirección física y probablemente mucho más. Parece que se trata de dos organizaciones independientes y no relacionadas que encontraron resultados similares cuando juntaron sus mentes colectivas, pero ese no es el caso.

También debo comenzar este artículo con el recordatorio científico habitual: la correlación no es igual a la causalidad. Si realizo un estudio sobre el efecto de las personas que abren sus paraguas en un centro urbano, encontraré una correlación positiva muy fuerte entre esa acción y la presencia de lluvia. Pero sabemos que abrir un paraguas no hace que llueva. Sin embargo, la ciencia mostrará fácilmente una fuerte correlación entre los dos, lo que llevará a algunos investigadores tristes e inconscientes a sugerir que definitivamente existe una relación causal.

Elijamos nuestros estados de control

En el nuevo estudio, un investigador analizó los datos de accidentes en las carreteras de tres estados objetivo donde la marihuana se había legalizado más allá del uso medicinal (Monfort, 2018). Luego comparó las tasas de accidentes de estos estados con cinco estados de control (estados que generalmente limitaban con los estados de marihuana legalizada). Por ejemplo, Colorado se emparejó con tres estados: Nebraska, Utah y Wyoming.

Ya ves el problema, ¿verdad? Colorado comparte fronteras con seis estados, no solo tres: Arizona, Nuevo México y Kansas también. También vemos un problema similar con los otros estados de control elegidos. Los estados de control de Oregon eran Idaho (un estado de comparación adecuado) y Montana, un estado sin litoral con el que tiene poco en común y sin fronteras.

El investigador justificó estas opciones porque la organización hermana de IIHS publicó un informe anterior eligiendo esos estados. Esos investigadores anónimos eligieron los estados basándose en una correlación, a veces no muy fuerte, de similitudes entre sus tasas de datos de accidentes. No la demografía, la geografía (carreteras de montaña sinuosas versus campos planos) o alguna otra razón.1 Es discutible si los “patrones de accidentes estacionales antes de 2014” son una variable de comparación científica legítima para elegir estados de control, cuando otras variables parecen mucho más apropiadas.

En un correo electrónico de seguimiento con el portavoz de IIHS, dijo que el investigador quería “usar dos conjuntos de datos diferentes y ver si los resultados serían similares. Usar diferentes estados de control no tendría sentido ".

Como saben los lectores experimentados, los investigadores pueden manipular prácticamente sus datos, análisis o hipótesis para demostrar los resultados que desean encontrar. Ésta es una de las razones por las que mucha gente se muestra escéptica con la investigación. Hay tantas formas en que un investigador puede manipular los datos, a menudo por buenas razones muy legítimas, que puede ser un desafío detectar el sesgo introducido.

Sin embargo, ese no fue el caso de este estudio. Creo que los prejuicios están, en mi opinión, bastante claros.

11 análisis, pero solo 3 significativos

La segunda señal de que este informe de investigación es una absoluta tontería es que incluso cuando el mazo de cartas se apiló de la manera que eligió el investigador, todavía no pudo encontrar mucha importancia en los datos para la mayoría de los análisis estadísticos que realizó. Ver por ti mismo:

¿Ves esos tres asteriscos? Esos son los únicos tres análisis que fueron estadísticamente significativos. Observe cómo solo aparece uno de esos asteriscos en una comparación real de estado a estado: entre Colorado y Utah. Todos los demás análisis de estado a estado no mostraron diferencias significativas entre un estado de control y el estado legal para la marihuana.

En los siete análisis de estado a estado únicamente, solo uno resultó significativo. Ese es un hallazgo bastante significativo que se pasó por alto en el informe (y el IIHS no lo mencionó en absoluto). En mis círculos de investigación, llamaríamos a esto "débil".

¡Juntemos los datos!

Fue sólo cuando el investigador reunió un montón de estados de control que encontró dos correlaciones más significativas.

En general, tengo entendido que los investigadores se abstienen de agrupar datos de fuentes dispares a menos que puedan justificar la decisión de hacerlo y asegurarse de que las variables subyacentes sean homogéneas (o similares).

No solo debe garantizar esto para un grupo de estados, como en la investigación actual. Pero el investigador también reunió datos de varios años.

No es evidente qué justificación usó el investigador para elegir los años que hizo (2012-2016), aparte de decir que esos fueron los años en que dichos datos estuvieron disponibles en todos esos estados. Sin embargo, en mi búsqueda superficial de cada uno de los sitios web gubernamentales de estos estados, generalmente encontré datos de accidentes disponibles de manera confiable que se remontan a 2005.

Sabemos que los datos de accidentes anuales no son homogéneos; pueden variar considerablemente de un año a otro. Por ejemplo, en todos los estados, las tasas de porcentaje de accidentes aumentaron en 2014, 2015 y 2016, sin importar el estado. Entonces, lo que el investigador está tratando de medir es si el aumento del 7,84 por ciento de Idaho en 2015 es diferente al aumento del 7,09 por ciento de Oregon, que favorece las marjiuanas. O si la tasa de Colorado, amigable con la marihuana en 2015, de un aumento del 4.37 por ciento con respecto a 2014 en el número de choques, es significativamente diferente del aumento del 9.96 por ciento de Utah o del 10.19 por ciento de Nuevo México.

Además, los diferentes estados obtuvieron diferentes tamaños de piscinas para los meses examinados, dependiendo de cuándo entraron en vigencia sus ventas minoristas de marihuana. Eso significó para Oregon, el investigador agrupó 2012, 2013, 2014 y la mayor parte de 2015 juntos como un conjunto de datos, y 2016 + 2 meses en 2015 como un segundo conjunto de datos (46 meses frente a 14 meses). Pero Colorado legalizó la marihuana en enero de 2014, por lo que solo tenía dos años de datos previos a la legalización y tres años de datos posteriores a la legalización.

En una comparación científica justa y precisa, todos los conjuntos de datos deben ser de tamaño similar en términos del período de tiempo examinado antes y después de la variable que está tratando de medir en su análisis. Especialmente cuando esos datos, sabemos, no son homogéneos.

Entonces, ¿qué muestran los datos?

El investigador no proporcionó los detalles habituales que se necesitarían para replicar su trabajo. Así que tenemos que examinar los datos sin procesar y solo mirar los problemas más obvios.

Echando un vistazo a Colorado, podemos comparar su tasa de accidentes a lo largo del tiempo con otros dos estados. Antes de 2013, Colorado disfrutó de disminuciones año tras año en las tasas generales de accidentes (todos los datos del sitio web de cada estado respectivo). Luego, en 2013, el estado experimentó un aumento de 6.29 por ciento en choques, que continuó en 2014 (6.79 por ciento) y 2015 (4.37 por ciento). En 2016, el estado vio solo un aumento de 0.35 por ciento.

Compare estos números con uno de los estados de control, Utah, que incluyó el investigador. Utah también experimentó un aumento en los choques en 2013 (9.05 por ciento), que disminuyó en 2014 (-2.96 por ciento). Las tasas de accidentes de ese estado volvieron a aumentar en 2015 y 2016 (9,96 por ciento y 3,94 por ciento respectivamente).

Ahora comparemos esos números con uno de los estados de control no elegidos por el investigador, Nuevo México. Vio una disminución en las tasas de accidentes en 2013 (-4,78 por ciento), pero luego dos años de aumento en 2014 y 2015 (3,64 por ciento y 10,19 por ciento respectivamente). En 2016, Nuevo México experimentó una disminución del -0,53 por ciento.

Creo que la razón por la que se eligió Utah sobre Nuevo México fue simple. Sus tasas de accidentes en los años 2014-2016 (años clave para la comparación de la marihuana en Colorado) aumentaron acumulativamente su tasa de accidentes solo en un 10,94 por ciento. Si los institutos hubieran utilizado Nuevo México en su lugar, su tasa de accidentes durante el mismo período de tiempo fue del 13,3 por ciento. En comparación con el 11,51 por ciento acumulado de Colorado, puede ver que el de Utah es más bajo, pero el de Nuevo México (también un estado vecino de Colorado) es casi 2 puntos porcentuales más.

Tírelo todo a un análisis que tenga en cuenta las "características del estado" (que incluyeron solo las tasas de desempleo y el clima), ¡y listo! Los datos que aparentemente muestran que las ventas de marihuana afectan las tasas de caída.

¿Qué significa esto para la marihuana?

Los datos, incluso de la investigación actual, no muestran básicamente ninguna significación estadística entre las ventas minoristas de marihuana y el número de accidentes automovilísticos en un estado. Si existe una correlación, es muy débil y solo se encontró cuando el investigador empleó, en mi opinión, análisis cuestionables en el estudio. Algunos estados vecinos de Colorado, por ejemplo, Nuevo México, no se incluyeron en el análisis y mostraron mayores aumentos en el aumento de sus tasas de accidentes durante el mismo período de tiempo que Colorado.

Creo que este tipo de informe refleja mal tanto el IIHS como el HLDI. Estas organizaciones, financiadas principalmente por compañías de seguros, están, en mi opinión, publicando hallazgos aterradores para promover un objetivo político y comercial. Ellos promocionan estos hallazgos como "investigación", a pesar de que a veces solo se publican en el sitio web de la organización y aparentemente no están revisados ​​por pares, como se hace en la investigación científica tradicional. ("Nuestra investigación más reciente sobre la legalización de la marihuana recreativa y los choques denunciados por la policía se ha enviado para su publicación en la revista Análisis y prevención de accidentes”, Señala el portavoz de IIHS.)

Lo que tenemos aquí es lo que yo llamaría "investigación falsa", una investigación que se extiende para mostrar una relación significativa en la que claramente solo hay un gran signo de interrogación. E incluso si hubiera significado correlacional, esta investigación no tiene ningún respaldo de una relación causal. Nos comunicamos con las organizaciones en busca de comentarios y, básicamente, nos remitieron al estudio para obtener respuestas. Por ejemplo, el portavoz del IIHS declaró: “Los datos de accidentes de los estados de marihuana en el estudio del IIHS no se combinan, pero los resultados individuales de cada estado se combinaron en un metanálisis, que es un método de investigación aceptado. Los resultados individuales de Colorado y Washington en el análisis HLDI son estadísticamente significativos ".

Cuando señalé que el estudio actual solo mostraba importancia para un estado, Colorado (y solo en comparación con otro estado, Utah), el portavoz me señaló el estudio anterior. Aparentemente sin saber que si más nuevo investigación contradice investigaciones anteriores, no se puede seguir señalando que la investigación anterior sigue siendo válida. Lo que muestra el nuevo estudio del IIHS es que ya no existe una correlación significativa entre la marihuana y los accidentes en Washington, exactamente lo contrario de lo que afirma el portavoz.

IIHS es una organización que está tratando de educar e informar a los legisladores en lo que respecta a la seguridad de los conductores. Lamentablemente, la mayoría de los políticos y ciudadanos no comprenden o no se dan cuenta de que han sido engañados y, en cambio, creen que este tipo de estudio es realmente científico.

En resumen, no hay datos sólidos que relacionen las ventas minoristas de marihuana con un aumento en los accidentes automovilísticos. Los datos que tenemos solo muestran una correlación muy limitada y débil, no una causalidad, a través de engaños estadísticos.

De ahora en adelante, seré mucho más escéptico ante cualquier cosa que publique el IIHS o el HLDI.

Notas al pie:

1. Específicamente, “Los estados de control se seleccionaron en función de la proximidad al estado de estudio, así como de la similitud de los patrones de accidentes estacionales antes de 2014. Esta similitud se basó en las correlaciones entre las frecuencias mensuales en el estado de estudio y cada estado de control potencial durante el 24 meses de 2012-13. El coeficiente de correlación de Pearson para Colorado y Nebraska fue de 0,85; para Wyoming, 0,79; y para Utah, 0,60. Para Washington, se seleccionaron como controles los estados de Montana (0,67) e Idaho (0,63). Para Oregón, se utilizaron los estados de Idaho (0,67) y Montana (0,83) ". [↩]