Imágenes del cerebro revelan cómo funcionan las estrategias de aprendizaje
La actualización es necesaria para que podamos hacer predicciones precisas sobre esas recompensas frente a un entorno cambiante.
Aunque no está claro exactamente cómo el cerebro orquesta este proceso, el nuevo estudio sugiere que una combinación de dos estrategias de aprendizaje distintas guía nuestro comportamiento.
Un artículo sobre el trabajo aparecerá en la revista. Neurona.
Una estrategia de aprendizaje aceptada, llamada aprendizaje sin modelos, se basa en comparaciones de prueba y error entre la recompensa que esperamos en una situación determinada y la recompensa que realmente obtenemos.
El resultado de esta comparación es la generación de un "error de predicción de recompensa", que corresponde a esa diferencia.
Por ejemplo, un error de predicción de recompensas podría corresponder a la diferencia entre el rendimiento monetario proyectado de una inversión financiera y nuestras ganancias reales.
En el segundo mecanismo, llamado aprendizaje basado en modelos, el cerebro genera un mapa cognitivo del entorno que describe la relación entre diferentes situaciones.
“El aprendizaje basado en modelos está asociado con la generación de un 'error de predicción del estado', que representa el nivel de sorpresa del cerebro en una nueva situación dada su estimación actual del entorno”, dice Jan Gläscher, becario postdoctoral en Caltech y líder autor del estudio.
“Piense en una situación en la que siempre toma la misma ruta cuando conduce a casa después del trabajo, pero en un día en particular, el camino habitual está bloqueado debido a trabajos de construcción”, dice Gläscher.
“Un sistema de aprendizaje sin modelos se perdería sin remedio; solo se preocupa por tomar acciones que en el pasado fueron gratificantes, por lo que si esas acciones ya no están disponibles, no podrá decidir adónde ir a continuación.
"Pero un sistema basado en modelos podría consultar su mapa cognitivo y descubrir un desvío eficiente utilizando una ruta alternativa".
“Aunque el mecanismo de aprendizaje sin modelos más simple ha sido bien estudiado y su mecanismo de aprendizaje básico, que es impulsado por errores de predicción de recompensas, se comprende relativamente bien, los mecanismos subyacentes al sistema de aprendizaje basado en modelos más sofisticado, con su rica adaptabilidad y flexibilidad , se entienden menos ”, dice John P. O'Doherty, profesor de psicología en Caltech.
Para caracterizar aún más los fundamentos neurológicos de estos dos sistemas de aprendizaje, Gläscher, O'Doherty y sus colegas diseñaron una tarea de toma de decisiones basada en computadora que les permitió medir cuándo y dónde el cerebro calcula las señales de error de predicción de estado y recompensa, y para determinar si los dos tipos de errores producen realmente diferentes firmas neuronales.
En la tarea, los sujetos tenían que elegir entre un movimiento de izquierda y derecha que les permitía cambiar entre diferentes “estados” —denotados por iconos gráficos— en un entorno virtual; el proceso es similar al de navegar en un videojuego simple.
Cada elección de izquierda o derecha hecha en este entorno virtual llevó al sujeto a un nuevo estado. Su objetivo era alcanzar un estado de meta particular para obtener una recompensa monetaria, "y sus posibilidades de terminar en ese estado de meta dependían en gran medida del patrón particular de elecciones secuenciales que hicieran", explica O'Doherty.
Un sistema basado en modelos puede aprender sobre la estructura del entorno virtual y luego usar esta información para calcular las acciones necesarias para llegar al estado de recompensa, de una manera análoga a cómo un jugador de ajedrez podría intentar pensar en los movimientos secuenciales necesarios. ganar un partido.
Un sistema sin modelo, por otro lado, solo aprendería a elegir ciegamente aquellas acciones que dieron recompensa en el pasado, sin evaluar las consecuencias en la situación actual.
Dieciocho participantes fueron escaneados usando imágenes de resonancia magnética funcional mientras aprendían la tarea. Los escáneres cerebrales mostraron la firma neural distintiva, previamente caracterizada, del error de predicción de la recompensa, generado durante el aprendizaje sin modelos, en un área en el medio del cerebro llamada estriado ventral.
Sin embargo, durante el aprendizaje basado en modelos, la firma neuronal de un error de predicción de estado apareció en dos áreas diferentes de la superficie del cerebro en la corteza cerebral: el surco intraparietal y la corteza prefrontal lateral.
Estas observaciones sugieren que dos tipos únicos de señales de error se calculan en el cerebro humano, ocurren en diferentes regiones del cerebro y pueden representar estrategias computacionales separadas para guiar el comportamiento.
“Un sistema sin modelo funciona de manera muy eficaz en situaciones que son altamente automatizadas y repetitivas, por ejemplo, si tomo la misma ruta a casa desde el trabajo”, dice Gläscher, “mientras que un sistema basado en modelos, aunque requiere mucho más capacidad de procesamiento, es capaz de adaptarse con flexibilidad a situaciones novedosas, como la necesidad de encontrar una nueva ruta después de un obstáculo ".
Estos dos mecanismos de aprendizaje distintos cumplen funciones complementarias en el control del comportamiento humano, dice Gläscher.
“Debido a que el poder de procesamiento de nuestros cerebros es limitado, no tiene sentido implementar el sistema basado en modelos más intensivo en computación para controlar todo lo que hacemos. En cambio, es mejor confiar en el sistema sin modelos para gran parte de nuestro comportamiento diario y usar el sistema basado en modelos solo para situaciones nuevas o complejas. Un área importante para futuras investigaciones será tratar de comprender los factores que gobiernan cómo estos sistemas interactúan juntos para controlar el comportamiento y determinar cómo esto se implementa en el cerebro ".
Fuente: Instituto de Tecnología de California
