Neurocientíficos, ¿qué piensan de la teoría de la propagación hacia atrás de cómo aprende el cerebro?

Answer 1

El problema con el backprop tal como se presenta aquí es que se basa en una premisa falsa, que es que el cerebro recibe información de un mundo externo e independiente, luego una serie de capas de representación (por ejemplo, V1, V2 … TI en la corteza) transforma la entrada, como que el original se puede reconstruir a partir de la salida mediante algunas transformaciones inversas. En la parte de las preguntas del video, Hinton incluso dice que la corteza es (o sería si lo diseñara) una serie de codificadores automáticos de un nivel cortical al siguiente.

Sin embargo, no hay posibilidad de recuperar la representación de entrada (retinal, V1, lo que sea) de una representación de nivel superior como IT. El objetivo principal del procesamiento cortical es desechar la mayor parte de la información de entrada, cada vez más en cada nivel, solo almacenando las correlaciones más interesantes o comunes. No se trata de compresión; El enfoque, lo que se almacena en cada nivel, cambia: V1 almacena bordes de contraste localizados, TI almacena caras. Un nivel superior solo puede proporcionar una restricción en posibles formularios de nivel inferior, no puede especificarlos exactamente. Es por eso que las percepciones son mejores que los recuerdos.

Por supuesto, hay redes que almacenan jerárquicamente la estructura correlacional de su entrada, como las redes de Boltzmann convolucionales y restringidas. Estos funcionan muy bien en sus dominios limitados (como jugar Go), pero las redes que usan backprop, llamadas redes supervisadas, requieren la generación y propagación de señales de error, mientras que las redes no supervisadas utilizan hacks espantosos como divergencia contrastiva (buena suerte al explicar cómo se implementan neurológicamente).

Pero hay problemas más profundos con todo el enfoque: los “errores” son fenómenos que solo existen a nivel de organismos completos, no se ha demostrado ningún cálculo de errores a nivel de los circuitos corticales. Además, en lo anterior, utilicé la palabra “tiendas” en lugar de “representa”. Esto se debe al falso axioma central del enfoque NN: la creencia de que la actividad cortical es una representación de alguna realidad externa e independiente, y debe acercarse a ella reduciendo los “errores”. Esta creencia no es compatible con experimentos como el borrador cuántico de opción retrasada.

Answer 2

Estos estudios van en la dirección correcta. La bidireccionalidad es fundamental para la autoorganización de los grupos neuronales. Comprende dos mecanismos: 1) Las neuronas de salida regresan a través de conexiones específicas que se descargan a las neuronas que tratan la señal entrante, modulando su actividad. 2) La propagación hacia atrás a lo largo de las conexiones de entrada-salida, que es el tema de esta conferencia.

Sin embargo, lo que no se destaca lo suficiente es que se trata de un fenómeno local, intrínseco en la organización de un grupo neuronal, y que apenas se percibe más allá. El sistema nervioso está estratificado y cada nivel de análisis tiene una independencia relativa. Esta es la única teoría válida para explicar en primer lugar la estabilidad del conjunto, en segundo lugar, cómo el sistema nervioso ha alcanzado tal grado de sofisticación sin la intervención de un programador divino.

Answer 3

Esto parece una buena respuesta:

La respuesta de Leo Mauro a ¿Pueden las neuronas humanas hacer propagación hacia atrás?