Articolo originale: The brain may learn about the world the same way some computational models do
Two studies find “self-supervised” models, which learn about their environment from unlabeled data, can show activity patterns similar to those of the mammalian brain
Anne Trafton | MIT News
Per orientarci nel mondo, il nostro cervello deve sviluppare una comprensione intuitiva del mondo fisico che ci circonda, che poi utilizziamo per interpretare le informazioni sensoriali che arrivano al cervello.
Come fa il cervello a sviluppare questa comprensione intuitiva? Molti scienziati ritengono che possa utilizzare un processo simile al cosiddetto "apprendimento auto-supervisionato". Questo tipo di apprendimento automatico, originariamente sviluppato per creare modelli più efficienti per la visione computerizzata, consente ai modelli computerizzati di imparare a conoscere le scene visive basandosi esclusivamente sulle somiglianze e sulle differenze tra di esse, senza etichette o altre informazioni.
Un paio di studi condotti dai ricercatori del Centro di Neuroscienze Computazionali Integrative (ICoN) K. Lisa Yang del MIT offrono nuove prove a sostegno di questa ipotesi. I ricercatori hanno scoperto che quando hanno addestrato modelli di reti neurali utilizzando un particolare tipo di apprendimento auto-supervisionato, i modelli risultanti hanno generato modelli di attività molto simili a quelli osservati nel cervello degli animali che svolgevano gli stessi compiti dei modelli.
I risultati suggeriscono che questi modelli sono in grado di apprendere rappresentazioni del mondo fisico che possono usare per fare previsioni accurate su ciò che accadrà in quel mondo, e che il cervello dei mammiferi potrebbe usare la stessa strategia, dicono i ricercatori.
Modellare il mondo fisico
I primi modelli di computer vision si basavano principalmente sull'apprendimento supervisionato. Con questo approccio, i modelli vengono addestrati a classificare immagini etichettate con un nome (gatto, auto, ecc.). I modelli risultanti funzionano bene, ma questo tipo di addestramento richiede una grande quantità di dati registrati dall'uomo.
Per creare un'alternativa più efficiente, negli ultimi anni i ricercatori si sono rivolti a modelli costruiti attraverso una tecnica nota come apprendimento auto-supervisionato contrastivo. Questo tipo di apprendimento consente a un algoritmo di imparare a classificare gli oggetti in base alla loro somiglianza, senza fornire etichette esterne.
Questi tipi di modelli, chiamati anche reti neurali, sono costituiti da migliaia o milioni di unità di elaborazione collegate tra loro. Ogni nodo ha connessioni più o meno forti con altri nodi della rete. Man mano che la rete analizza enormi quantità di dati, la forza delle connessioni cambia e la rete impara a svolgere il compito desiderato.
Mentre il modello esegue un particolare compito, è possibile misurare i modelli di attività delle diverse unità all'interno della rete. L'attività di ciascuna unità può essere rappresentata come un modello di accensione, simile a quello dei neuroni nel cervello. Studi precedenti degli autori hanno dimostrato che i modelli di visione auto-supervisionati generano un'attività simile a quella osservata nel sistema di elaborazione visiva del cervello dei mammiferi.
Simulazione mentale: prevedere gli sviluppi futuri
In entrambi i nuovi studi NeurIPS, i ricercatori si sono posti l'obiettivo di esplorare se anche i modelli computazionali auto-supervisionati di altre funzioni cognitive potessero mostrare analogie con il cervello dei mammiferi, addestrando modelli auto-supervisionati a prevedere lo stato futuro del loro ambiente attraverso centinaia di migliaia di video naturalistici che ritraggono scenari quotidiani.
Una volta addestrato il modello, i ricercatori lo hanno fatto generalizzare a un compito che hanno chiamato "Mental-Pong". Si tratta di un'attività simile al videogioco Pong, in cui il giocatore muove una racchetta per colpire una palla che viaggia sullo schermo. Nella versione Mental-Pong, la palla scompare poco prima di colpire la racchetta, quindi il giocatore deve stimare la sua traiettoria per colpire la palla.
I ricercatori hanno scoperto che il modello era in grado di seguire la traiettoria della palla nascosta con una precisione simile a quella dei neuroni del cervello dei mammiferi, che in uno studio precedente di Rajalingham e Jazayeri avevano dimostrato di simulare la sua traiettoria - un fenomeno cognitivo noto come "simulazione mentale". Inoltre, i modelli di attivazione neurale osservati all'interno del modello erano simili a quelli visti nel cervello degli animali mentre giocavano, in particolare in una parte del cervello chiamata corteccia frontale dorsomediale. Secondo i ricercatori, nessun'altra classe di modelli computazionali è stata in grado di corrispondere ai dati biologici così da vicino.
Navigare nel mondo
Lo studio condotto da Khona, Schaeffer e Fiete si è concentrato su un tipo di neuroni specializzati noti come cellule a griglia. Queste cellule, situate nella corteccia entorinale, aiutano gli animali a navigare, lavorando insieme alle cellule di posizione situate nell'ippocampo.
Mentre le cellule di posizione si attivano ogni volta che un animale si trova in un luogo specifico, le cellule a griglia si attivano solo quando l'animale si trova in uno dei vertici di un reticolo triangolare. Gruppi di cellule a griglia creano reticoli sovrapposti di dimensioni diverse, il che consente di codificare un gran numero di posizioni utilizzando un numero relativamente piccolo di cellule.
In studi recenti, i ricercatori hanno addestrato reti neurali supervisionate per imitare la funzione delle cellule a griglia, prevedendo la posizione successiva di un animale in base al suo punto di partenza e alla sua velocità, un compito noto come integrazione del percorso. Tuttavia, questi modelli si basavano sull'accesso a informazioni privilegiate sullo spazio assoluto in ogni momento, informazioni che l'animale non possiede.
Ispirandosi alle straordinarie proprietà di codifica del codice multiperiodico delle celle a griglia per lo spazio, il team del MIT ha addestrato un modello auto-supervisionato contrastivo per eseguire lo stesso compito di integrazione del percorso e rappresentare lo spazio in modo efficiente. Per i dati di addestramento sono state utilizzate sequenze di input di velocità. Il modello ha imparato a distinguere le posizioni in base alla loro somiglianza o differenza: le posizioni vicine generano codici simili, mentre quelle più lontane generano codici più diversi.
Una volta addestrato il modello, i ricercatori hanno scoperto che i modelli di attivazione dei nodi all'interno del modello formavano diversi schemi reticolari con periodi diversi, molto simili a quelli formati dalle cellule a griglia nel cervello.
