Da pulire le fuoriuscite a servire il cibo, i robot domestici svolgono compiti domestici sempre più complicati. Molti degli apprendisti robot imparano per imitazione dagli umani. Ma, a meno che gli ingegneri non li programmino anche per adattarsi a ogni possibile urto, non sanno come gestire queste situazioni e ricominciano da capo i loro compiti.
Ora, però, gli ingegneri del MIT vogliono aiutare i robot a gestire situazioni che li spingono fuori dal loro addestramento. Hanno quindi sviluppato un metodo che collega i dati di movimento dei robot con la "conoscenza del buon senso" dei modelli linguistici di grandi dimensioni, o LLM. Il loro approccio consente a un robot di analizzare logicamente molte attività domestiche suddivise in sottoattività e di adattarsi fisicamente alle interruzioni. Così, il robot può andare avanti senza dover ricominciare da zero, costringendo gli ingegneri a programmare le correzioni per ogni possibile guasto.
"L'apprendimento per imitazione è un approccio tradizionale. Ma se un robot imita ciecamente le traiettorie di movimento di un essere umano, i piccoli errori possono accumularsi e far deragliare il resto dell'esecuzione", spiega Yanwei Wang, laureato presso il Dipartimento di Ingegneria Elettrica e Informatica (EECS) del MIT. "Con il nostro metodo, un robot può autocorreggere gli errori di esecuzione e migliorare il successo complessivo del compito".
Compito linguistico
Per illustrare il loro studio, i ricercatori fanno raccogliere al robot le biglie da una ciotola per versarle in un'altra. Svolgendolo, gli ingegneri di solito muovono un robot attraverso i movimenti di raccolta e versamento in un'unica traiettoria fluida. Il team si è però reso conto che singoli compiti dipendono da una sequenza di sottocompiti. Il robot, ad esempio, deve raggiungere una ciotola prima di poterla raccogliere, prendere le biglie prima di spostarsi verso la ciotola vuota, e così via. Se però viene urtato o spinto a commettere un errore durante uno di questi sottocompiti, la sua unica possibilità è fermarsi e ricominciare da capo. Questo a meno che gli ingegneri non etichettino esplicitamente ogni compito come secondario e programmino o raccolgano nuove dimostrazioni per consentire al robot di auto-correggersi sul momento.
L'utilità dei LLM
Wang e i suoi colleghi hanno però scoperto che parte di questo lavoro può essere svolto automaticamente dai LLM. Questi modelli elaborano immense librerie di testo, utilizzate per stabilire connessioni tra parole, frasi e paragrafi. Grazie a queste connessioni, un LLM può generare nuove frasi in base a ciò che ha imparato sul tipo di parola che, probabilmente, seguirà l'ultima.
Da parte loro, i ricercatori hanno scoperto che, oltre a frasi e paragrafi, a un LLM può essere chiesto di produrre un elenco logico di sottocompiti coinvolti in un determinato compito. Per esempio, se gli si chiede di elencare le azioni necessarie per raccogliere le biglie da una ciotola all'altra, un LLM potrebbe produrre una sequenza di verbi come "raggiungere", "raccogliere", "trasportare" e "versare".
"Gli LLM hanno un modo per dire come eseguire ogni fase di un compito, in linguaggio naturale. La dimostrazione continua di un essere umano è l'incarnazione di questi passaggi, nello spazio fisico", spiega Wang. "Volevamo collegare le due cose, in modo che un robot sapesse automaticamente a che punto si trova in un compito e fosse in grado di ripianificare e recuperare da solo."
Mappatura delle biglie
Per il nuovo approccio, il team ha sviluppato un nuovo algoritmo che collega automaticamente l'etichetta in linguaggio naturale di un LLM per un particolare sottocompito con la posizione del robot nello spazio fisico, o con un'immagine che codifica lo stato del robot. La mappatura delle coordinate fisiche di un robot, o di un'immagine del suo stato, a un'etichetta in linguaggio naturale è nota come "grounding". Il nuovo algoritmo del team è progettato per apprendere un "classificatore" di grounding, cioè impara a identificare automaticamente in quale sottocompito semantico si trova un robot (per esempio, "raggiungere" o "raccogliere"), in base alle sue coordinate fisiche o a un'immagine.
"Il classificatore di grounding facilita il dialogo tra ciò che il robot sta facendo nello spazio fisico e ciò che l'LLM sa sui sottocompiti e sui vincoli a cui bisogna prestare attenzione", spiega Wang.
Il team ha dimostrato l'approccio in esperimenti con un braccio robotico addestrato a raccogliere biglie. Gli sperimentatori hanno addestrato il robot a raggiungere una ciotola, raccogliere le biglie, trasportarle su una ciotola vuota e versarle. Dopo alcune dimostrazioni, il team ha utilizzato un LLM pre-addestrato e ha chiesto al modello di elencare i passaggi necessari per raccogliere le biglie da una ciotola all'altra.
Esperimento riuscito
I ricercatori hanno quindi utilizzato il loro nuovo algoritmo per collegare i sottocompiti definiti dall'LLM con i dati delle traiettorie di movimento del robot. L'algoritmo ha imparato automaticamente a mappare le coordinate fisiche del robot nelle traiettorie e la vista dell'immagine corrispondente a un determinato sottocompito.
Il robot ha poi svolto da solo il compito di raccolta. Mentre si muoveva, gli sperimentatori lo hanno spinto fuori dal suo percorso facendo cadere le biglie dalcucchiaio in vari punti. Piuttosto che fermarsi e ricominciare dall'inizio, il robot è stato in grado di auto-correggersi e di completare ogni sottocompito prima di passare al successivo.
"Oggi c'è un grande sforzo per addestrare i robot domestici con i dati raccolti dai sistemi di teleoperazione. Il nostro algoritmo può convertire quei dati di addestramento in un comportamento robusto del robot, in grado di svolgere compiti complessi nonostante le perturbazioni esterne", conclude Wang.
