Automatizzare la matematica contro l’incertezza

Uno dei motivi per cui il deep learning è esploso nell'ultimo decennio è stata la disponibilità di linguaggi di programmazione in grado di automatizzare la matematica necessaria per addestrare ogni nuovo modello. Le reti neurali vengono addestrate regolando i loro parametri per cercare di massimizzare un punteggio che può essere calcolato rapidamente per i dati di addestramento. Le equazioni utilizzate per regolare i parametri in ogni fase di sintonizzazione venivano ricavate a mano in modo minuzioso. Le piattaforme di apprendimento profondo utilizzano un metodo chiamato differenziazione automatica per calcolare automaticamente le regolazioni. Questo ha permesso ai ricercatori di esplorare rapidamente un enorme spazio di modelli e di trovare quelli che funzionavano davvero, senza dover conoscere la matematica sottostante.

Ma che dire di problemi come la modellazione del clima o la pianificazione finanziaria, dove gli scenari sottostanti sono fondamentalmente incerti? Per questi problemi, il calcolo da solo non è sufficiente: serve anche la teoria delle probabilità. Il "punteggio" non è più solo una funzione deterministica dei parametri. È invece definito da un modello stocastico che effettua scelte casuali per modellare le incognite. Se si cerca di utilizzare le piattaforme di deep learning su questi problemi, è facile che diano risposte sbagliate. Per risolvere questo problema, i ricercatori del MIT hanno sviluppato ADEV, che estende la differenziazione automatica per gestire modelli che fanno scelte casuali. Questo porta i vantaggi della programmazione AI a una classe molto più ampia di problemi, consentendo una rapida sperimentazione di modelli in grado di ragionare su situazioni incerte.

Usare la probabilità per modellare il mondo

L'autore principale e dottorando in ingegneria elettrica e informatica del MIT, Alex Lew, spera che le persone siano meno caute nell'usare modelli probabilistici ora che esiste uno strumento per differenziarli automaticamente. "La necessità di ricavare a mano stimatori di gradiente a bassa varianza e imparziali può portare alla percezione che i modelli probabilistici siano più difficili o complicati da lavorare rispetto a quelli deterministici. Ma la probabilità è uno strumento incredibilmente utile per modellare il mondo. La mia speranza è che, fornendo un quadro per la costruzione automatica di questi stimatori, ADEV renda più interessante la sperimentazione di modelli probabilistici, consentendo eventualmente nuove scoperte e progressi nel campo dell'intelligenza artificiale e non solo".

Sasa Misailovic, professore associato presso l'Università dell'Illinois a Urbana-Champaign che non ha partecipato a questa ricerca, aggiunge: "Poiché il paradigma della programmazione probabilistica sta emergendo per risolvere vari problemi in campo scientifico e ingegneristico, sorgono domande su come realizzare implementazioni software efficienti basate su solidi principi matematici. ADEV presenta tali basi per l'inferenza probabilistica modulare e compositiva con derivati. ADEV porta i vantaggi della programmazione probabilistica - matematica automatizzata e algoritmi di inferenza più scalabili - a una gamma molto più ampia di problemi in cui l'obiettivo non è solo quello di dedurre ciò che è probabilmente vero, ma di decidere quale azione intraprendere successivamente".

Le possibili applicazioni

Oltre che per la modellazione climatica e finanziaria, ADEV potrebbe essere utilizzato anche per la ricerca operativa: ad esempio, per simulare le code dei clienti nei call center per ridurre al minimo i tempi di attesa previsti, simulando i processi di attesa e valutando la qualità dei risultati. O ancora per mettere a punto l'algoritmo che un robot utilizza per afferrare gli oggetti fisici. Il coautore Mathieu Huot si dice entusiasta di vedere ADEV "utilizzato come spazio di progettazione per nuovi stimatori a bassa varianza, una sfida fondamentale nei calcoli probabilistici".

Riconoscimenti

Della ricerca, premiata con il SIGPLAN Distinguished Paper award al POPL 2023, è coautore Vikash Mansighka, che dirige il Probabilistic Computing Project del MIT presso il Dipartimento di Brain and Cognitive Sciences e il Computer Science and Artificial Intelligence Laboratory, e contribuisce a guidare il MIT Quest for Intelligence, nonché Mathieu Huot e Sam Staton, entrambi dell'Università di Oxford. Huot aggiunge: "ADEV fornisce un quadro unificato per ragionare sul problema onnipresente della stima imparziale dei gradienti, in modo pulito, elegante e compositivo". La ricerca è stata sostenuta dalla National Science Foundation, dal programma DARPA Machine Common Sense e da una donazione filantropica della Siegel Family Foundation.

Conclusioni

"Molte delle nostre decisioni più controverse - dalla politica climatica al codice fiscale - si riducono a prendere decisioni in condizioni di incertezza. ADEV rende più facile sperimentare nuovi modi per risolvere questi problemi, automatizzando alcuni dei calcoli più difficili", afferma Mansinghka. "Per qualsiasi problema che possiamo modellare utilizzando un programma probabilistico, abbiamo a disposizione nuovi modi automatizzati per regolare i parametri e cercare di creare i risultati che vogliamo ed evitare quelli che non vogliamo".