Un articolo apparso su Science lo scorso dicembre suggerisce una nuova teoria dell’apprendimento associativo che, al contrario di quella tradizionale, associa l’effetto alla causa e potrebbe avere importanti implicazioni sulla comprensione del meccanismo di apprendimento dell’intelligenza artificiale.
Il condizionamento classico
Qualsiasi stimolo visivo o sonoro può suscitare i sentimenti più disparati come eccitazione o terrore. In un famoso esperimento, Ivan Pavlov dimostrò che si può insegnare ai cani a sbavare al ticchettio di un metronomo in attesa del cibo. Questo collegamento tra causa ed effetto, noto come apprendimento associativo o di rinforzo, è fondamentale per il modo in cui la maggior parte degli animali affronta il mondo.
Intelligenza artificiale: i concetti chiave per comprenderla meglio
Per spiegare questi casi, fin dagli anni ’70, la teoria dominante è stata quella di ipotizzare che gli animali imparano per tentativi ed errori. L’esperimento pavloviano, noto anche come condizionamento classico, prevede l’accoppiamento di uno stimolo neutro (come un campanello) con uno stimolo incondizionato (come il cibo), che suscita naturalmente una risposta (come la salivazione). Dopo aver ripetuto l’accoppiamento dei due stimoli, lo stimolo neutro da solo poteva suscitare la stessa risposta. Ciò ha dimostrato che una risposta appresa può essere evocata da uno stimolo precedentemente neutro attraverso il condizionamento.
Nell’esperimento di Pavlov si ritiene che la dopamina svolga un ruolo nel processo di apprendimento e di rinforzo. Nell’abbinamento fra degli stimoli che suscitano naturalmente una risposta, i neuroni della dopamina nel cervello si attivano in risposta alla presentazione del cibo.
Con il tempo, lo stimolo neutro viene associato al cibo e inizia a suscitare una risposta autonoma. Si ritiene che ciò sia dovuto a cambiamenti nella forza delle connessioni tra i neuroni che codificano lo stimolo neutro e i neuroni che controllano la risposta.
Si ritiene che la dopamina svolga un ruolo in questo processo, rafforzando le connessioni tra i neuroni che codificano lo stimolo neutro e i neuroni che controllano la risposta. Rilasciando dopamina in risposta alla presentazione del cibo, il cervello rafforza l’associazione tra i due stimoli, rendendo più probabile che lo stimolo neutro susciti la stessa risposta in futuro.
La nuova teoria dell’apprendimento associativo
Nell’articolo articolo apparso su Science lo scorso dicembre questa rappresentazione viene messa in dubbio e viene suggerita una spiegazione alternativa che può avere delle importantissime implicazioni per spiegare il meccanismo di apprendimento dell’intelligenza artificiale. Nella nuova teoria dell’apprendimento associativo le cause devono precedere i risultati ossia le associazioni vengono riconosciute guardando indietro nella memoria per dedurre le cause di risultati significativi come le ricompense. Per esempio, immaginiamo che un bambino impari che il fischio di un fischietto predica un regalo. Imparare quali spunti precedono il regalo (retrospettivo) è più semplice che imparare il risultato futuro di un numero quasi infinito di spunti, di cui solo alcuni possono portare al regalo (prospettico). Così, una volta realizzato un risultato significativo come regalo, il bambino può guardare indietro nella memoria per dedurre che fischio provoca il regalo. Questo apprendimento richiede solo il ricordo del fischio precedente al ricevimento del regalo, e non il mantenimento attivo delle previsioni sul regalo prima del suo ricevimento.
I ricercatori sanno da tempo che alcuni aspetti dell’attività della dopamina non sono coerenti con il modello di previsione-errore. Il nuovo modello basato è basato sul concetto che si può definire come “contingenza netta aggiustata per le relazioni causali” e questo modello viene testato dai ricercatori per verificare se è in grado di apprendere basando le previsioni sulla ricompensa e di spiegare il rilascio di dopamina.
Il modello tradizionale guarda in avanti, associando la causa all’effetto. Il nuovo modello fa il contrario. Associa l’effetto alla causa. Il ruolo della dopamina in questo modello è quello di segnalare eventi sufficientemente significativi da fungere da causa per possibili ricompense o punizioni future.
Il problema della scala temporale
Guardando le cose in questo modo, si risolvono due problemi che hanno sempre creato problemi nella spiegazione degli aventi alla luce del vecchio modello. Il primo aspetto è la sensibilità alla scala temporale, il secondo è la trattabilità computazionale.
Il problema della scala temporale consiste nel fatto che la causa e l’effetto possono essere separati da millisecondi (accendere la stufa e percepire il caldo), da minuti (avere mal di testa e e farla passare con un’aspirina) o addirittura ore (mangiare qualcosa di cattivo e avere un’intossicazione alimentare). Lo sguardo all’indietro permette di indagare su un elenco arbitrariamente lungo di possibili cause. Guardare in avanti, senza sapere sempre in anticipo fino a dove guardare, è molto più difficile.
Questo porta al secondo problema. L’esperienza sensoriale è ricca e ogni elemento può potenzialmente predire un risultato. Fare previsioni basate su ogni singolo indizio possibile sarebbe impossibile. È molto più semplice, quando si verifica un evento significativo, guardare indietro attraverso altri eventi potenzialmente significativi per trovare una causa.
Il lavoro pubblicato su Science
Il lavoro pubblicato su Science, che ha il prof. Jeong Yang come Principal Investigator, presenta i risultati di 11 esperimenti appositamente studiati con topi, cicalini e gocce di soluzione zuccherina. Durante questi esperimenti è stata misurata in tempo reale la quantità di dopamina rilasciata dal Nucleus Accumbens Septi, che è una regione del prosencefalo basale che svolge un ruolo di rilievo nei circuiti di rinforzo legati all’ aumento della concentrazione di dopamina nella parte esterna.
I risultati degli esperimenti propendono per il nuovo modello di apprendimento associativo. In primo luogo, attraverso il nuovo modello, vengono meglio identificate le relazioni tra eventi distribuiti nel tempo (ad esempio, segnali e ricompense) senza perdita di generalità tra le varie scale temporali. Inoltre, molti risultati sperimentali classici a sostegno del vecchio modello sono coerenti anche il nuovo modello di apprendimento. Si è, quindi, testata l’attività dopaminergica durante esperimenti per distinguere queste due ipotesi. Gli undici test sperimentali usati sono stati in grado di distinguere qualitativamente tra le due ipotesi. Utilizzando la fotometria si è misurato il livello di dopamina nel Nucleus Accumbens. Nei vari test in cui venivano assegnati compiti che comprendevano l’esposizione ripetuta a ricompense casuali, variazioni dell’apprendimento di stimolo-ricompensa e condizionamento sequenziale con e senza inibizione del rilascio di dopamina. Si osservano i risultati coerenti con il nuovo modello di apprendimento associativo e poco coerenti con vecchio modello.
Conclusioni
Nel complesso, questi risultati dimostrano che la funzione della dopamina può essere meglio compresa in quanto fornisce un segnale per avviare l’apprendimento delle cause di uno stimolo significativo. Questi risultati rimodellano l’attuale comprensione degli algoritmi e dei meccanismi neurali dell’apprendimento associativo nel cervello.
Saranno necessari altri esperimenti per confermare le nuove scoperte. Ma se la conferma arriverà si avrà la certezza che il modo in cui funziona l’AI non ha, come si sostiene attualmente, nemmeno un tenue legame con il funzionamento del cervello e potrebbe anche suggerire modi migliori di sviluppare l’AI. L’evoluzione ha avuto centinaia di milioni di anni per ottimizzare il processo di apprendimento. Quindi imparare dalla natura non è mai una cattiva idea.
