Reinforcement Learning e metodi Model-free (parte 2)

come insegnare a imparare

   Guarda Promo

Le vendite proseguono nel nuovo sito https://www.deeplearningitalia.com/

Negli ultimi anni l'intelligenza artificiale ha fatto passi da gigante. Dal Go a StarCraft II, dal riconoscimento di immagini alla salute pubblica, dall'arte alla guida autonoma, i progressi dell'ultimo decennio sono sotto gli occhi di tutti. Le cause di tutto questo sono molteplici, e certamente non riassumibili in una singola eclatante scoperta. Ma sicuramente uno dei paradigmi più di successo dal 2013 ad oggi è il Deep Reinforcement Learning, ovvero la sinergia tra Deep Learning e Reinforcement Learning: non a caso la rivista "MIT Technology Review" ha inserito DL e RL tra le "10 Breakthrough Technologies" nel 2013 e nel 2017, rispettivamente.
In questa serie di mini degree impariamo le basi del Reinforcement Learning, ovvero le tecniche che permettono alle macchine di imparare a prendere decisioni. Queste tecniche sono tanto potenti quanto naturali - non a caso sono nate più di 100 anni fa nell'ambito della psicologia!
In breve: qualunque problema che richieda una successione di azioni per essere risolto - uscire da un labirinto, vincere a un gioco, determinare una strategia di investimento, guidare un veicolo - può essere affrontato da una macchina con queste tecniche, purché la macchina sia in grado di eseguire queste azioni e "capire" quanto una successione di azioni sia "giusta". Questa comprensione si ottiene associando a ogni azione una ricompensa, e dicendo alla macchina che deve fare le azioni in modo da avere una ricompensa totale il più alta possibile: "più ricompensa ottieni, più giusto è quello che stai facendo", questa è l'unica cosa che diciamo alla macchina.
Questo mini degree tratta il RL nel caso tabellare per problemi dei quali non si conosce il modello. Tabellare vuol dire che è possibile descrivere gli stati e le azioni tramite tabelle, e questo accade quando il problema presenta relativamente pochi stati.
Il caso tabellare senza modello è il primo vero approccio al RL. Poiché non sappiamo in anticipo come risponderà l'ambiente alle nostre azioni, dobbiamo per forza "sperimentare": facciamo un'azione, vediamo cosa succede, e la prossima volta agiremo di conseguenza!
Questo mini degree prosegue il discorso iniziato con "Fondamenti di Reinforcement Learning" senza soluzione di continuità (le lezioni partono infatti dalla 4). Lo studente che volesse cominciare con questo mini degree deve studiare autonomamente i primi quattro capitoli del libro di testo del corso "Reinforcement Learning" di Sutton e Barto.
Lezione 4. Predizione model-free, 5 parti. In questa lezione ci mettiamo nella situazione in cui sappiamo poco o nulla di come ragiona l'ambiente, e cerchiamo di usare le tecniche imparate fino ad ora per capire quanto valgono le nostre azioni: se io in questo stato faccio questa azione, alla fine di tutto quanto avrò guadagnato in totale? Cerchiamo cioè di "predire" il valore delle nostre azioni, da cui il nome di questo argomento.
Lezione 5. Controllo model-free, 3 parti. In questa lezione usiamo la predizione imparata nella lezione 4 per capire come fare azioni migliori: so che in questo stato, se faccio questa azione, guadagno tot, quale azione devo allora fare per guadagnare più di tot? Questa parte si chiama "controllo", perché controlliamo le nostre azioni per migliorarle.
Per quanto possibile, le lezioni cercano di essere interattive: vengono proposti in continuazione esercizi, e viene richiesto al discente di mettere in pausa la riproduzione e provare a fare l'esercizio, prima di ascoltare la soluzione. Si raccomanda di seguire questo suggerimento.
Infine: nonostante l'ingente base teorica necessaria, questo corso comprende una forte componente applicativa, che viene svolta nelle esercitazioni associate a ogni lezione. Le esercitazioni sono in Python, pertanto è altamente consigliato il "Corso Propedeutico: Programmazione in Python per il Deep Learning".

Inoltre, Fondamenti di Reinforcement Learning e Reinforcement Learning e metodi Model-Free inizialmente è stato pensato come un corso unico, ma per l'esigenza di rilesciare CFU, ci ha costretto a dividerlo in due parti.


Il tuo istruttore


Maurizio Parton & Andrea Mercuri
Maurizio Parton & Andrea Mercuri

Maurizio Parton:

Sono professore associato di matematica all'Università di Chieti-Pescara, dove insegno a Economia, nel corso di laurea in Economia e Informatica per le Imprese. Sono presidente della Federazione Italiana Gioco Go dal 2013.

Nonostante le mie origini in geometria differenziale, campo nel quale faccio tuttora ricerca, mi occupo di intelligenza artificiale dal 28 gennaio 2016, data in cui è apparso per la prima volta AlphaGo.

Da matematico ho potuto fin da subito apprezzare l’immensa potenzialità delle tecniche usate nello sviluppo di AlphaGo, e ho cominciato a studiare approfonditamente reti neurali e apprendimento per rinforzo. Da allora ho tenuto corsi per matematici e molteplici conferenze divulgative. Sono profondamente convinto che l'intelligenza artificiale segnerà il nostro futuro (molto) prossimo, e per questo motivo mi dedico con passione alla disseminazione dei suoi principi fondamentali e tecniche di base.

Andrea Mercuri:

Per circa dieci anni ho lavorato come sviluppatore in due società di consulenza romane. In seguito mi sono iscritto al corso di laurea in Fisica dell'università La Sapienza di Roma, conseguendo una laurea triennale e, successivamente, al corso di Laurea in Matematica per le Applicazioni, conseguendo una laurea magistrale col massimo dei voti. Dal 2015 mi occupo di Machine Learning, Deep Learning con un focus particolare in applicazioni di Reinforcement Learning.


Domande frequenti


Come funziona il Reinforcement Learning e metodi Model-free?
Il corso è pensato per far specializzare gli studenti in temi riguardanti il Deep Learning. Il corso è organizzato in moduli propedeutici. SI consiglia, di aquistare, anche i moduli di base per un ripasso di matematica e programmazione in python. Gli argomenti verrànno affrontati in maniera sempre più complessa. Ad ogni modulo ci saranno domande e esercitazioni.
Rilasciate una certificazione a fine corso?
Al termine del corso verrà rilasciata una certificazione una volta completati i quiz all'interno dei moduli formativi.
Entro quanto tempo bisogna completare il corso?
Il corso sarà visibile all'interno della piattafoma in base al piano che avete acquistato che può essere mensile o annuale. La certificazione, verrà rilasciata una volta completati gli esercizi o consegnato il final project.
Il corso è in lingua Italiana?
Si, tutti i corsi all'interno del mini degree sono in lingua Italiana. Le slide però sono scritte in inglese per rendere più facile allo studente la ricerca degli argomenti, termini e altri esempi su internet.
La mia società può comprare un pacchetto di corsi?
Per le società abbiamo degli sconti in base al numero di certificazione che intende comprare. Inoltre, si possono organizzare dei corsi on-site in aggiunta al corso in e-learning. Per ulteriori info contattare: [email protected]

Puoi comprare questo corso solo all'interno del mini degree.