Mfxriz5ytou4akbixxe9

mini degree: fondamenti di Reinforcement Learning (parte1)

come insegnare a imparare

   Guarda Promo

Negli ultimi anni l'intelligenza artificiale ha fatto passi da gigante. Dal Go a StarCraft II, dal riconoscimento di immagini alla salute pubblica, dall'arte alla guida autonoma, i progressi dell'ultimo decennio sono sotto gli occhi di tutti. Le cause di tutto questo sono molteplici, e certamente non riassumibili in una singola eclatante scoperta. Ma sicuramente uno dei paradigmi più di successo dal 2013 ad oggi è il Deep Reinforcement Learning, ovvero la sinergia tra Deep Learning e Reinforcement Learning: non a caso la rivista "MIT Technology Review" ha inserito DL e RL tra le "10 Breakthrough Technologies" nel 2013 e nel 2017, rispettivamente.
In questa serie di mini degree impariamo le basi del Reinforcement Learning, ovvero le tecniche che permettono alle macchine di imparare a prendere decisioni. Queste tecniche sono tanto potenti quanto naturali - non a caso sono nate più di 100 anni fa nell'ambito della psicologia!
In breve: qualunque problema che richieda una successione di azioni per essere risolto - uscire da un labirinto, vincere a un gioco, determinare una strategia di investimento, guidare un veicolo - può essere affrontato da una macchina con queste tecniche, purché la macchina sia in grado di eseguire queste azioni e "capire" quanto una successione di azioni sia "giusta". Questa comprensione si ottiene associando a ogni azione una ricompensa, e dicendo alla macchina che deve fare le azioni in modo da avere una ricompensa totale il più alta possibile: "più ricompensa ottieni, più giusto è quello che stai facendo", questa è l'unica cosa che diciamo alla macchina.
Questo mini degree tratta il RL nel caso tabellare per problemi dei quali si ha una completa descrizione del modello. Tabellare vuol dire che è possibile descrivere gli stati e le azioni tramite tabelle, e questo accade quando il problema presenta relativamente pochi stati; completa descrizione del modello vuol dire che sappiamo in anticipo le conseguenze delle nostre azioni: per esempio, se io tiro un dado non truccato so in anticipo che uscirà 1,2,3,4,5 o 6 con probabilità 1/6, mentre questa stessa cosa non si può dire se il dado è truccato.
Il caso tabellare con modello può essere considerato il caso base, e la sua comprensione è fondamentale per i successivi mini degree: quello model-free, in cui non supporremo più di conoscere il modello; quelli con approssimazione, in cui gli stati e le azioni saranno così tanti da dover essere ridotti a un numero più piccolo tramite tecniche di approssimazione. Questi sono vero e proprio RL, mentre al caso base ci si riferisce spesso come "programmazione dinamica".
Lezione 1. Introduzione, 3 parti. Qui diamo una panoramica a tutto campo del RL.
Lezione 2. Markov Decision Processes, 4 parti. In questa lezione spieghiamo in dettaglio cosa sono i "processi di decisione di Markov", ovvero dei grafi con nodi stato e nodi azione che formalizzano i problemi che vogliamo risolvere. Inoltre, introduciamo gli attori, ovvero l'agente, che vuole risolvere il problema tramite azioni successive, e l'ambiente, che fa parte del problema e alle azioni dell'agente risponde con uno stato e una ricompensa.
Lezione 3. Programmazione dinamica, 4 parti. Qui finalmente risolviamo i problemi, nel caso base in cui sappiamo esattamente come ragiona l'ambiente.
Per quanto possibile, le lezioni cercano di essere interattive: vengono proposti in continuazione esercizi, e viene richiesto al discente di mettere in pausa la riproduzione e provare a fare l'esercizio, prima di ascoltare la soluzione. Si raccomanda di seguire questo suggerimento.
Infine: nonostante l'ingente base teorica necessaria, questo corso comprende una forte componente applicativa, che viene svolta nelle esercitazioni associate a ogni lezione. Le esercitazioni sono in Python, pertanto è altamente consigliato il "Corso Propedeutico: Programmazione in Python per il Deep Learning".
Inoltre, Fondamenti di Reinforcement Learning e Reinforcement Learning e metodi Model-Free inizialmente è stato pensato come un corso unico, ma per l'esigenza di rilesciare CFU, ci ha costretto a dividerlo in due parti.


Il tuo istruttore


Maurizio Parton & Andrea Mercuri
Maurizio Parton & Andrea Mercuri

Maurizio Parton:

Sono professore associato di matematica all'Università di Chieti-Pescara, dove insegno a Economia, nel corso di laurea in Economia e Informatica per le Imprese. Sono presidente della Federazione Italiana Gioco Go dal 2013.

Nonostante le mie origini in geometria differenziale, campo nel quale faccio tuttora ricerca, mi occupo di intelligenza artificiale dal 28 gennaio 2016, data in cui è apparso per la prima volta AlphaGo.

Da matematico ho potuto fin da subito apprezzare l’immensa potenzialità delle tecniche usate nello sviluppo di AlphaGo, e ho cominciato a studiare approfonditamente reti neurali e apprendimento per rinforzo. Da allora ho tenuto corsi per matematici e molteplici conferenze divulgative. Sono profondamente convinto che l'intelligenza artificiale segnerà il nostro futuro (molto) prossimo, e per questo motivo mi dedico con passione alla disseminazione dei suoi principi fondamentali e tecniche di base.

Andrea Mercuri:

Per circa dieci anni ho lavorato come sviluppatore in due società di consulenza romane. In seguito mi sono iscritto al corso di laurea in Fisica dell'università La Sapienza di Roma, conseguendo una laurea triennale e, successivamente, al corso di Laurea in Matematica per le Applicazioni, conseguendo una laurea magistrale col massimo dei voti. Dal 2015 mi occupo di Machine Learning, Deep Learning con un focus particolare in applicazioni di Reinforcement Learning.


Domande frequenti


Come funziona il mini degree?
Il mini degree è pensato per far specializzare gli studenti in temi riguardanti il Deep Learning. Il corso è organizzato in moduli propedeutici. SI consiglia, di aquistare, anche i moduli di base per un ripasso di matematica e programmazione in python. Gli argomenti verrànno affrontati in maniera sempre più complessa. Ad ogni modulo ci saranno domande e esercitazioni.
Rilasciate una certificazione a fine corso?
Al termine del mini degree verrà assegnato un progetto finale che sarà corretto dai docenti. Una volta concluso il progetto, verrà rilasciata la certificazione. Il costo della certficiazione è di 100 euro, ed è escluso, dall'abbonamento mensile per la visione del corso. Per altre info guardare il video del progetto finale o scrivere a [email protected]
Entro quanto tempo bisogna completare il mini degree?
Il corso sarà visibili fino a quando si pagherà l'abbonomento mensile. Però, la certificazione, verrà rilasciato solo una volta consegnato il progetto finale. Quindi uno studente può completare il corso e dopo prendere la certificazione.
Il mini degree è in lingua Italiana?
Si, tutti i corsi all'interno del mini degree sono in lingua Italiana. Le slide però sono scritte in inglese per rendere più facile allo studente la ricerca degli argomenti, termini e altri esempi su internet.
La mia società può comprare un pacchetto di corsi?
Per le società abbiamo degli sconti in base al numero di certificazione che intende comprare. Inoltre, si possono organizzare dei corsi on-site in aggiunta al corso in e-learning. Per ulteriori info contattare: [email protected]

inizia ora