95601 - OPTIMIZATION AND MACHINE LEARNING M

Conoscenze e abilità da conseguire

The aim of this course is to provide the student the ability of using both machine learning and mathematical optimization for advanced analytics. In particular, machine learning techniques are at the core of predictive analytics, where – based on historical data – one needs to predict the future outcome of a time series or classify unseen observations. Machine learning techniques build upon optimization techniques, and, in the case of neural networks, continuous optimization methods. Conversely, discrete optimization methods are at the core of prescriptive analytics, where one is required to make decisions optimizing a certain revenue / saving function by selecting within a discrete set. Discrete optimization methods are empowered by machine learning in estimating the parameters of the associated decision problems and, in some cases, benefit from machine learning to speed up the solution techniques.

Contenuti

L'allievo che accede a questo insegnamento deve conoscere i concetti fondamentali della Ricerca Operativa, della implementazione di codici di calcolo e dell'analisi della loro complessità.

Tutte le lezioni saranno tenute in inglese. È quindi necessaria la comprensione della lingua inglese.

 

Il corso presenta algoritmi per la soluzione di problemi di ottimizzazione non lineari che sono alla base delle tecniche di machine learning, estremamente diffuse in diversi contesti, incluse le telecomunicazioni, l'elettronica, i controlli automatici e i sistemi di supporto alle decisioni.

Il corso è diviso in due moduli

Modulo 1: Il primo modulo introduce alcuni algoritmi di ottimizzazione per problemi non lineari.

• Ottimizzazione non lineare: introduzione alla Programmazione Matematica, modelli ed algoritmi.
• Modelli non lineari: ottimizzazione non vincolata ed ottimizzazione vincolata. Rilassamenti e algoritmi basati su funzioni di penalità.
• Ottimizzazione convessa: rilassamento lagrangiano in ottimizzazione convessa. L'algoritmo barriera.
  
• Algoritmi euristici ed applicazioni dell'ottimizzazione convessa al support vector machine ed al deep learning.

Modulo 2: Il secondo modulo introduce i fondamenti delle tecniche di machine learning per la classificazione e l'apprendimento.

• Introduzione al machine learning
• Algoritmi per clustering
• Algoritmi per problemi di classificazione
• Reti neurali
• Relazione tra ottimizzazione discreta e learning
• Attività di laboratorio su applicazioni degli algoritmi di machine learning e di ottimizzazione ad alcuni problemi reali.

Testi/Bibliografia

Slides disponibili online.

 

Per approfondimenti:

-- C. Bishop, Pattern Recognition and Machine Learning. Springer

-- S. Boyd e L. Vandenberghe, Convex Optimization. Cambridge University Press
-- L. Grippo e M. Sciandrone, Metodi di Ottimizzazione Non Vincolata. Springer
-- J. Nocedal e S. J. Wright, Numerical Optimization. Springer

Metodi didattici

Il corso prevede lezioni frontali in aula (ove possibile) integrate con esempi relativi ad applicazioni reali.

Le lezioni sono relative agli aspetti teorici ed algoritmici dei vari argomenti trattati. Ogni argomento verrà accompagnato dallo studio di casi che ne mettano in luce le applicazioni pratiche.

Modalità di verifica e valutazione dell'apprendimento

Per il modulo 1, l'esame comprende una oarte scritta (senza possibilità di consultare appunti) ed una prova orale.

L'esame del modulo 2 prevede lo svolgimento di un progetto e la valutazione verte sia sul codice implementato che su un documento riassuntivo dell'attività svolta e dei risultati ottenuti.

Il voto finale viene determinato analizzando i voti di entrambi i moduli.

Strumenti a supporto della didattica

Il materiale didattico utilizzato è reperibile tramite username e password presso Virtual Learning Environment.

Orario di ricevimento

Consulta il sito web di Michele Monaci

Consulta il sito web di Andrea Lodi