96764 - MATHEMATICS FOR COMPLEX SYSTEMS

Conoscenze e abilità da conseguire

At the end of the course the student : - has in-depth knowledge of the possible applications of complex system's theory to the study of statistical inference and machine learning problems; - is able to introduce a stochastic generative model, set up an inference procedure to extract information from data and discuss process complexity and theoretical limits of the inference/learning performance from the perspective of the theory of complex systems and phase transitions.

Contenuti

• Richiami di Probabilità, Teoria dell’Informazione e Meccanica Statistica;
  
• Modelli di Ising: stati termodinamici e transizioni di fase;
• Sistemi con frustrazione e Teoria di Gauge;
• Grafi Random: degree distribution, componenti e metriche; Configuration Model; Erdos-Renyi; Grafi di massima entropia, Strutture Macroscopiche e Stochastic Block Model;
• Factor graphs: proprietà di base, grafi localmente ad albero, Energia Libera di Bethe;
• Belief Propagation, Message-Passing Algorithm, TAP equations.

Approfondimenti/Applicazioni

• Spin di Ising: Belief Propagation vs Glauber Dynamics;
  
• Belief Propagation e community detection su reti: “detectability transitions” e complessità;
  
• Codifica, trasmissione e decodifica di sequenze di dati;
• Ricostruzione di immagini;
• Learning nel perceptrone e nelle reti neurali: capacità critica e transizioni di fase.

Testi/Bibliografia

Referenze principali:

• M.Mézard, A.Montanari - Information, Physics, and Computation - Oxford University Press, USA
  (2009);
• Nishimori, H.: Statistical Physics of Spin Glasses and Information processing. An Introduction. Oxford
  Science Publications 2001;
• Coolen, Kuhn, Sollich, Theory of Neural Information Processing Systems, Oxford University Press;
• Engel, A., Van Den Broeck, C., Statistical Mechanics of Learning, Cambridge University Press.

Letture suggerite:

• Mark Newman - Networks_ An Introduction - Oxford University Press (2010);
• Decelle, A., Krzakala, F., Moore, C., & Zdeborová, L. (2011). Asymptotic analysis of the stochastic block model for modular networks and its algorithmic applications. Physical Review E, 84(6), 066106;
• Zdeborová, L., Krzakala, F. (2016). Statistical physics of inference: Thresholds and algorithms. Advances in Physics, 65(5), 453-552;
• Gardner, E., and Derrida, B.: Optimal storage properties of neural network models. J. Phys. A: Math.
  Gen. 21, 271-284 (1988).

Metodi didattici

Lezioni frontali

Modalità di verifica e valutazione dell'apprendimento

La verifica dell' apprendimento consiste in una prova orale che mira a verificare l’acquisizione delle conoscenze previste dal programma del corso e a valutare le abilità conseguite come previsto dagli obiettivi formativi quali:

• Nozioni avanzate di Meccanica Statistica applicata e Teoria dei Grafi Random;
• Capacità di leggere e interpretare problemi di Ottimizzazione, Inferenza e Machine Learning dal punto di vista della Meccanica Statistica, delineandone la struttura matematica e le possibili soluzioni;
• Capacità di condurre esperimenti numerici, implementando algoritmi di Inferenza su dati simulati o reali;
• Capacità di condurre autonomamente l'approfondimento verso gli sviluppi più recenti delle tematiche sopra citate e dei loro problemi più significativi.

Strumenti a supporto della didattica

Gli strumenti a supporto della didattica saranno disponibili sulla piattaforma Virtuale.

Orario di ricevimento

Consulta il sito web di Federica Gerace

Consulta il sito web di Emanuele Mingione