B1714 - MODELLI NEURALI PER L'ELABORAZIONE DEL LINGUAGGIO NATURALE (1) (LM)

Conoscenze e abilità da conseguire

Al termine del corso lo studente conosce nel dettaglio i principali modelli di Deep Learning utilizzati per l'elaborazione del linguaggio naturale sia relativamente alla lingua scritta che alla lingua parlata. Conosce inoltre i principali framework tecnologici utili a sviluppare applicazioni computazionali.

Contenuti

• Ripasso di Machine/Deep Learning
  
• Classificazione & Clustering utilizzando Scikit-Learn (SVC, KNN, Decision Trees, etc.)
  
• Dettagli tecnici per addestrare DNNs
         - Funzioni di attivazione
         - Funzioni di Loss
         - Ottimizzazione & calcolo automatico del gradiente
  
• PyTorch framework
  
• LAB: Usare CoLab per eseguire esperimenti
  
• LAB: Ottimizzazione di funzioni in PyTorch
  
• LAB: Primo esperimento con DNN: Multi-Layer Perceptron
  
• LAB: Secondo esperimento con DNN: reti ricorrenti
  
• Struttura del Transformer
  
• BERT & GPT
  
• Pre-Training e Fine-tuning di un trasformer
  
• LAB: Fine-tuning di BERT utilizzando il benchmark GLUE
  
• Fine-tuning utilizzando Adapters (LoRA)
  

 

Studenti/sse con DSA o disabilità temporanee o permanenti: si suggerisce di mettersi subito in contatto con l’ufficio di Ateneo responsabile (https://site.unibo.it/studenti-con-disabilita-e-dsa/it) e con il/la docente, per cercare insieme le strategie più efficaci nel seguire le lezioni e/o nel preparare l’esame.

Testi/Bibliografia

Capitoli tratti dai seguenti volumi:
- Tamburini F. (2022). Neural Models for the Automatic Processing of Italian, Bologna: Pàtron.
- Raschka S., Liu Y., Mirjalili V. (2022). Machine Learning with Pytorch and Scikit-learn, Packt Publishing
- Stevens E., Antiga L., Viehmann T. (2021). Deep Learning With Pytorch, Manning.
Slide, dispense e articoli scaricabili direttamente dal sito web del corso.

Il programma per NON frequentanti non cambia. Si raccomanda tuttavia agli studenti NON frequentanti di contattare il docente, in orario di ricevimento, prima di iniziare lo studio in modo da ricevere tutte le spiegazioni riguardanti i materiali da studiare per l'esame ed evitare così ogni fraintendimento o problema.

Metodi didattici

Il corso di svolge in laboratorio. Comprende 30 ore di lezione e esercitazioni.

Modalità di verifica e valutazione dell'apprendimento

L'esame consiste nello sviluppo di un progetto concordato col docente utilizzando l'ambiente Google Colab, nella preparazione di una relazione scritta che illustri il progetto, in linea con quanto visto a lezione rispetto alla parte sperimentale, e nella relativa discussione durante l'esame. I progetti sono pensati per essere svolti da 2 (DUE!) studenti. Eventuali eccezioni devono essere concordate col docente.

Il raggiungimento da parte dello studente di una visione organica dei temi affrontati a lezione, la dimostrazione del possesso di una padronanza espressiva e di linguaggio specifico saranno valutati con voti di eccellenza. La conoscenza per lo più meccanica e/o mnemonica della materia, capacità di sintesi e di analisi non articolate e/o un linguaggio corretto ma non sempre appropriato porteranno a valutazioni discrete; lacune formative e/o linguaggio inappropriato – seppur in un contesto di conoscenze minimali del materiale d'esame - condurranno a voti che non supereranno la sufficienza. Lacune formative, linguaggio inappropriato, mancanza di orientamento all'interno degli argomenti discussi durante il corso non potranno che essere valutati negativamente.

E' obbligatorio iscriversi all'esame utilizzando la procedura online [https://almaesami.unibo.it/almaesami/welcome.htm] .

 

Studenti/sse con DSA o disabilità temporanee o permanenti: si raccomanda di contattare per tempo l’ufficio di Ateneo responsabile (https://site.unibo.it/studenti-con-disabilita-e-dsa/it): sarà sua cura proporre agli/lle studenti/sse interessati/e eventuali adattamenti, che dovranno comunque essere sottoposti, con un anticipo di 15 giorni, all’approvazione del/la docente, che ne valuterà l'opportunità anche in relazione agli obiettivi formativi dell'insegnamento.

Strumenti a supporto della didattica

Il sito web del corso è stato progettato per essere il fulcro degli strumenti didattici. Contiene la maggior parte dei materiali didattici in formato elettronico, un'indicazione di tutte le procedure e le modalità di erogazione del corso, nonché una ricca raccolta di software del settore.

Link ad altre eventuali informazioni

https://corpora.ficlit.unibo.it/MNNLP/

Orario di ricevimento

Consulta il sito web di Fabio Tamburini