35055 - TEORIA DELL'INFORMAZIONE E CODICI LS

Conoscenze e abilità da conseguire

Al termine del corso lo studente: - conosce i fondamenti della teoria dell'informazione di Shannon, ed in particolare il concetto di entropia, i limiti teorici nella compressione di sorgente, la capacita' di canali di trasmissione, i limiti nella codifica di canale; - conosce le tecniche di codifica per la compressione e protezione dell'informazione; - e' in grado di progettare codificatori e decodificatori di sorgente e canale con riferimento ai principali scenari applicativi di interesse.

Contenuti

Misura dell'informazione e Codifica di sorgente Incertezza, Informazione, Entropia. Entropia di sorgenti discrete. Ridondanza di sorgente. Applicazione: ridondanza della lingua italiana. Codifica di sorgente: codici a lunghezza fissa e variabile. Codici non ambigui, codici istantanei, codici a prefisso. Codici a prefisso: la disuguaglianza di Kraft. Teorema della codifica di sorgente. Codice di Huffman. Codice di Lempel-Ziv. Applicazioni: facsimile, compressione file binari. Codifica di sorgenti continue: codifica lineare predittiva (LPC), quantizzazione vettoriale, codifica con trasformate (DCT). Applicazione ai segnali video. Capacità di canale Il canale discreto senza memoria. Incertezza a priori, equivocazione, informazione mutua. Capacita' di un canale discreto senza memoria. Il principio di conservazione dell'informazione. La disuguaglianza di Fano. Teorema della codifica di canale. Variabili aleatorie continue: entropia differenziale e sue proprietà. La distribuzione Gaussiana come estremale dell'entropia nel caso continuo. Capacita' di canali con rumore additivo Gaussiano: la formula di Hartley-Shannon. Il piano efficienza spettrale – rapporto segnale rumore. Codifica di canale Sicurezza e protezione dell'informazione. Correzione e rivelazione di errori nella trasmissione dati. Guadagno di codifica. Codici a blocco lineari. Matrice generatrice del codice. Codici equivalenti. Codici sistematici. Codici duali. Matrice di controllo della parita'. Codici di Hamming. Codici di Reed-Muller. Elementi di teoria della decisione: criterio della massima probabilita' a posteriori (MAP), criterio di massima verosimiglianza (ML). Decodifica ottima basata su hard e soft decisions. Union bound. Capacita' di rivelazione e correzione di errori di codici a blocco. Codici perfetti. Codici ciclici. Codici ciclici in forma sistematica. Circuiti moltiplicatori e divisori con shift register. Esempi: codice di Hamming ciclico, codice CCITT per X25. Codici per la rivelazione di errore e tecniche di ritrasmissione (ARQ). Principali codici ciclici: codici di Hamming ciclici, codice di Golay. Codici a massima lunghezza. Sequenze pseudo-casuali: principali proprieta'. Lo scrambling. Codici BCH. Codici di Reed-Solomon. Cenni sui decodificatori algebrici. Codici convoluzionali: diagramma ad albero, diagramma a trellis, diagramma degli stati. Decodifica mediante l'algoritmo di Viterbi: aspetti implementativi e complessita'. Probabilita' di errore per codici convoluzionali. Distanza libera del codice. Pairwise probability. Canali con errori a burst: interleaving e FEC. Codici concatenati. Decodifica iterativa: turbo-codici, codici basati su matrici sparse. Applicazioni Compressione e protezione dell'informazione nei sistemi di memorizzazione CD e DVD, nei sistemi radiomobili cellulari, nei sistemi di trasmissione da satellite, nelle reti wireless locali.

Testi/Bibliografia

T.M. COVER, J.A. THOMAS, ELEMENTS OF INFORMATION THEORY, WILEY-INTERSCIENCE, NEW YORK.

J.G. PROAKIS, DIGITAL COMMUNICATIONS, McGRAW-HILL, NEW YORK.

Metodi didattici

Lezioni ed esercitazioni in aula.

Modalità di verifica e valutazione dell'apprendimento

PROVA ORALE PRECEDUTA DA DOMANDE SCRITTE.

Strumenti a supporto della didattica

Personal computer

Orario di ricevimento

Consulta il sito web di Marco Chiani