Francois Caron - INRIA - Cours Master MIMSE

Apprentissage automatique

François Caron, INRIA Bordeaux

Master MIMSE - Spécialité 2 : Statistiques et fiabilité - Automne 2011

Informations pratiques

Horaire : Vendredi de 08h00 à 10h00 (Emploi du temps)
Lieu :
Cours : Bat A13, S004, Université Bordeaux 1 (Plan)
Séances sur ordinateur : CREMI, Bâtiment A28, salle 205, Université Bordeaux 1 (Plan)

Résumé

Ce cours donne une introduction aux méthodes statistiques pour l'apprentissage automatique. On s'intéressera particulièrement aux méthodes de classification de données supervisée et non supervisée. Plusieurs algorithmes d'apprentissage, basés ou non sur des modèles, seront étudiés, et des applications seront présentées en reconnaissance de formes, traitement du signal, vision, intelligence artificielle et bioinformatique.

Evaluation

Examen et mini-projets.

Synopsis

	Date	Lieu	Notes de cours	Exercices	Données	Références supplémentaires
Introduction à l'apprentissage automatique	23/09/2011	Bat A13, S004, Université Bordeaux 1	Version présentation Version impression	Exercice 1
Méthodes linéaires pour la classification supervisée (1/2) Analyse discriminante linéaire et quadratique Bayésien naïf	30/09/2011	Bat A13, S004, Université Bordeaux 1	Version présentation Version impression
Séance sur ordinateur	07/10/2011	CREMI, Bat. A28, salle 205, Bx 1	TP1		synthétique : train - test vowel : info - train - test zip : info - train - test
Méthodes linéaires pour la classification supervisé (2/2) Régression logistique	14/10/2011	Bat A13, S004, Université Bordeaux 1	Version présentation Version impression	Exercice 2
Arbres de classification	21/10/2011	Bat A13, S004, Université Bordeaux 1	Version présentation Version impression			Cours en ligne sur les arbres de classification et de régression
PAS DE COURS	28/10/2011
Séance sur ordinateur	04/11/2011	CREMI, Bat. A28, salle 205, Bx 1
PAS DE COURS	11/11/2011
Machines à vecteurs support (support vector machines)	18/11/2011	Bat A13, S004, Université Bordeaux 1	Version présentation Version impression			Cours en ligne sur les svms et les méthodes à noyaux
Classification non supervisée K-means Modèles de mélange et algorithme EM	25/11/2011	Bat A13, S004, Université Bordeaux 1	Version présentation Version impression
Séance sur ordinateur	02/12/2011	CREMI, Bat. A28, salle 205, Bx 1	TP			mixture_train.txt mixture_test.txt
Séance sur ordinateur	09/12/2011	CREMI, Bat. A28, salle 205, Bx 1

Projets

Les projets peuvent être effectués en monôme ou binôme. Ils donneront lieu à l'écriture d'un rapport à remettre pour le lundi 23 janvier 2012. Les codes informatiques utilisés pour la réalisation du projet devront être envoyés par courrier électronique pour cette même date. Le langage de programmation est libre.

***

Projet 1 : Analyse discriminante à mélange pour la classification
Pré-requis : Analyse discriminante et modèles de mélange

Résumé : Plutôt que de considérer que les données dans chaque classe sont gaussiennes, on suppose qu'elle sont distribuées selon un mélange de gaussiennes. Les paramètres du mélange peuvent être estimés à l'aide d'un algorithme EM.

Procédure :

Etudier l'article "T. Hastie et Tibshirani. Discriminant Analysis by Gaussian Mixtures, Journal of the Royal Statistical Society B, 1996" (Parties 1 et 2)
Implémenter cette méthode et la tester sur un jeu de données synthétique
Comparer sur un jeu de données synthétique et sur des données réelles de votre choix cette méthode avec l'analyse discriminante linéaire et quadratique

***

Projet 2 : Classification non supervisée et méthodes de Monte Carlo
Pré-requis : Modèle de mélange, méthode de Monte Carlo par chaîne de Markov, inférence bayésienne

Résumé : L'algorithme EM recherche l'estimée de maximum de vraisemblance d'un modèle de mélange, et fourni donc une estimée ponctuelle. L'inférence bayésienne, en considérant les paramètres inconnus comme des variables aléatoires puis en approchant la distribution a posteriori de ces variables, permet d'avoir une mesure de l'incertitude sur ces paramètres. L'approximation de cette distribution a posteriori se fait à l'aide de Méthode de Monte Carlo par Chaîne de Markov.

Procédure :

Etudier l'article "Estimation of finite Mixture Distributions through Bayesian sampling" par J. Diebold et C.P. Robert, Journal of the Royal Statistical Society, 1994. (lien accessible depuis l'université)
Implémenter l'algorithme de Gibbs pour les mélange de Gaussiennes
L'appliquer au jeu de données de votre choix

***

Projet 3 : Classification de pixels d'images satellitaires
Pré-requis : Méthodes de classification supervisée

Résumé : L'objectif est, dans une image satellitaire, de classer chaque pixel en fonction du type de sol. Les données sont constituées de 4 images (2 dans le domaine visible, 2 en infra-rouge).

Procédure :

Télécharger les données
Implémenter les k-plus proches voisins, l'analyse discriminante linéaire et la régression logistique
Comparer ces trois méthodes sur le jeu de données
Discuter les résultats obtenus et la spécification des hyperparamètres

***

Projet 4 : Classification de cépages de vin
Pré-requis : Méthodes de classification supervisée

Résumé : L'objectif est, à partir d'un ensemble d'apprentissage, de définir une règle de classification permettant de déterminer le cépage d'un vin à partir d'un ensemble de caractéristiques.

Procédure :

Télécharger les données
Implémenter les k-plus proches voisins et la régression logistique
Comparer ces deux méthodes avec les SVM, pour lesquels vous utiliserez une boîte à outil existante
Discuter les résultats obtenus et la spécification des hyperparamètres

***

Projet 5 : Compression d'images numériques
Pré-requis : K-means et algorithme EM pour les modèles de mélange

Résumé : L'objectif est d'utiliser les méthodes de classification non supervisée pour la compression d'images noir et blanc et couleur.

Procédure :

Choisir une image NB et une image Couleur parmi les images standard
Importer ces images (fonction imread dans matlab, si problème me demander)
Pour l'image NB, faire la classification non supervisée des intensités des pixels, puis remplacer l'intensité de chaque pixel par le centre correspondant
Afficher les images compressées, pour différentes valeurs de nombres de clusters
Faire la même chose pour l'image couleur

***

Projet 6 : Classification non supervisée de séquences d'expression de gènes
Pré-requis : K-means et algorithme EM pour les modèles de mélange
Référence : K.Y. Yeung, C. Fraley, A. Murua, A.E. Raftery et W.L. Ruzzo. Model-based clustering and data transformations for gene expression data. Bioinformatics, 2001. Page web.

Résumé : L'objectif est d'effectuer la classification non supervisée de séquences d'expression de gènes afin d'identifier des gènes ayant des comportements similaires.

Procédure :

Télécharger les données d'expression de gènes
Implémenter les algorithmes k-means et EM pour les mélanges de gaussiennes
Comparer ces méthodes sur le jeu de données
Discuter l'estimation des hyperparamètres de l'algorithme EM et les résultats

***

Projet 7 : Algorithme de classement de résultats sportifs
Pré-requis : Algorithme EM
Référence : F. Caron et A. Doucet. Efficient Bayesian Inference for generalized Bradley-Terry Models. Journal of Computational and Graphical Statistics, to appear, 2011.

Résumé : L'objectif est d'estimer le paramètre d'aptitude de chaque équipe à partir de résultats sportifs, à l'aide d'un algorithme Expectation-Maximization, puis d'utiliser ce paramètre afin d'effectuer des prédictions.

Procédure :

Etudier les paragraphes 1, 2 et 3.2 de l'article ci-dessus
Implémenter l'algorithme EM pour le modèle de Bradley-Terry sans et avec matchs nuls
Appliquer l'algorithme aux résultats des 19 premières journées de ligue 1
Donner les probabilités de victoire, match nul, et défaite pour chaque match des journées 20 et 21 à partir des paramètres d'aptitude estimés

Références

Trois livres que nous suivrons durant ce cours

T. Hastie, R. Tibshirani et J. Friedman. The Elements of Statistical Learning. Springer Series in Statistics. 2009.
C.M. Bishop. Pattern Recognition and Machine Learning. Springer. 2006
L. Wasserman. All of Statistics. A Concise Course in Statistical Inference. Springer Texts in Statistics, 2004.

Des cours consultables en ligne (en anglais)

Practical Machine Learning, M.I. Jordan, UC Berkeley
Machine Learning Lectures, T. Mitchell et A.W. Moore, CMU

Articles de journaux sur les statistiques et l'apprentissage

NY Times : Les statistiques sont sexy!!
NY Times : NetFlix prize

Des ressources pour aller plus loin:

Leo Breiman. Statistical Modeling: The Two Cultures. Statistical Science, 2001, vol. 16, 199-231. pdf
Site avec de nombreux cours/tutoriaux en ligne avec vidéo et transparents.
Le blog d'Andrew Gelman, professeur de statistiques à l'Université Columbia, New York.
Le blog de John Langford, chercheur à Yahoo Research.

Jeux de données

Liens utiles

The Matrix Cookbook