Réseaux de neurones : Méthodologie et applications

Couverture
Page de titre
Avant-propos
Guide de lecture
Détail des contributions
1 Les réseaux de neurones : pourquoi et pour quoi faire ? Les réseaux de neurones : définitions et propriétés
Les réseaux de neurones
L'apprentissage des réseaux de neurones
Propriété fondamentale des réseaux de neurones non bouclés à apprentissage supervisé : l'approximation parcimonieuse
À quoi servent les réseaux de neurones non bouclés à apprentissage supervisé ? Modélisation statique et discrimination (classification)
À quoi servent les réseaux de neurones à apprentissage non supervisé ? Analyse et visualisation de données
À quoi servent les réseaux de neurones bouclés à apprentissage supervisé ? Modélisation dynamique « boîte noire » et « semi-physique » ; commande de processus
À quoi servent les réseaux de neurones bouclés sans apprentissage ? L'optimisation combinatoire
Quand et comment mettre en œuvre des réseaux de neurones à apprentissage supervisé ?
Quand utiliser les réseaux de neurones ?
Comment mettre en oeuvre ces réseaux de neurones ?
Conclusion
Réseaux de neurones à apprentissage supervisé et discrimination (classification)
Qu'est-ce qu'un problème de classification ?
Quand est-il opportun d'utiliser un classifieur statistique tel qu'un réseau de neurones ?
Classification probabiliste et formule de Bayes
Règle de décision de Bayes
Classification et régression
Quelques exemples d'applications des réseaux de neurones à divers domaines des sciences de l'ingénieur
Introduction
Une application en reconnaissance de formes : la lecture automatique de codes postaux
Une application en contrôle non destructif : la détection de défauts dans des rails par courants de Foucault
Une application en prévision : l'estimation de la probabilité de succès aux élections législatives
Une application en fouille de données : le filtrage de documents
Une application en bio-ingénierie : relations structure-activité (QSAR) pour la prédiction de propriétés chimiques de molécules
Une application en formulation : la prédiction de la température de liquidus de verres
Une application en modélisation de procédé industriel : la modélisation du soudage par points
Une application en robotique: la modélisation de l' actionneur hydraulique d'un bras de robot
Une application de la modélisation semi-physique à un procédé manufacturier
Deux applications en contrôle de l'environnement : pollution par l'ozone et hydrologie urbaine
Une application en robotique mobile : le pilotage automatique d'un véhicule autonome
Conclusion
Compléments théoriques et algorithmiques
Quelques types de neurones usuels
L'algorithme de Ho et Kashyap
Bibliographie
2 Modélisation à l'aide de réseaux de neurones : principes et méthodologie de conception de modèles
Qu'est-ce qu'un modèle ?
De la boîte noire au modèle de connaissance
Modèles statiques et modèles dynamiques
Comment traiter des variables incertaines ? Le contexte statistique de la modélisation
Notions élémentaires de statistiques
Qu'est-ce qu'une variable aléatoire ?
Espérance mathématique d'une variable aléatoire
Estimateur non biaisé d'une variable aléatoire
Variance d'une variable aléatoire
Intervalles de confiance
Tests d'hypothèse
Modélisation statique « boîte noire » : généralités
Formalisation du problème : la régression
Introduction à la méthodologie de conception
Sélection des entrées d'un modèle statique boîte noire
Réduction de l'espace de représentation des variables du modèle
Élimination des variables non pertinentes pour la grandeur à modéliser
Conclusion sur la sélection des entrées
Estimation des paramètres (apprentissage) d'un modèle statique
Apprentissage des modèles linéaires par rapport à leurs paramètres
Apprentissage non adaptatif de modèles statiques non linéaires par rapport à leurs paramètres (réseaux de neurones non bouclés)
Apprentissage adaptatif de modèles non linéaires par rapport à leurs paramètres
Apprentissage avec régularisation
Conclusion sur l'apprentissage de modèles statiques
Sélection de modèle
Préliminaire: élimination de modèles surajustés par calcul du rang de la matrice jacobienne
Approche globale de la sélection de modèles : validation croisée et « leave-one-out »
Moindres carrés locaux : effet du retrait d'un exemple sur le modèle et « leave-one-out virtuel » 1
Méthodologie de sélection de modèle par combinaison de l'approche globale et de l'approche locale
Modélisation dynamique « boîte noire »
Représentations d'état et représentations entrée-sortie
Les hypothèses concernant le bruit et leurs conséquences sur la structure, l'apprentissage et l'utilisation du modèle
Apprentissage non adaptatif des modèles dynamiques sous forme canonique
Que faire en pratique ? Un exemple réel de modélisation « boîte noire »
Mise sous forme canonique des modèles dynamiques
Modélisation dynamique « boîte grise »
Principe de la modélisation semi-physique
Conclusion : quels outils ?
Compléments théoriques et algorithmiques
Complément sur les intervalles de confiance : démarche et exemple
Exemple de test d'hypothèse
Complément : distributions de Pearson, de Student et de Fisher
Compléments sur la sélection des entrées : test de Fisher; calcul de la fonction de distribution du rang du descripteur sonde
Complément algorithmique : méthodes d'optimisation de Levenberg-Marquardt et de BFGS
Complément algorithmique : méthodes de recherche unidimensionnelle pour le paramètre d'apprentissage
Complément théorique: distance de Kullback-Leibler entre deux distributions gaussiennes
Complément algorithmique : calcul des leviers
Bibliographie
3 Compléments de méthodologie pour la modélisation : réduction de dimension et ré-échantillonnage
Pré-traitements
Pré-traitements des entrées
Pré-traitement des sorties pour la classification supervisée
Pré-traitement des sorties pour la régression
Réduction du nombre de composantes
Analyse en composantes principales
Principe de l'ACP
Analyse en composantes curvilignes
Formalisation de l'analyse en composantes curvilignes
Algorithme d'analyse en composantes curvilignes
Mise en œuvre de l'analyse en composantes curvilignes
Qualité de la projection
Difficultés présentées par l'analyse en composantes curvilignes
Application en spectrométrie
Le bootstrap et les réseaux de neurones
Principe du bootstrap
Algorithme du bootstrap pour calculer un écart-type
L'erreur de généralisation estimée par bootstrap
La méthode NeMo
Test de la méthode NeMo
Conclusions
Bibliographie
4 Identification « neuronale » de systèmes dynamiques commandés et réseaux bouclés (récurrents)
Formalisation et exemples de systèmes dynamiques commandés à temps discret
Formalisation d'un système dynamique commandé par l'équation d'état
Exemple d'un système dynamique à espace d'état discret
Exemple d'un oscillateur linéaire
Exemple du pendule inversé
Exemple d'un oscillateur non linéaire : l'oscillateur de Van der Pol
Introduction d'un bruit d'état dans un système dynamique à espace d'état discret : notion de chaîne de Markov
Introduction d'un bruit d'état dans un système dynamique à états continus : modèle linéaire gaussien
Modèles auto-régressifs
Limites des modélisations des incertitudes sur le modèle par un bruit d'état
Identification de systèmes dynamiques commandés par régression
Identification d'un système dynamique commandé par régression linéaire
Identification d'un système dynamique non linéaire par réseaux de neurones non bouclés
Identification adaptative (en ligne) et méthode de l'erreur de prédiction récursive
Estimateur récursif de la moyenne empirique
Estimateur récursif de la régression linéaire
Identification récursive d'un modèle AR
Méthode générale de l'erreur de prédiction récursive
Application à l'identification neuronale d'un système dynamique commandé
Filtrage par innovation dans un modèle d'état
Introduction d'une équation de mesure et problème du filtrage
Filtrage de Kalman
Extension du filtre de Kalman
Apprentissage adaptatif d'un réseau de neurones par la méthode du filtrage de Kalman
Réseaux neuronaux récurrents ou bouclés
Simulateur neuronal d'un système dynamique commandé en boucle ouverte
Simulateur neuronal d'un système dynamique commandé en boucle fermée
Quelques réseaux bouclés particuliers
Mise sous forme canonique des réseaux bouclés
Apprentissage des réseaux de neurones récurrents ou bouclés
Apprentissage dirigé (teacher forcing)
Dépliement de la forme canonique et rétropropagation à travers le temps
Apprentissage en temps réel des réseaux bouclés
Application des réseaux neuronaux bouclés à l'identification de systèmes dynamiques commandés mesurés
Compléments algorithmiques et théoriques
Calcul du gain de Kalman et propagation de la covariance
Importance de la distribution des retards dans un réseau récurrent
Bibliographie
5 Apprentissage d'une commande en boucle fermée
Généralités sur la commande en boucle fermée des systèmes non linéaires
Principe de la commande en boucle fermée
Commandabilité
Stabilité des systèmes dynamiques commandés
Synthèse d'une commande « neuronale » par inversion du modèle du processus
Inversion directe
Utilisation d'un modèle de référence
Commande avec modèle interne
Utilisation des réseaux récurrents
Programmation dynamique et commande optimale
Exemple de problème déterministe à espace d'états discret
Exemple de problème de décision markovienne
Définition d'un problème de décision markovienne
Programmation dynamique à horizon fini
Programmation dynamique à horizon infini et à coût actualisé
Problèmes de décision markovienne partiellement observés
Apprentissage par renforcement et programmation neuro-dynamique
Évaluation d'une politique par la méthode de Monte-Carlo et apprentissage par renforcement
Présentation de l'algorithme TD d'évaluation d'une politique
Apprentissage par renforcement : méthode du Q-learning
Apprentissage par renforcement et approximation neuronale
Bibliographie
6 La discrimination
Apprentissage de la discrimination
Erreurs d'apprentissage et de généralisation
Surfaces discriminantes
Séparation linéaire: le perceptron
Géométrie de la classification
Algorithmes d'apprentissage pour le perceptron
Exemple d'application: la classification de signaux de sonar
Algorithmes d'apprentissage adaptatifs (<< en ligne»)
Interprétation de l'apprentissage en termes de forces
Au-delà de la séparation linéaire
Perceptron sphérique
Heuristiques constructives
Algorithme constructif NetLS
Machines à vecteurs supports (Support Vector Machines)
Problèmes à plusieurs classes
Questions théoriques
Formulation probabiliste de l'apprentissage
Théorie statistique de Vapnik
Prédiction du comportement typique
Compléments théoriques
Bornes au nombre d'itérations de l'algorithme du perceptron
Nombre de dichotomies linéairement séparables
Bibliographie
7 Cartes auto-organisatrices et classification automatique
Notations et définitions
Méthode des k-moyennes
Présentation de l'algorithme
Version stochastique des k-moyennes
Interprétation probabiliste des k-moyennes
Carte topologique auto-organisatrice
Les cartes auto-organisatrices
L'algorithme d'optimisation non adaptative des cartes topologiques
L'algorithme de Kohonen
Discussion
Architecture neuronale et carte topologique
Architecture et carte topologique évolutive
Interprétation de l'ordre topologique
Carte topologique probabiliste
Classification et carte topologique
Étiquetage de la carte par données expertisées
Recherche d'une partition adaptée aux classes recherchées
Étiquetage et classification
Applications
Une application en télédétection satellitaire
Classification et PRSOM
Carte topologique et recherche documentaire
Bibliographie
8 Réseaux de neurones sans apprentissage pour l'optimisation
Modélisation d'un problème d'optimisation
Exemples
Problème du voyageur de commerce
Complexité d'un problème d'optimisation
Exemple
Approches classiques des problèmes combinatoires
Introduction aux métaheuristiques
Les techniques dérivées de la physique statistique
Analyse canonique
Analyse microcanonique
Exemple : problème du voyageur de commerce
Les approches neuronales
Les neurones formels utilisés pour l'optimisation
Architectures de réseaux de neurones pour l'optimisation
Fonctions d'énergie pour l'optimisation combinatoire
Les réseaux de neurones récurrents de Hopfield
Améliorations des réseaux de Hopfield
La recherche tabou
Les algorithmes génétiques
Vers des approches hybrides
Conclusion
Le choix d'une technique
Bibliographie
Bibliographie commentée
Index