Plan du cours

Partie 1 - Concepts Deep Learning et DNN


Introduction à l'IA, Machine Learning & Deep Learning

  • Histoire, concepts de base et applications courantes de l'intelligence artificielle loin des fantasmes portés par ce domaine

  • Intelligence collective : agrégation de connaissances partagées par de nombreux agents virtuels

  • Algorithmes génétiques : pour faire évoluer une population d'agents virtuels par sélection

  • Machine à apprendre usuelle : définition.

  • Types de tâches : apprentissage supervisé, apprentissage non supervisé, apprentissage par renforcement.

  • Types d'actions : classification, régression, regroupement, estimation de la densité, réduction de la dimensionnalité

  • Exemples d'algorithmes Machine Learning : Régression linéaire, Naive Bayes, arbre aléatoire

  • Apprentissage automatique VS Deep Learning : problèmes pour lesquels Machine Learning reste l'état de l'art (Random Forests & XGBoosts)

Concepts de base d'un réseau de neurones (Application : perceptron multicouche)

  • Rappel des bases mathématiques.

  • Définition d'un réseau de neurones : architecture classique, activation et pondération des activations précédentes, profondeur.

  • Pondération des activations précédentes, profondeur d'un réseau

  • Définition de l'apprentissage d'un réseau de neurones : fonctions de coût, rétropropagation, descente de gradient stochastique, maximum de vraisemblance.

  • Modélisation d'un réseau de neurones : modélisation des données d'entrée et de sortie en fonction du type de problème (régression, classification...). La malédiction de la dimensionnalité.

  • Distinction entre données multi-fonctions et signal. Choix d'une fonction de coût en fonction des données.

  • Approximation d'une fonction par un réseau de neurones : présentation et exemples

  • Approximation d'une distribution par un réseau de neurones : présentation et exemples.

  • Augmentation des données : comment équilibrer un ensemble de données

  • Généralisation des résultats d'un réseau de neurones.

  • Initialisation et régularisation d'un réseau de neurones : Régularisation L1 / L2, Normalisation par lots

  • Optimisation et algorithmes de convergence

Outils standard de ML / DL

Une présentation simple avec les avantages, les inconvénients, la position dans l'écosystème et l'utilisation est prévue.

  • Outils de gestion des données : Outils Apache Spark, Apache Hadoop.

  • Machine Learning : Numpy, Scipy, Sci-kit

  • Cadres DL de haut niveau : PyTorch, Keras, Lasagne

  • Cadres DL de bas niveau : Theano, Torch, Caffe, Tensorflow

Convolutionnel Neural Networks (CNN).

  • Présentation des CNN : principes fondamentaux et applications

  • Fonctionnement de base d'un CNN : couche convolutive, utilisation d'un noyau,

  • Padding & stride, génération de cartes de caractéristiques, couches de mise en commun. Extensions 1D, 2D et 3D.

  • Présentation des différentes architectures CNN qui ont permis d'atteindre l'état de l'art en matière de classification.

  • Images : LeNet, VGG Networks, Network in Network, Inception, Resnet. Présentation des innovations apportées par chaque architecture et de leurs applications plus globales (Convolution 1x1 ou connexions résiduelles).

  • Utilisation d'un modèle d'attention.

  • Application à un cas courant de classification (texte ou image)

  • CNNs pour la génération : super-résolution, segmentation pixel à pixel. Présentation de

  • Principales stratégies d'augmentation des cartes de caractéristiques pour la génération d'images.

Récurrents Neural Networks (RNN).

  • Présentation des RNN : principes fondamentaux et applications.

  • Fonctionnement de base des RNN : activation cachée, rétropropagation dans le temps, version dépliée.

  • Evolution vers les GRUs (Gated Recurrent Units) et les LSTM (Long Short Term Memory).

  • Présentation des différents états et des évolutions apportées par ces architectures.

  • Problèmes de convergence et de gradient vanisant

  • Architectures classiques : Prédiction d'une série temporelle, classification ...

  • Architecture de type RNN Encodeur Décodeur. Utilisation d'un modèle d'attention.

  • Applications NLP : encodage de mots/caractères, traduction.

  • Applications vidéo : prédiction de la prochaine image générée d'une séquence vidéo.


Modèles générationnels : AutoEncodeur variationnel (VAE) et Réseaux adversoriels génératifs (GAN).

  • Présentation des modèles générationnels, lien avec les CNNs

  • Auto-encodeur : réduction de la dimensionnalité et génération limitée

  • Auto-encodeur variationnel : modèle générationnel et approximation de la distribution d'une donnée. Définition et utilisation de l'espace latent. Astuce de reparamétrage. Applications et limites observées

  • Réseaux adversoriels génératifs : Principes fondamentaux.

  • Architecture de réseau double (générateur et discriminateur) avec apprentissage alternatif, fonctions de coût disponibles.

  • Convergence d'un GAN et difficultés rencontrées.

  • Amélioration de la convergence : GAN de Wasserstein, début. Distance de déplacement de la terre.

  • Applications pour la génération d'images ou de photographies, la génération de texte, la super-résolution.

Deep Reinforcement Learning.

  • Présentation de l'apprentissage par renforcement : contrôle d'un agent dans un environnement défini

  • Par un état et des actions possibles

  • Utilisation d'un réseau de neurones pour approximer la fonction d'état

  • Deep Q Learning : relecture d'expérience, et application au contrôle d'un jeu vidéo.

  • Optimisation de la politique d'apprentissage. On-policy && off-policy. Architecture de critique d'acteur. A3C.

  • Applications : contrôle d'un jeu vidéo ou d'un système numérique.

Partie 2 - Theano pour Deep Learning

Notions de base sur Theano

  • Introduction

  • Installation et configuration

TheanoFonctions

  • entrées, sorties, mises à jour, données

Entraînement et optimisation d'un réseau de neurones à l'aide de Theano

  • Modélisation d'un réseau neuronal

  • Régression logistique

  • Couches cachées

  • Formation d'un réseau

  • Calcul et classification

  • Optimisation

  • Perte logarithmique

Tester le modèle


Partie 3 - DNN utilisant Tensorflow

TensorFlow Notions de base

  • Création, initialisation, sauvegarde et restauration TensorFlow des variables

  • Alimenter, lire et précharger les données TensorFlow.

  • Comment utiliser l'infrastructure TensorFlow pour entraîner des modèles à l'échelle

  • Visualisation et évaluation des modèles avec TensorBoard

Mécanique TensorFlow

  • Préparer les données

  • Télécharger

  • Entrées et espaces réservés

  • Construire les graphes

    • Inférence

    • Perte

    • Entraînement

  • Entraîner le modèle

    • Le graphique

    • La session

    • Former la boucle

  • Évaluer le modèle

    • Construire le graphique d'évaluation

    • Sortie de l'évaluation

Le perceptron

  • Fonctions d'activation

  • L'algorithme d'apprentissage du perceptron

  • Classification binaire avec le perceptron

  • Classification de documents avec le perceptron

  • Limites du perceptron

Du perceptron aux machines à vecteurs de support

  • Les noyaux et l'astuce du noyau

  • Classification à marge maximale et vecteurs de support

Artificiel Neural Networks

  • Limites de décision non linéaires

  • Réseaux neuronaux artificiels de type feedforward et feedback

  • Perceptrons multicouches

  • Minimisation de la fonction de coût

  • Propagation vers l'avant

  • Propagation arrière

  • Améliorer le mode d'apprentissage des réseaux neuronaux

Réseaux convolutifs Neural Networks

  • Goals

  • Architecture du modèle

  • Principes

  • Organisation du code

  • Lancement et formation du modèle

  • Évaluation d'un modèle

Des introductions de base seront données aux modules ci-dessous (une brève introduction sera fournie en fonction du temps disponible) :

Tensorflow - Utilisation avancée

  • Threading et files d'attente

  • Distribué TensorFlow

  • Ecrire Documentation et partager votre modèle

  • Personnaliser les lecteurs de données

  • Manipuler TensorFlow les fichiers de modèle


TensorFlow Servir

  • Introduction

  • Tutoriel de base sur le service

  • Tutoriel de service avancé

  • Tutoriel sur le modèle de début de service

Pré requis

Formation en physique, mathématiques et programmation. Participation à des activités de traitement d'images.

Les délégués doivent avoir une compréhension préalable des concepts d'apprentissage automatique et avoir travaillé sur la programmation et les bibliothèques Python.

 35 Heures

Nombre de participants


Prix ​​par Participant

Nos clients témoignent (5)

Cours à venir

Catégories Similaires