Quand on parle d'intelligence artificielle (IA), on pense généralement à des outils conversationnels tels que ChatGPT, aux générateurs d'images ou aux voitures autonomes. Mais il s'agit d'un domaine vaste, construit au fil de plusieurs décennies de recherche. Ces outils qui nous impressionnent aujourd'hui sont le résultat de nombreuses avancées scientifiques et techniques, dont le deep learning ; une technologie dont les racines remontent aux années 1940. Entre elles et aujourd'hui, il s'est passé plus de soixante-dix années d'essais, de périodes de doute et de rebondissements.

Expliquons rapidement ce qu'est le deep learning

Le deep learning, que l'on peut traduire par « apprentissage profond », est une branche de l'intelligence artificielle qui permet à une machine d'apprendre à partir de grandes quantités de données.

Pour comprendre le principe, imaginons un enfant qui apprend à reconnaître un chat. Au début, il observe des centaines de chats différents. Certains sont grands, d'autres petits. Certains ont les poils longs, d'autres les poils courts. À force d'observation, son cerveau identifie progressivement des caractéristiques communes qui lui permettent de reconnaître un chat même lorsqu'il en voit un qu'il n'a jamais rencontré auparavant.

C'est pratiquement la même chose pour le deep learning. Au lieu de programmer une machine avec une liste précise de règles, on lui montre un grand nombre d'exemples. En analysant ces données, elle apprend elle-même à repérer des motifs, des formes ou des relations qui lui permettent ensuite de faire des prédictions ou de prendre des décisions.

Cette approche s'appuie sur des structures appelées réseaux de neurones artificiels. Leur fonctionnement est inspiré, de manière très simplifiée, du cerveau humain. Ces réseaux sont composés de plusieurs couches qui traitent l'information étape par étape. C'est à cause de cette succession de couches qu'on utilse justement le terme « deep » (profond) dans deep learning.

Neural network Un exemple de réseau de neurones avec une seule couche cachée (en bleu) entre les couches d'entrée (en vert) et de sortie (en jaune). - © Wikipedia

Comment fonctionne un réseau de neurones profond ?

Un réseau de neurones artificiel s'inspire, de façon très simplifiée, du fonctionnement des neurones biologiques. Son objectif est d'apprendre à reconnaître des motifs dans des données.

Prenons l'exemple d'un réseau chargé de reconnaître des chats sur des photos. Au départ, il ne sait absolument pas ce qu'est un chat. Les premières images qu'on lui montre donnent donc lieu à des prédictions. Celles-ci seront, pour la plupart, erronées. À chaque tentative, le réseau compare sa réponse au bon résultat. Si une photo de chat est classée comme un chien, il mesure son erreur. Il ajuste alors légèrement son fonctionnement afin d'éviter de reproduire cette même erreur avec les prochaines images. Ce cycle se répète encore et encore, parfois sur des millions d'images. Au fil des corrections, le réseau apprend à repérer les caractéristiques qui distinguent un chat d'un autre animal, sans qu'un humain lui fournisse une liste détaillée de règles.

Concrètement, cet apprentissage repose sur trois éléments :

  • les neurones artificiels (unités de calcul) qui traitent les informations ;
  • les poids (des valeurs numériques) qui déterminent l'importance accordée à chaque information et sont ajustés pendant l'apprentissage ;
  • les fonctions d'activation (fonctions mathématiques) qui décident quelles informations sont transmises à l'étape suivante.

Le mécanisme qui permet d'ajuster les poids s'appelle la rétropropagation du gradient. Un nom un peu intimidant, mais le concept est simple : le réseau remonte ses erreurs, couche après couche, pour corriger progressivement ses calculs. À force de répétitions, il devient de plus en plus performant.

Deep learning et machine learning : quelle différence ?

Le deep learning est une méthode particulière de machine learning, ou apprentissage automatique. La différence entre les deux approches se trouve dans la manière dont la machine apprend.

En effet, quand on parle de machine learning, au sens classique du terme, l'humain joue un rôle important dans la préparation des données. Il doit indiquer à l'algorithme quelles informations sont pertinentes pour résoudre un problème. Par exemple, pour apprendre à reconnaître une voiture sur une image, on pouvait lui fournir des éléments comme la forme, la couleur ou certains détails spécifiques à rechercher.

Mais avec le deep learning, cette étape est automatisée. Le réseau de neurones analyse directement les données brutes et apprend lui-même à identifier les éléments importants. Il peut découvre, au cours du processus, des motifs simples, comme des lignes ou des textures, puis les combine pour reconnaître des objets plus complexes. En contrepartie, cette approche demande beaucoup plus de données et de puissance de calcul pour être efficace.

Les grandes familles de réseaux de neurones profonds

Le terme « deep learning » regroupe en réalité plusieurs architectures. Au fil des années, les chercheurs ont développé différentes architectures, chacune pensée pour répondre à des besoins particuliers. Certaines sont particulièrement adaptées aux images, d'autres au texte, au son, etc.

Type de réseau Sigle Données adaptées Exemple d'usage
Réseau de neurones convolutif CNN Images, vidéos Reconnaissance faciale, imagerie médicale
Réseau de neurones récurrent RNN / LSTM Séquences, texte, série temporelle Traduction automatique, prévision
Réseau antagoniste génératif GAN Génération de contenu Création d'images réalistes
Transformeur Transformer Texte et de plus en plus tout type de données Grands modèles de langage, ChatGPT

Les CNN (réseaux convolutifs) sont dédiés aux images. Ils analysent d'abord de petits détails visuels, comme des contours ou des textures. Ensuite, ils assemblent progressivement ces informations pour reconnaître des objets complexes.

Les RNN (réseau de neurones récurrent), et notamment leur évolution appelée LSTM (cellule de longue mémoire à court terme), sont adaptés aux données où l'ordre des informations est important. Ils ont longtemps été utilisés pour des tâches comme la traduction automatique ou la reconnaissance vocale, car ils peuvent prendre en compte le contexte précédent dans une séquence.

Les GAN (réseau antagoniste génératif) reposent sur une idée originale : faire travailler deux réseaux l'un contre l'autre. Le premier crée du contenu, tandis que le second tente de distinguer ce qui est réel de ce qui est généré. Avec le temps, cette compétition permet au générateur de produire des résultats de plus en plus réalistes.

Enfin, les Transformers ont marqué un tournant majeur dans l'histoire récente de l'intelligence artificielle. Introduits en 2017, ils utilisent un mécanisme appelé attention qui leur permet d'analyser les relations entre les différents éléments d'une séquence. Cette approche est devenue la base de nombreux modèles modernes capables de comprendre et de générer du texte.

À quoi sert le deep learning ?

Le deep learning est aujourd'hui présent dans de nombreux outils que nous utilisons chaque jour, sans même nous en rendre compte.

Domaine Exemples d'utilisation
Vision par ordinateur Reconnaissance faciale, tri automatique de photos, analyse d'images médicales, détection d'obstacles pour les véhicules autonomes
Traitement du langage naturel Traduction automatique, correction de texte, résumé de documents, assistants conversationnels comme ChatGPT
Reconnaissance et synthèse vocale Transcription automatique, assistants vocaux, sous-titrage en temps réel, génération de voix réalistes
IA générative Création d'images, de texte, de musique, de vidéos ou de code à partir d'instructions en langage naturel
Recommandation et personnalisation Suggestions de films, de séries, de musiques ou de produits adaptées aux préférences de chaque utilisateur
Santé et recherche scientifique Aide au diagnostic, découverte de médicaments, prédiction de la structure des protéines, analyse de données biologiques

Si les domaines d'application sont aussi nombreux, c'est parce que le deep learning est capable d'apprendre à partir de plusieurs types de données (images, texte, sons, vidéos, mesures scientifiques).

Quel que soit le domaine, le principe reste le même. Le réseau de neurones est entraîné sur un très grand nombre de données afin d'apprendre à reconnaître des régularités. Une fois cet apprentissage terminé, il est capable d'analyser de nouvelles données qu'il n'a jamais rencontrées auparavant et de produire un résultat pertinent. C'est ce qui explique pourquoi le deep learning est devenu l'une des technologies les plus importantes de l'intelligence artificielle moderne.

L'histoire du deep learning

Les premières idées remontent aux années 1940, mais il faudra près de soixante-dix ans de recherches, d'échecs, de découvertes et de progrès technologiques avant que le deep learning ne transforme l'intelligence artificielle.

Frise chronologique du deep learning

1943-1958 : les débuts, entre neurosciences et mathématiques

L'idée d'imiter le cerveau avec des circuits remonte à 1943, lorsque Warren McCulloch et Walter Pitts proposent un modèle mathématique de neurone artificiel. En 1949, Donald Hebb formule une règle d'apprentissage qui explique comment les connexions entre neurones biologiques se renforcent avec l'usage. C'est cette idée qui inspirera plus tard les algorithmes d'apprentissage.

En 1957, le psychologue Frank Rosenblatt conçoit le perceptron au Cornell Aeronautical Laboratory, le premier réseau de neurones artificiel capable d'apprendre à reconnaître des motifs simples à partir d'exemples. Sa première démonstration publique a lieu en 1958, sous l'égide de l'Office of Naval Research américain, la même année que la publication de l'article fondateur de Rosenblatt. L'annonce fait sensation ! Le New York Times le présente comme l'embryon d'une machine capable un jour de marcher, de parler et de penser par elle-même.

1969-1985 : l'hiver de l'IA

L'enthousiasme retombe brutalement en 1969. Dans leur livre Perceptrons, Marvin Minsky et Seymour Papert démontrent mathématiquement qu'un perceptron à une seule couche ne peut pas résoudre certains problèmes pourtant très simples, comme la fonction logique XOR. Cela contribue fortement au désintérêt pour les réseaux de neurones. À cela s'ajoutent des promesses trop ambitieuses et des progrès plus lents qu'espéré, qui entraînent une réduction des financements de la recherche en intelligence artificielle.

1986-1989 : la renaissance grâce à la rétropropagation

Le tournant survient en 1986. David Rumelhart, Geoffrey Hinton et Ronald Williams publient un article qui popularise la rétropropagation du gradient. C'est une méthode qui permet d'entraîner efficacement des réseaux de neurones à plusieurs couches, les fameux perceptrons multicouches. Cette technique répond directement à la limite pointée par Minsky et Papert. Elle permet enfin de faire apprendre des réseaux profonds.

Dès 1989, Yann LeCun applique concrètement cette méthode aux laboratoires Bell. Il combine réseaux convolutifs et rétropropagation dans un système baptisé LeNet, capable de reconnaître des caractères manuscrits. Ce système sera ensuite utilisé pour lire automatiquement des chèques bancaires aux États-Unis, l'une des toutes premières applications commerciales du deep learning.

1990-2011 : deux décennies de progrès discrets

Malgré ces avancées, la puissance de calcul et le volume de données disponibles restent insuffisants pour exploiter pleinement le potentiel des réseaux profonds. Le domaine reste en retrait derrière d'autres méthodes de machine learning jugées plus fiables à l'époque, comme les machines à vecteurs de support, introduites en 1995.

Des progrès importants continuent néanmoins en coulisses. En 1997, Sepp Hochreiter et Jürgen Schmidhuber inventent le LSTM, une architecture de réseau récurrent capable de mémoriser des informations sur de longues séquences, aujourd'hui encore largement utilisée pour le texte et la parole. En 2006, Geoffrey Hinton montre qu'il est possible de pré-entraîner des réseaux profonds couche par couche. Une avancée qui relance l'intérêt scientifique. C'est aussi à partir de ces travaux que l'expression « deep learning » devient largement utilisée dans la communauté scientifique. En 2009, la chercheuse Fei-Fei Li lance ImageNet, une base de données de plusieurs millions d'images annotées, qui deviendra le carburant indispensable de la révolution suivante.

2012 : AlexNet et le big bang du deep learning

Le 30 septembre 2012 marque un tournant décisif. Un réseau de neurones baptisé AlexNet, conçu par Alex Krizhevsky, Ilya Sutskever et Geoffrey Hinton à l'université de Toronto, remporte le concours international de reconnaissance d'images ImageNet avec une marge d'avance spectaculaire : un taux d'erreur de 15,3 %, contre 26,2 % pour le deuxième du classement.

Trois ingrédients rendent cette victoire possible :

  • un réseau profond à huit couches ;
  • la base de données ImageNet, avec plus d'un million d'images ;
  • et la puissance de calcul des cartes graphiques, initialement conçues pour les jeux vidéo, mais parfaitement adaptées aux calculs massifs et parallèles du deep learning.

Cette combinaison prouve, pour la première fois à grande échelle, que le deep learning surpasse nettement les méthodes classiques sur des tâches complexes. À partir de cette date, l'intérêt pour le deep learning explose dans la recherche comme dans l'industrie.

2014-2017 : la diversification des architectures

Les années suivantes voient fleurir de nouvelles architectures. En 2014, Ian Goodfellow invente les GAN, ces paires de réseaux qui s'affrontent pour générer des contenus de plus en plus réalistes. En 2015 et 2016, le système AlphaGo de DeepMind bat successivement des champions professionnels de jeu de Go, une discipline jugée jusque-là hors de portée des machines en raison de son immense complexité combinatoire.

[!NOTE] AlphaGo bat le champion européen Fan Hui en 2015, puis Lee Sedol en 2016.

En 2017, des chercheurs de Google publient l'architecture Transformer, qui change durablement la manière de traiter le langage par les machines. Ceci grâce à un mécanisme d'attention qui permet d'analyser une phrase entière d'un coup, plutôt que mot par mot. Cette architecture deviendra la base de tous les grands modèles de langage actuels.

2020 à aujourd'hui : l'ère de l'IA générative grand public

En 2020, OpenAI publie GPT-3, un modèle de langage d'une taille alors inédite, capable de générer des textes remarquablement cohérents. Fin 2022, ChatGPT met cette technologie à la portée du grand public sous forme conversationnelle. L'outil est rapidement adopté par le grand public.

Depuis, les IA génératives capables de produire du texte, des images, du son ou de la vidéo à partir de simples instructions écrites se multiplient et s'intègrent à un nombre croissant d'outils du quotidien.

Les limites et défis actuels du deep learning

Les progrès du deep learning ont transformé de nombreux domaines, mais cette technologie est loin d'être parfaite. Ses performances ne doivent pas faire oublier plusieurs défis importants qui restent encore ouverts aujourd'hui.

Des modèles difficiles à expliquer

L'une des principales limites du deep learning est son fonctionnement, qui est parfois difficile à interpréter. En effet, tn réseau de neurones profond peut analyser des millions de paramètres pour produire une réponse. Mais il est souvent compliqué de comprendre précisément le cheminement qui l'a conduit à cette décision.

Ce manque de transparence, appelé effet « boîte noire », devient particulièrement problématique dans certains domaines tels que la médecine, la finance ou la justice.

[!NOTE] L'effet boîte noire désigne un système ou un programme qui donne des résultats sans expliquer comment il les a obtenus.

Une forte dépendance aux données

Les réseaux de neurones apprennent à partir d'exemples. Vous l'aurez compris, la qualité de leurs résultats dépend directement de la qualité des données utilisées pendant leur entraînement.

Si ces données contiennent des erreurs ou des biais, le modèle risque de les reproduire, voire de les amplifier. Par exemple, un système de reconnaissance d'images entraîné sur un ensemble de données peu diversifié peut être moins performant sur certaines catégories de personnes ou situations.

Un coût matériel et énergétique important

Les modèles de deep learning les plus avancés nécessitent des quantités considérables de puissance de calcul. Leur entraînement mobilise des milliers de processeurs spécialisés ; et cela peut s'étendre sur plusieurs semaines ou plusieurs mois.

Cette demande en ressources pose des questions économiques et environnementales, notamment en ce qui concerne la consommation d'énergie et l'accès aux infrastructures nécessaires pour développer ces modèles.

Des erreurs encore fréquentes

Même les modèles les plus performants peuvent se tromper. Les systèmes génératifs, comme les grands modèles de langage, peuvent produire de fausses informations tout en les formulant de manière convaincante. On parle dans ce cas d'« hallucination ».

Un modèle de deep learning ne comprend pas le monde de la même manière qu'un humain. Il apprend des régularités à partir de données et génère des résultats à partir de ce qu'il a appris.

Petit Glossaire

  • Réseau de neurones : ensemble d'unités de calcul organisées en couches, inspiré du fonctionnement du cerveau.
  • Rétropropagation : algorithme qui ajuste les poids d'un réseau en propageant l'erreur de la sortie vers l'entrée.
  • GPU : carte graphique, utilisée pour ses capacités de calcul parallèle massif indispensables à l'entraînement des réseaux profonds.
  • Modèle de langage : réseau de neurones entraîné à prédire et générer du texte, base des IA conversationnelles actuelles.
  • CNN : le réseau de neurones convolutifs (ou Convolutional Neural Network en anglais) est une architecture de deep learning qui imite le système visuel humain. Les CNN sont spécialisés dans l'analyse des images et des vidéos pour reconnaître, classer ou détecter des objets.
  • RNN : le réseau de neurones Récurrent est une architecture de deep learning pécialisée dans le traitement des données qui se suivent (séquentielles), comme le texte ou les mesures météo.
  • LSTM : (pour Long Short-Term Memory) architecture RNN qui traite mieux les données séquentielles comme le texte ou le son. Contrairement au RNN qui oublie vite (vanishing gradient problem), le LSTM sait retenir l’essentiel des informations importantes sur le long terme.
  • GAN : est une architecture de deep learning qui entraîne deux réseaux neuronaux à se faire concurrence afin de générer de nouvelles données plus authentiques à partir d'un jeu de données d'entraînement donné.

Sources / Pour aller plus loin