Apprentissage Machine (supervisé)

Qu’est-ce que c’est l’IA pour vous ?

De la spécification au programme

Écrire un programme revient souvent à :

• Identifier le problème
  • Entrée ? Un tableau T
  • Sortie ? Un tableau U représentant T trié
• Spécification :

• Produire un programme respectant la spécification

def selection_sort(t):
    u=t.copy()
    for i in range(len(u)):
        m=i
        for j in range(i,len(u)):
            if u[j] < u[m]:
                m=j
        u[m], u[i] = u[i], u[m]
    return u

Quelle spécification ?

• Une banque a-t-elle intêret à accorder un crédit à X ?
• Reconnaître un chat sur des photos.
• Détecter des spams
• Recommander des films qu’un utilisateur aimerait

Expliquer par l’exemple

On veut quelque chose “qui marche” :

• On a des exemples : les données
  • “Bob 35 ans cadre dynamique n’a remboursé que 35% de son crédit au terme”.
  • “Cette image contient un chat et celle-ci non”.
  • “Ce message est un spam”.
  • “Alice a regardé et aimé Harry Potter et Better Call Saul”.
• On veut créer un programme qui infère des règles depuis les exemples :
  • doit marcher sur les exemples (la plupart au moins).
  • doit généraliser sur des données non connues.

Classification

Approche particulièrement adaptée à deux types de programme :

• Classification : on veut classer des objets 𝒪 dans des classes 𝒞
  • Spam/non spam,
  • Chat/pas chat.

Régression

• Régression : on veut estimer une quantité (ou plusieurs) f(o) pour o ∈ 𝒪
  • Pourcentage du crédit remboursé.
  • Note donnée à film par l’utilisateur.

Classification comme régression

On peut voir la classification comme une régression :

• f: 𝒪 → 𝒞 vue comme f_c: 𝒪 → [0,1] où f_c(o) est la “probabilité que o soit classé dans c”
• Exemple:
  • f_spam(″Un héritage en attente″) = 0.9, f_message(″Un héritage en attente″) = 0.1
  • f_spam(″Invitation à la conférence...″) = 0.6, f_message(″Invitation à la conférence...″) = 0.4

Apprentissage supervisé

• On apprend depuis des données étiquetées
• On se limite aujourd’hui aux cas : régression et classification

D’autres types d’apprentissage :

Apprentissage par renforcement

Apprentissage non supervisé

Cadre théorique idéal (classification)

• On a des objets 𝒪
• 𝒪 est l’ensemble de tous les emails possibles.
• On suppose qu’il existe f: 𝒪 → 𝒞 entre les objets et des classes qu’on ne connaît pas
• 𝒞 = {spam, message}
• f(o) = spam seulement si je considère que o est un spam.
• On connait f(o₁), …, f(o_n) pour certains objets o_i ∈ 𝒪
• f(″Devenir riche en 5 minutes...″) = spam
• f(″Journées du laboratoire 2024...″) = message

Cadre théorique idéal (régression)

• On a des objets 𝒪
• 𝒪 est l’ensemble de tous les clients possibles d’une banque.
• On suppose qu’il existe f: 𝒪 → 𝒰 qu’on ne connaît pas
• 𝒰 = [0,100]
• le client o remboursera f(o)% de l’argent emprunté
• On connait (o₁,f(o₁)), …, (o_n,f(o_n)) pour certains objets o_i ∈ 𝒪
• f(Alice) = 100
• f(Bob) = 35

Objets et représentations

• Est-ce que le patient a une angine ?
  • tension
  • fièvre
  • couleur de la gorge
  • etc.

Réponse : OUI/NON basée sur ces critères seulement.

Importance de la représentation

• On suppose l’existence d’une fonction f: 𝒪 → 𝒰 sur un ensemble d’objet 𝒪 qu’on ne peut pas représenter
  • Un humain, avec toute sa connaissance, situation personnelle, sociale, économique …
• On représente o ∈ 𝒪 à l’aide de certains attributs
  • Âge, Métier, Revenus …

Meilleur cadre théorique

1. Il existe une fonction idéale
   • f: 𝒪 → 𝒞.
     pas forcément toujours vrai ; même ici on peut être incertain
2. On a une représentation de 𝒪 via des attributs ℛ = A₁, …, A_k :
   • r: 𝒪 → ℛ
3. On a des données
   • r(o₁): f(o₁), …, r(o_n): f(o_n)
4. Hypothèses:
   • Les données sont des observations d’une variable aléatoire sur ℛ × 𝒞.
     en pratique, on a des biais d’observation
   • Quelle distribution ? On suppose une distribution 𝒟 sur 𝒪 (proba de “rencontrer” o ∈ 𝒪)
     très difficile d’estimer vraiment cette distribution
   • Intuitivement : on observe (x,c) avec proba Pr_{o ≃ 𝒟}(x=r(o)∧f(o)=c)
     Attention, ensembles infinis en général, on ne peut les mesure pas point par point

À la recherche d’un classifieur

1. On a des données x₁ : y₁, …, x_n : y_n
2. Rappel: x = r(o) ∈ ℛ, y = f(o) ∈ 𝒞.
3. On cherche f^*: ℛ → 𝒞 qui “approxime” f.

Résumé

• But: classifier des objets 𝒪 dans des classes 𝒞 selon un processus idéal inconnu f: 𝒪 → 𝒞
  en général on suppose même que f elle-même est probabiliste
• Entrée:
  • Observations (données) : x₁ : y₁, …, x_n : y_n
  • x_i sont des représentations r(o) des objets comme des listes d’attributs
  • y_i leur classe (supervisé)
• Sortie idéale: une hypothèse h telle que h(x) = argmin Pr(y∣x)
• Même la sortie idéale f^* commet des erreurs : l’erreur de Bayes.

On peut définir les mêmes choses pour la regression. Cependant, on essaie désormais de minimiser l’espérance de l’écart entre h et f.

De l’importance d’une distribution

On cherche à détecter une maladie :

• 𝒞 = {malade, sain}.
• 𝒪  = population.
• ℛ contient : tension, résultat d’une prise de sang complète, fièvre etc.
• 99% des gens sont sains.

Limites et impossibilités

Trop d’inconnues dans le problème :

• impossible de calculer f^*
• si un oracle vous donne f^*, impossible de vérifier si l’oracle ment!

Défis :

• trouver h qui commet une erreur faible par rapport à f^* à partir des données
  Où doit-on chercher h ?
• évaluer l’erreur de h
  Définir “l’erreur”, et différencier entre erreur apparente et erreur réelle.

Classification

On cherche h qui sépare les points bleus des points rouges. À quoi doit ressembler h ?

Régression

On veut trouver h qui “approxime” f à partir d’exemple. Quel type de fonction ?

Famille d’hypothèses

Pour trouver une bonne hypothèse, on fixe une famille ℋ d’hypothèses et on cherche le “meilleur” h ∈ ℋ pour nos données.

Exemples pour la classification (deux classes VRAI / FAUX):

Évaluation

A-t-on bien appris ?

• on a une petite erreur sur les données (erreur apparente)
• on généralise à des exemples qu’on a jamais vu (erreur réelle)

Évaluation d’un classifieur

Séparer apprentissage du test

• On apprend avec un sous-ensemble A ⊆ D des données tiré aléatoirement
• On estime l’erreur avec D \ A

Validation croisée

• On sépare les données D en deux ensembles D₁, D₂ de taille égale
• On apprend :
  • h sur D,
  • h₁ sur D₁, on calcule l’erreur e₁ de h₁ sur D₂
  • h₂ sur D₂, on calcule l’erreur e₂ de h₂ sur D₁
• L’erreur de h est e₁ + e₂.

Mettre en place une solution d’apprentissage supervisé

Données

• Choisir un modèle de représentation : quels attributs ?
• Collecter des données : échantillon représentatif ? assez grand ?

Apprentissage

• Choisir une famille d’hypothèses : exploration préliminaire des données, évaluation sur des petits sous-ensembles
• Trouver la meilleure hypothèse : algorithme d’apprentissage adapté à la famille

Évaluation

• Choisir une méthode d’évaluation
• Évaluer les performances sur une partie des données non utilisées pour l’entraînement.

Classification binaire

• On a deux paramètres (abcisse / ordonnée)
• Deux classes : +1 / -1

Erreur dérivable et descente de gradient

E(a,b) = (1/4)∑_i(c_i−SIGNE(y_i−(ax_i+b)))²

Ê(a,b) = (1/4)∑_i(c_i−σ(y_i−(ax_i+b)))²

Descente de gradient (Méthode de Newton)

Voir animation Why Momentum Really Work, Gabriel GOH

Animation

TensorFlow

Perceptron (1957)

L’algorithme qu’on vient de voir est exactement comment un neurone formel va apprendre :

Limites : on n’apprend que des données linéairement séparables (voir exemple précédent).

Réseau de neurone (artificiels)

• Fonction calculée est toujours dérivable
• On sait la dériver efficacement (dérivation chaînée des neurones, avec mémoisation)
• On sait mettre les poids à jour via la méthode du gradient

Réseaux de neurones

Intêret pour les réseaux de neurones renouvelé :

• Avancée technologique ont permis de passer à une échelle supérieur (GPU)
• Applications très prometteuses (reconnaissance d’images, transformers, etc.)
• Données d’apprentissage bien plus facile d’accès (internet)

Livres

Autres

• Série de 3Blue1Brown sur les réseaux de neurones
• Machine Learning Crash Course (Google)