Paramètre
Poids ou biais modifié pendant l’entraînement.
Il fait partie du modèle sauvegardé.Les réglages appris du modèle
Que sont les paramètres d’un modèle d’IA ?
Les paramètres sont des valeurs numériques apprises pendant l’entraînement. Ensemble, elles déterminent comment le modèle transforme une entrée en résultat.
Image simpleImaginez des milliards de petits curseurs ajustés pour que les prédictions deviennent moins mauvaises.
0,017−0,421,080,003−1,310,740,29−0,0062,110,53… des millions ou milliards d’autres valeurs
L’atelier des poids
Voyez comment trois paramètres changent un résultat
Ce mini-modèle immobilier est fictif. Il sert uniquement à rendre visible le rôle des poids.
Appris, pas écrit un par un
L’entraînement cherche des valeurs utiles
Les concepteurs définissent la structure et l’objectif du modèle. Ensuite, l’algorithme compare les prédictions aux résultats attendus et modifie progressivement les paramètres pour réduire l’erreur.
Personne ne règle manuellement des milliards de valeurs. Elles émergent des données, de l’objectif d’apprentissage et de la méthode d’optimisation.
- 1
Prédictionle modèle utilise ses valeurs actuelles
- 2
Erreurle résultat est comparé à l’objectif
- 3
Correctionles paramètres sont légèrement ajustés
- 4
Répétitionle processus recommence sur de nombreux exemples
Quatre notions à ne pas mélanger
Tout réglage n’est pas un paramètre
Hyperparamètre
Réglage de conception ou d’entraînement, comme le rythme d’apprentissage.
Il guide la façon d’apprendre.Contexte
Messages, instructions et documents utilisés pour la réponse actuelle.
Il ne change pas forcément le modèle.Réglage de génération
Température, longueur ou stratégie utilisée au moment de répondre.
Il influence la sortie sans réentraîner le modèle.Le piège du grand nombre
Plus de paramètres ne veut pas automatiquement dire meilleur
Un modèle plus grand peut représenter davantage de relations, mais sa qualité dépend aussi des données, de l’architecture, de l’entraînement, des outils, de l’évaluation et de la tâche demandée.
- davantage de capacité ;
- des comportements plus variés ;
- une meilleure adaptation à certaines tâches complexes.
- plus de mémoire et de calcul ;
- plus de coût et de consommation ;
- un déploiement plus difficile.
Ce que les nombres contiennent
Les connaissances sont réparties dans le réseau
Une information n’est généralement pas rangée dans un paramètre unique comme dans une cellule de tableur. Des régularités sont distribuées entre de nombreuses valeurs et activations.
Conséquence
On ne peut pas toujours ouvrir le modèle et retrouver directement la phrase ou la source exacte qui a influencé une réponse.
formecontexterelationstylefréquencepositionrésultat produit
Comparer intelligemment
Six questions plus utiles que le seul nombre de paramètres
- 01
Sur quelle tâche ?
Un modèle spécialisé peut battre un modèle généraliste. - 02
Avec quelles évaluations ?
Les résultats doivent correspondre à l’usage réel. - 03
Avec quelles données ?
Qualité, diversité, droits et actualité comptent. - 04
À quel coût ?
Latence, énergie, matériel et prix d’usage. - 05
Avec quelles garanties ?
Confidentialité, contrôle, documentation et sécurité. - 06
Dans quel format ?
Compression et quantification peuvent réduire la mémoire nécessaire.
Quatre idées à corriger
Un paramètre n’est ni un fait ni un neurone biologique
Il n’existe pas de correspondance simple entre une valeur et un fait.
L’utilisation ordinaire modifie surtout le contexte, pas nécessairement les poids du modèle.
La tâche, l’évaluation et les contraintes réelles comptent davantage.
Certaines techniques réduisent la taille avec une perte limitée selon l’usage.
Sources de référence
Pour approfondir
Ces ressources distinguent paramètres et hyperparamètres et expliquent comment les poids et biais sont optimisés.
La suite logique
Découvrez comment des nombres peuvent représenter le sens et la proximité.
Comprendre une notion
Gardez le fil de votre apprentissage.
Une étape courte et clairement reliée à ce que vous venez de lire.