Aurait-on découvert une « loi des gaz parfaits » de l’intelligence artificielle ? Quand on trace la performance des modèles en fonction du calcul, des données et du nombre de paramètres, sur une échelle logarithmique, tous semblent buter sur la même droite : les lois d’échelle.

Welch Labs retrace les articles d’OpenAI de 2020, GPT-3, l’article « Chinchilla » de DeepMind, GPT-4, et les tentatives d’explication de cette frontière, comme celle fondée sur la dimension de la variété des données (en anglais).

Voir aussi : ma méditation « La vie avant l’intelligence », l’illusion de la pensée.

Vidéo de Welch Labs.