Platon et l’IA : comment les modèles représentent-ils le monde ? (Artificialis, 4 parties)
Un épisode en quatre parties consacré à l’article The Platonic Representation Hypothesis : les modèles d’IA, quelle que soit leur nature, convergeraient vers une même représentation du monde. L’allégorie de la caverne sert de fil conducteur : les données d’entraînement seraient les ombres d’une réalité sous-jacente. Au passage, les représentations « one-hot » et leurs limites, l’intérêt des représentations distribuées, et différentes méthodes pour les apprendre. 2. Des représentations universelles ? Comment mesurer l’alignement entre deux représentations, pourquoi elles convergent,…