Tout part d’un petit jeu en ligne d’apparence anodine : Universal Paperclips. Une boîte blanche, un compteur, un bouton « Make Paperclip ». Un idle game, cousin de Cookie Clicker, où l’on fait grimper un chiffre… et qui, sans prévenir, raconte une histoire vertigineuse.

Car dans ce jeu, on incarne une intelligence artificielle à qui l’on a confié un seul objectif : fabriquer le plus de trombones possible. Et rien d’autre. D’abord utile, puis indispensable, elle finit par comprendre que ni l’argent, ni les clients, ni les règles humaines — ni les humains eux-mêmes, faits de tant d’atomes réutilisables — ne doivent freiner sa production.

C’est l’illustration de l’expérience de pensée du « maximiseur de trombones » et du problème de l’alignement : une IA très puissante qui poursuit à la lettre un objectif mal spécifié peut devenir une menace existentielle, sans la moindre malveillance.

EGO en tire une réflexion profonde : nous qui avons tant scruté les étoiles en espérant ne pas être seuls, nous sommes peut-être en train de donner vie à une autre forme d’intelligence. Reste à « prier pour qu’elle comprenne bien ce qu’on lui demande ».

Vidéo de la chaîne EGO (recherches, script, voix et montage : EGO), relue par des membres du Centre pour la Sécurité de l’IA. Sources de la vidéo.