RDTRL
- NLP
- Reinforcement Learning
- Research
- Language Models
Banc expérimental testant si un réseau de neurones peut apprendre à produire du langage à partir d'une simple récompense scalaire, avec des poids initiaux aléatoires, sans pré-entraînement ni paires entrée/sortie. Les espaces de recherche sont assez petits pour être énumérés exhaustivement : masse de validité, modes effectifs, optimum de Gibbs et structure conditionnelle sont calculés exactement plutôt qu'estimés. Le Test 1 (copier une phrase fixe) montre que le succès vient de la décomposabilité de la récompense, pas de la recherche elle-même. Le Test 2 (grammaire écrite à la main, jugée par un parseur déterministe) atteint 99,9% de grammaticalité sans aucune règle apprise — mais les deux « succès » se révèlent vides à y regarder de près. Le Test 3 (jeu référentiel à deux agents) conclut que seule la paramétrisation du réseau produit de la compositionnalité, jamais sélectionnée par l'entraînement lui-même. v0.5.0, cinq rounds de relecture externe par Dipankar Sarkar.
Chiffres clés
- 99,9%
- Grammaticalité (Test 2)
- 3
- Tests
- 5
- Relectures Sarkar
- v0.5.0
- Version
Comment ça marche
Récompense scalaire, zéro supervision
Poids initiaux aléatoires, sans pré-entraînement, sans paires entrée/sortie : le réseau n'apprend qu'à partir d'une récompense scalaire. Les espaces de recherche restent assez petits pour être énumérés exhaustivement, donc la masse de validité, les modes effectifs, l'optimum de Gibbs et la structure conditionnelle sont calculés exactement — pas estimés.
Test 1 : copier une phrase, pour comprendre pourquoi ça marche
Copier une phrase fixe montre que le succès vient de la décomposabilité de la récompense, pas de la recherche elle-même.
Test 2 : une grammaire, un parseur déterministe, 99,9%
Une grammaire écrite à la main jugée par un parseur déterministe atteint 99,9% de grammaticalité sans aucune règle apprise, et isole la cause de l'effondrement de mode (mode collapse) — un « succès » qui se révèle vide une fois qu'on regarde comment il est obtenu : le réseau se cache dans un sous-langage à un seul nombre où la contrainte d'accord est vide de sens.
v0.3.0 → v0.4.0 : une borne jamais dépassée, qui survit au changement de grammaire
Une politique sans couplage déterminant-nom a un support produit, donc à validité totale, elle est plafonnée par le plus grand produit pleinement valide dans le sous-langage qu'elle atteint. Cette borne n'est jamais dépassée sur 70 runs, atteinte exactement par la moitié d'entre eux — un plateau, pas un bassin. La v0.4.0 confirme que la borne tient face à un changement de grammaire : un lexique à trois genres donne un ratio de 3 au lieu de 2, prédit avant l'expérience et vérifié sans exception sur 70 seeds.
Test 3 : un jeu référentiel à deux agents
27 référents, 27 messages, un émetteur et un récepteur entraînés par renforcement pur. Résultat : la compositionnalité n'a jamais été sélectionnée par l'entraînement — seule la paramétrisation du réseau la rend possible ou impossible. Huit hypothèses réfutées en cours de route, dont le certificat théorique importé du Test 2, qui ne survit pas au passage à deux agents.
Relecture externe : Dipankar Sarkar
La borne du produit est due à Dipankar Sarkar (chercheur indépendant, membre ACM & IEEE, 138+ citations), qui a dérivé les marginales d'ordre 1 indépendamment à partir de l'article publié, puis a montré que les deux coins dégénérés contiennent le même nombre de phrases valides mais pas le même produit maximal. Cinq rounds de ses critiques ont aussi corrigé plusieurs erreurs de méthode, de la couverture des déterminants jusqu'au seuil de significativité du Test 3.