Cadence, Nomade & Focal — LLM français 15M
Featured- NLP
- LLM
- From-Scratch
- Adaptive Computation
- Research
Famille de trois LLM français de 15M de paramètres entraînés from scratch (aucun poids pré-entraîné, aucune dépendance à 🤗 Transformers) sur un unique GTX 1080 Ti, pour étudier les transformers en boucle (recurrent-depth) et le calcul adaptatif par token. Cadence applique 4 fois les 8 blocs Transformer (profondeur effective 32) sans sortie anticipée ; Focal et Nomade y ajoutent une sortie anticipée par token, respectivement à seuil d'entropie absolu et à seuil percentile invariant à la taille du modèle. Résultat : -7% de perplexité de validation pour Cadence (28,9 vs 31,2 baseline), mais aucun des trois modèles ne domine sur tous les critères.
Chiffres clés
- 15M ×3
- Paramètres
- 28,9 (-7%)
- Perplexité (Cadence)
- 425M tokens
- Corpus
- 1× GTX 1080 Ti
- GPU d'entraînement
Le détail de la recherche
Trois façons de boucler un même transformer
Les 8 blocs Transformer (style LLaMA : RoPE, RMSNorm, SwiGLU, QK-Norm) sont appliqués 4 fois — profondeur effective 32 — avec zéro paramètre ajouté au-delà d'un petit embedding de profondeur par itération. Cadence boucle sans sortie anticipée ; Focal arrête un token dès que son entropie de sortie passe sous un seuil fixe (1,0 nat) ; Nomade utilise un seuil percentile (30% des tokens les plus confiants gèlent à chaque itération) — la seule variante dont le critère se transfère à une autre taille de modèle.
Aucun modèle ne gagne partout
Cadence réduit la perplexité de validation de 7% (28,9 vs 31,2 baseline) et est plus cohérente dans le domaine d'entraînement. Focal pousse encore plus loin la cohérence in-domain (44,1) mais s'effondre hors domaine (29,1). Nomade sacrifie la perplexité (31,0, quasi identique à la baseline) pour devenir le seul modèle bouclé qui bat la baseline hors domaine (41,8) et qui invente le moins de noms (0,094). Le compromis in-domain / out-of-domain est le vrai résultat de l'étude, pas un gagnant unique.
Protocole de recherche rapide, pas un run de production
Entraînement from scratch (aucun poids 🤗 Transformers) sur un unique GTX 1080 Ti, avec seulement 20% du corpus d'entraînement (425M tokens au total) sur 2 époques, évalué sur une seule seed (50 prompts × 200 tokens). Les tendances sont cohérentes mais les magnitudes ne sont pas validées statistiquement — traité comme un carnet de laboratoire, pas un benchmark définitif.
Construit sur des épaules connues, sans revendiquer de nouveauté
La famille s'inscrit explicitement dans la lignée d'ACT (Graves, 2016), Universal Transformer (Dehghani et al., 2018), Recurrent-Depth Transformer / Huginn-3.5B (Geiping et al., 2025), CALM (Schuster et al., 2022) et LoopViT (Shu et al., 2026) — avec pour base directe deux études de boucles from-scratch reproduites en français (Kohli et al. 2026, COLM ; Chen 2026). Chaque model card le dit explicitement : « no claim of novelty ».