AG-BPE (Attention-Guided Byte-Pair Encoding)
Featured- NLP
- Tokenization
- Python
- Transformers
Tokéniseur qui combine BPE et attention Transformer multi-couches pondérée (v4) pour des décisions de fusion sémantiquement cohérentes. Compression 3,85x, décodage 0,03ms, zéro OOV dur sur du texte multilingue (français, coréen, symboles mathématiques, emojis).
Chiffres clés
- 3
- Stars
- 1K
- Views
- 1K+
- Downloads
- 0
- Citations
- 3,85x
- Compression
- 0,03ms
- Décodage
Détails techniques
Attention pondérée multi-couches
Un ContextAnalyzer à 6 couches Transformer (12 têtes, dimension 768) calcule un score d'attention par paire de caractères sur chaque couche, agrégé avec des poids appris qui privilégient les couches profondes — plus sémantiquement riches. Le score de fusion final combine fréquence brute et attention pondérée (λ = 1000).
Robustesse multilingue parfaite
Zéro token hors-vocabulaire "dur" sur un corpus de test mêlant français, coréen (안녕하세요), symboles mathématiques et emojis — malgré un entraînement uniquement sur corpus français. Exemple : AG-BPE segmente correctement "cor|éen" là où GPT-2 casse le mot en "cor|é|en".
Benchmark contre GPT-2, BERT, T5 et tiktoken
Avec un vocabulaire de 18 000 tokens, AG-BPE v4 obtient le meilleur ratio efficacité/taille (0,0149 par Ko) parmi les tokeniseurs de production testés, et un décodage 20 à 30 fois plus rapide que GPT-2, BERT-base ou T5-base.
Pensé pour la production
Nettoyage Unicode avancé (normalisation NFKC, filtrage par catégories Unicode), checkpoints automatiques toutes les 1000 fusions avec reprise sur panne, gestion mémoire adaptative (échantillonnage à 100K contextes pour éviter les OOM) et sauvegarde double format (binaire + JSON lisible).