RDTextract
- Python
- NLP
- LLM
- PyPI
- HTML→Markdown
- Open Source
Extracteur HTML→Markdown conçu pour les corpus d'entraînement LLM. Élimine tout bruit (navigation, publicités, widgets répétés) avec un système de scoring qualité intégré et un fallback JSON-LD pour les pages SPA. Score de 99,3/100 sur le benchmark Tranco top-1 000 .fr — zéro artefact sur les 4 métriques mesurées. Détection multi-langue (FR/EN/ES/DE/IT). Une seule dépendance : beautifulsoup4.
Installation
pip install RDTextractChiffres clés
- 99,3/100
- Score qualité
- 0
- Artefacts
- 672
- Pages testées
- 5
- Langues
- MIT
- Licence
Benchmark comparatif
| Extracteur | Score | 2×bullet | Orphelins | HTTP dump | Para dup |
|---|---|---|---|---|---|
| 🏆RDTextract | 99,3 | 0 | 0 | 0 | 0 |
| html2text | 96,2 | 1 | 148 | 70 | 2 373 |
| trafilatura | 96,1 | 18 | 780 | 10 | 309 |
| markdownify | 85,5 | 0 | 246 | 107 | 5 042 |
Benchmark sur 672 pages Tranco top-1 000 .fr