Le développeur Kim Namhyun benchmarke six LLM locaux sur des tâches d'agents IA

Kim Namhyun, développeur et auteur sur Dev.to, a publié un benchmark évaluant six modèles de grands langages (LLM) locaux dans des tâches d'agents IA complexes. Les tests, menés le 28 février 2026 sur un serveur Ubuntu virtuel (3,8 Go de RAM, 20 Go de SSD), utilisent Ollama, un runtime d'inférence locale, et le framework Androi Agent (Node.js + pipeline Python). Cinq scénarios réels, totalisant 39 vérifications, mesurent la correction des résultats finaux plutôt que la simple invocation d'outils. Ce benchmark met l'accent sur des tâches multi-étapes impliquant plus de 10 outils comme la recherche web, l'exécution Python, la gestion de fichiers, l'e-mail et le calendrier. Par exemple, le scénario U01, « Global Asset Rebalancing Advisor » (9 vérifications), simule un conseil pour rééquilibrer un portefeuille avec 50 actions Samsung Electronics, 0,1 BTC, 3 000 dollars et 1 once d'or. Contrairement aux évaluations académiques traditionnelles comme MMLU ou HumanEval, qui se concentrent sur des métriques théoriques, cette approche valide les chaînes d'outils complètes et l'adhésion aux instructions. Les résultats désignent GPT-oss-20B comme meilleur global pour sa vitesse et sa précision, Qwen3-8B Q8 comme meilleur rapport qualité-prix (92 % de succès avec seulement 8 milliards de paramètres en 377 secondes), et Qwen3.5-27B pour ses analyses les plus approfondies (4 scores parfaits). Le code de test et les résultats complets sont disponibles dans tests/testultimateextreme.py et tests/model_benchmark.md. Ces évaluations soulignent l'importance de la consommation VRAM minimale pour les utilisateurs finaux soucieux de confidentialité. Les développeurs peuvent désormais choisir des LLM locaux en tenant compte de la complétion des chaînes d'outils, de la vitesse de réponse et de la précision réelle, favorisant les déploiements sur hardware personnel.