Le grand modèle local
Faire tourner LLaMA 70B en local.
LLaMA 3.3 70B, c’est le niveau « cabinet » : raisonnement approfondi, dossiers complexes, tout chez vous. Ce guide dit combien de mémoire il faut et quelle machine choisir.
Notre conseil
Le point clé
Combien de mémoire pour un modèle de 70 milliards de paramètres ?
Un LLaMA 70B quantifié en Q4 (la qualité courante pour du 70B local) occupe environ 40 à 45 Go de mémoire pour le seul modèle. Il faut y ajouter le contexte des documents branchés et la génération de réponse — comptez une marge confortable au-delà, surtout pour de gros documents.
C'est pour ça que nos configurations 70B embarquent 128 Go de mémoire unifiée : de la marge pour charger plusieurs modèles ou exécuter des agents sans ralentir.
Mesures publiées
Un 70B dense en pratique : ce que disent les mesures.
LMSYS (13/10/2025) a mesuré Llama 3.1 70B (FP8, logiciel SGLang) sur un DGX Spark : 803 tokens par seconde pour lire la question et les documents, 2,7 tokens par seconde pour écrire la réponse. À ce rythme, une réponse de 300 tokens prend près de 2 minutes. LMSYS conclut que ce type de charge convient au prototypage et à l'expérimentation plutôt qu'à la production, et prévient que ses chiffres peuvent vieillir avec les mises à jour logicielles.
La raison : pour écrire chaque token, la machine relit tous les poids du modèle en mémoire. Sur un modèle dense de 70 milliards de paramètres, c'est la bande passante mémoire qui limite l'écriture.
Les modèles « à experts » réduisent cette limite : gpt-oss-120b compte 117 milliards de paramètres, mais n'en active que 5,1 milliards par token, selon OpenAI. Le banc d'essai publié par le projet llama.cpp (05/02/2026) le mesure à 58,7 tokens par seconde en écriture sur un DGX Spark.
À protocole égal, Tom's Hardware (30/07/2026) mesure l'écriture d'un Mac Studio M4 Max 1,5 fois plus rapide que celle d'une machine GB10 (la puce du DGX Spark) et 1,6 fois plus rapide que celle d'un Ryzen AI Max+ 395 (la puce du GMKtec EVO-X2) sur gpt-oss-120b. Sur Gemma 4 12B, un modèle dense, l'écart monte à 1,8 et 2,26 fois. Pour lire un long prompt, la puce GB10 reste devant. Le Mac Studio du catalogue est un M5 Max (614 Go/s), plus récent que le M4 Max testé (546 Go/s) : ce test ne le mesure pas.
Mesures publiées par des tiers, relevées le 15/10/2026. Elles ne garantissent pas le débit sur votre machine : version du logiciel, quantification et longueur des documents changent les chiffres.
Les configurations
Trois chemins vers LLaMA 70B.
GMKtec EVO-X2 128 Go
Lire →
Mac Studio M5 Max 128 Go
Lire →
DGX Spark 128 Go
Lire →
À savoir
Questions fréquentes
Llama 70B en local : les questions qui reviennent
128 Go suffisent-ils pour plusieurs utilisateurs ?
Windows ou macOS pour du 70B ?
Quel débit réel sur ma machine ?
À lire aussi
Pour continuer
Guide
Mistral en local
Lire →
Guide
Quelle machine selon mon budget ?
Lire →
Comparatif
DGX Spark ou Mac Studio ?
Lire →
Prêt à dimensionner votre 70B ?
Le diagnostic identifie vos usages et le format de machine adapté.
