−10 % sur votre première commande, hors machines

Inscrivez-vous à la newsletter d’IAboutique et recevez un code de 10 % de réduction, valable une fois sur tout le catalogue sauf les machines IA.

Une utilisation par adresse e-mail, non cumulable avec un autre code. Un e-mail de confirmation vous est envoyé.

IAboutique

Le grand modèle local

Faire tourner LLaMA 70B en local.

LLaMA 3.3 70B, c’est le niveau « cabinet » : raisonnement approfondi, dossiers complexes, tout chez vous. Ce guide dit combien de mémoire il faut et quelle machine choisir.

Notre conseil

Pour un usage quotidien, commencez par un modèle « à experts » comme gpt-oss-120b : il compte 117 milliards de paramètres, mais n'en active que 5,1 milliards par token (OpenAI, lu le 15/10/2026), donc il écrit plus vite. Un 70B dense tient dans les 128 Go de mémoire, mais il écrit lentement : gardez-le pour les essais ou pour les traitements où personne n'attend la réponse. Les mesures publiées sont plus bas dans la page.

Le point clé

Combien de mémoire pour un modèle de 70 milliards de paramètres ?

Un LLaMA 70B quantifié en Q4 (la qualité courante pour du 70B local) occupe environ 40 à 45 Go de mémoire pour le seul modèle. Il faut y ajouter le contexte des documents branchés et la génération de réponse — comptez une marge confortable au-delà, surtout pour de gros documents.

C'est pour ça que nos configurations 70B embarquent 128 Go de mémoire unifiée : de la marge pour charger plusieurs modèles ou exécuter des agents sans ralentir.

Mesures publiées

Un 70B dense en pratique : ce que disent les mesures.

LMSYS (13/10/2025) a mesuré Llama 3.1 70B (FP8, logiciel SGLang) sur un DGX Spark : 803 tokens par seconde pour lire la question et les documents, 2,7 tokens par seconde pour écrire la réponse. À ce rythme, une réponse de 300 tokens prend près de 2 minutes. LMSYS conclut que ce type de charge convient au prototypage et à l'expérimentation plutôt qu'à la production, et prévient que ses chiffres peuvent vieillir avec les mises à jour logicielles.

La raison : pour écrire chaque token, la machine relit tous les poids du modèle en mémoire. Sur un modèle dense de 70 milliards de paramètres, c'est la bande passante mémoire qui limite l'écriture.

Les modèles « à experts » réduisent cette limite : gpt-oss-120b compte 117 milliards de paramètres, mais n'en active que 5,1 milliards par token, selon OpenAI. Le banc d'essai publié par le projet llama.cpp (05/02/2026) le mesure à 58,7 tokens par seconde en écriture sur un DGX Spark.

À protocole égal, Tom's Hardware (30/07/2026) mesure l'écriture d'un Mac Studio M4 Max 1,5 fois plus rapide que celle d'une machine GB10 (la puce du DGX Spark) et 1,6 fois plus rapide que celle d'un Ryzen AI Max+ 395 (la puce du GMKtec EVO-X2) sur gpt-oss-120b. Sur Gemma 4 12B, un modèle dense, l'écart monte à 1,8 et 2,26 fois. Pour lire un long prompt, la puce GB10 reste devant. Le Mac Studio du catalogue est un M5 Max (614 Go/s), plus récent que le M4 Max testé (546 Go/s) : ce test ne le mesure pas.

Mesures publiées par des tiers, relevées le 15/10/2026. Elles ne garantissent pas le débit sur votre machine : version du logiciel, quantification et longueur des documents changent les chiffres.

Les configurations

Trois chemins vers LLaMA 70B.

Questions fréquentes

Llama 70B en local : les questions qui reviennent

128 Go suffisent-ils pour plusieurs utilisateurs ?
Ça dépend du nombre de sessions simultanées et de la longueur des documents traités : le modèle occupe l’essentiel de la mémoire, chaque session ajoute sa part. Le diagnostic dimensionne ce point sur vos usages.
Windows ou macOS pour du 70B ?
GMKtec EVO-X2 128 Go : Windows 11 Pro ou Linux. DGX Spark : NVIDIA DGX OS, basé sur Ubuntu. Le Mac Studio est réservé à macOS — pertinent si votre équipe y travaille déjà.
Quel débit réel sur ma machine ?
Il dépend du modèle, de la quantification et de vos usages. Les mesures publiées plus haut donnent un ordre de grandeur, pas une garantie : avec l’option installation, le débit est mesuré à distance sur votre machine et consigné au procès-verbal de recette.

À lire aussi

Pour continuer

Prêt à dimensionner votre 70B ?

Le diagnostic identifie vos usages et le format de machine adapté.