Le grand modèle local

Faire tourner LLaMA 70B en local.

LLaMA 3.3 70B, c’est le niveau « cabinet » : raisonnement approfondi, dossiers complexes, tout chez vous. Ce guide dit combien de mémoire il faut et quelle machine choisir.

Faire mon diagnostic IA →Voir les configurations 70B

Le point clé

Combien de mémoire pour un modèle de 70 milliards de paramètres ?

Un LLaMA 70B quantifié en Q4 (la qualité courante pour du 70B local) occupe environ 40 à 45 Go de mémoire pour le seul modèle. Il faut y ajouter le contexte des documents branchés et la génération de réponse — comptez une marge confortable au-delà, surtout pour de gros documents.

C'est pour ça que nos configurations 70B embarquent 96 ou 128 Go de mémoire unifiée : de la marge pour charger plusieurs modèles ou exécuter des agents sans ralentir.

Les configurations

Trois chemins vers LLaMA 70B.

EXPERT 70B

Mini-PC 128 Go de mémoire unifiée, Ryzen AI Max+ 395. Pour un usage seul ou une petite équipe, sans salle serveur. Si vos besoins montent vers du 120B et plus, la DGX Spark prend le relais.

Lire →

DGX Spark 128 Go

La bande passante mémoire la plus élevée du catalogue — un atout pour l’inférence sur un modèle dense. Pertinent si votre équipe travaille déjà sous macOS. Commande constructeur, délai à prévoir.

Lire →

DGX Spark 128 Go

128 Go de mémoire unifiée, écosystème CUDA complet (PyTorch, vLLM, fine-tuning). Pertinent pour une machine partagée par plusieurs utilisateurs, ou pour grossir vers des modèles plus lourds.

Lire →

À savoir

Le débit dépend surtout de la bande passante mémoire, pas de la puissance de calcul brute. Nous ne publions pas de benchmark avant livraison : il est mesuré à distance sur votre machine et consigné au procès-verbal de recette.

Questions fréquentes

Ce qu’on nous demande le plus souvent.

96 Go suffisent-ils pour plusieurs utilisateurs ?

Ça dépend du nombre de sessions simultanées et de la longueur des documents traités : le modèle occupe l’essentiel de la mémoire, chaque session ajoute sa part. Le diagnostic dimensionne ce point sur vos usages réels.

Windows ou macOS pour du 70B ?

EXPERT 70B et DGX Spark tournent sous Windows 11 Pro ou Linux. Le Mac Studio est réservé à macOS — pertinent si votre équipe y travaille déjà.

Quel débit réel sur ma machine ?

Il dépend du modèle, de la quantification et de vos usages. Nous ne publions pas de chiffre avant la livraison : le débit est mesuré à distance sur votre machine et consigné au procès-verbal de recette.

Prêt à dimensionner votre 70B ?

Le diagnostic identifie vos usages et le format de machine adapté.

Faire mon diagnostic IA →Voir les configurations 70B Comparer DGX Spark et Mac Studio