CIIFragments Studio est agréée CII : récupérez jusqu'à 20 % de vos dépenses en développement logicielEn savoir plus
Retour au blog
IA locale et souveraine : faire tourner un LLM sur vos données sensiblesTech · 6 min

IA locale et souveraine : faire tourner un LLM sur vos données sensibles

IA locale et souveraine : Ollama, vLLM, Mistral, cloud souverain. Comparez coûts, qualité et architecture pour faire tourner un LLM sur vos données sensibles.

KA
Tech Lead

L'IA locale consiste à faire tourner un modèle de langage sur une infrastructure que vous contrôlez, pour que vos documents ne quittent jamais votre périmètre. Pour la santé, le juridique, les RH ou l'industrie, c'est parfois la seule option viable. Voici comment choisir entre Ollama, vLLM, Mistral et cloud souverain, avec les vrais compromis de coût et de qualité.

IA locale, IA souveraine, open source : de quoi parle-t-on ?

Ces trois termes sont souvent confondus, alors qu'ils décrivent trois choses différentes. Une IA locale est un modèle exécuté sur une machine que vous maîtrisez (poste, serveur interne, cluster privé). Une IA souveraine garantit en plus la maîtrise de la juridiction, de l'opérateur et de la réversibilité. Un modèle open source (ou plus exactement open weight) est un modèle dont les poids sont téléchargeables.

Local ne veut pas dire open source

Un LLM local peut très bien utiliser un modèle sous licence restrictive. À l'inverse, un modèle open weight peut tourner chez un hébergeur américain. Les trois critères sont indépendants, et il faut les vérifier séparément.

Point de vigilance : la licence. Certains modèles « ouverts » limitent l'usage commercial ou la redistribution. Lisez-la avant de bâtir un produit dessus.

Ce que recouvre vraiment la souveraineté

La souveraineté ne se résume pas au pays du datacenter. Un fournisseur européen détenu par une maison mère étrangère peut rester exposé au Cloud Act, la loi américaine qui permet aux autorités des États-Unis de demander l'accès à des données détenues par des entreprises américaines, y compris hors de leur territoire.

Quatre questions à poser : qui possède le fournisseur, qui a des accès administrateur, où sont les sauvegardes, et pouvez-vous migrer sans dépendre de lui.

Pourquoi et quand garder ses données chez soi ?

Garder ses données chez soi devient nécessaire quand les documents traités sont réglementés, couverts par le secret des affaires ou contractuellement interdits de sortie. Dans les autres cas, une API bien contractualisée reste souvent acceptable.

RGPD : une contrainte de maîtrise, pas une interdiction

Le RGPD n'interdit pas les API d'IA. Il impose de maîtriser la base légale, le rôle de sous-traitant, les transferts hors Espace économique européen et la durée de conservation des prompts. La CNIL publie des recommandations pratiques sur le sujet.

Une IA locale réduit la surface d'exposition. Elle ne dispense pas de documenter le traitement ni de gérer les habilitations.

Santé, juridique, RH, industrie : les quatre cas les plus fréquents

Chez Fragments Studio, on observe que la demande d'IA locale vient presque toujours de l'une de ces situations :

  • Des données de santé, qui imposent en France un hébergeur certifié HDS (hébergeur de données de santé).
  • Des dossiers clients ou contentieux couverts par le secret professionnel.
  • Des évaluations, paies ou entretiens RH.
  • Des plans, nomenclatures ou procédés industriels relevant du secret des affaires.

AI Act : le local aide, mais ne conforme pas

L'AI Act classe les usages par niveau de risque. Un modèle local ne rend pas un usage conforme : c'est le cas d'usage qui détermine les obligations. En revanche, il facilite la traçabilité, l'audit des journaux et la maîtrise des versions.

Notre guide de conformité AI Act pour les PME détaille ces obligations.

Quelles options en 2026 : Ollama, vLLM, Mistral ou cloud souverain ?

Il n'existe pas d'option unique : Ollama sert à prototyper, vLLM à industrialiser, Mistral fournit des modèles déployables en Europe, et le cloud souverain (OVHcloud, Scaleway) évite d'acheter des GPU. Le bon choix dépend du volume, de la sensibilité et de vos compétences d'exploitation.

Quelles options en 2026 : Ollama, vLLM, Mistral ou cloud souverain ?
OptionAtout principalLimiteUsage recommandé
OllamaInstallation en une commande, API localeConcurrence limitéePrototype, peu d'utilisateurs
vLLMDébit élevé, multi-GPUExploitation plus techniqueProduction multi-utilisateurs
Modèles MistralOpen weight, éditeur européenLicence à vérifier selon le modèleDonnées sensibles, contexte européen
Cloud souverainPas d'achat de matérielCoût récurrent, dépendanceCharge variable, hébergement UE
API propriétaireQualité maximaleFlux de données sortantsDonnées non sensibles

Ollama : le bon outil pour valider un usage

Ollama est un runtime qui télécharge et exécute un modèle en local, avec une API compatible OpenAI. Il permet de tester trois modèles dans la journée. Il n'est pas conçu pour la forte concurrence, la haute disponibilité ou le monitoring fin.

vLLM : le moteur de production

vLLM est un moteur d'inférence qui exploite efficacement la mémoire GPU grâce au continuous batching, c'est-à-dire le regroupement dynamique des requêtes concurrentes. Il expose aussi une API compatible OpenAI. Il demande en échange des compétences en conteneurs, pilotes GPU et supervision.

Mistral : un éditeur européen, deux modes d'usage

Mistral AI propose des modèles via API et des modèles open weight que vous pouvez déployer sur votre propre infrastructure, par exemple avec vLLM. Pour une architecture reposant sur ces modèles, consultez notre page intégration Mistral.

Cloud souverain : OVHcloud et Scaleway

OVHcloud et Scaleway louent des GPU dans des datacenters européens. Vérifiez au moment du projet les certifications (comme SecNumCloud, la qualification de l'ANSSI pour les clouds de confiance) et les garanties contractuelles : elles varient selon les offres.

Nous déployons régulièrement sur OVHcloud, et la logique de déploiement conteneurisé rejoint celle de notre article sur la migration vers ECS Express Mode.

Combien coûte vraiment un LLM local face aux modèles propriétaires ?

Un LLM local est rarement moins cher qu'une API à faible volume : son vrai bénéfice est le contrôle. Selon un comparatif Qovery sur les GPU européens, en dessous d'environ 20 milliards de tokens par mois pour un modèle de classe 70B, l'auto-hébergement relève davantage de la souveraineté que de l'économie.

Le poste GPU : acheter ou louer

Le même benchmark Qovery relève un H100 PCIe à 2,87 € de l'heure chez Scaleway. Pour une machine allumée en continu, cela représente environ 2 000 € par mois, avant stockage et réseau.

L'achat de matériel ne devient rentable que si la charge est stable et fortement utilisée.

Le coût caché : l'exploitation

Le coût humain est le plus souvent sous-estimé. Un service LLM doit être traité comme un service critique :

  • supervision de la saturation GPU et des temps de réponse ;
  • gestion des mises à jour de modèles et tests de non-régression ;
  • sauvegardes, sécurité réseau et gestion des secrets ;
  • astreinte si le service devient indispensable aux équipes.

Notre position est claire : sans personne responsable de l'exploitation, un LLM local devient vite plus coûteux que l'API qu'il remplace.

Qualité : où les modèles propriétaires gardent l'avantage

Les modèles propriétaires restent en général devant sur le raisonnement complexe, la multimodalité et le suivi de consignes longues. Les modèles open weight sont en revanche très compétitifs sur l'extraction, la classification et la synthèse de documents spécialisés.

Ne vous fiez pas aux classements génériques. Construisez un jeu de tests avec vos propres documents anonymisés, et mesurez l'exactitude, le taux d'hallucination, le respect du format, la latence et le coût par requête. Un petit modèle bien choisi bat souvent un gros modèle sur une tâche ciblée.

À quoi ressemble l'architecture d'une IA locale connectée à vos données ?

Une architecture d'IA locale place le modèle derrière une passerelle interne qui gère les droits, la journalisation et l'accès aux documents. Le principe de recherche documentaire est détaillé dans notre article sur le RAG et les données d'entreprise : ici, nous nous concentrons sur l'infrastructure.

Les briques essentielles

Le flux type suit cinq étapes :

  1. L'utilisateur interroge votre application métier.
  2. Une passerelle interne authentifie la requête et applique les droits de lecture.
  3. Le service de recherche documentaire récupère uniquement les documents autorisés.
  4. Le serveur d'inférence (Ollama ou vLLM) exécute le modèle local.
  5. La réponse est journalisée puis renvoyée à l'application.

Les trois règles qui évitent les mauvaises surprises

  • Segmentez le réseau : le serveur d'inférence ne doit pas pouvoir sortir sur Internet sans règle explicite.
  • Respectez les droits existants : le modèle ne doit jamais voir un document que l'utilisateur ne peut pas ouvrir.
  • Versionnez les modèles : chaque changement de modèle passe par vos tests de non-régression.

La bonne approche est souvent hybride : données sensibles sur infrastructure maîtrisée, API externe pour les usages non confidentiels.

Questions fréquentes

Qu'est-ce qu'une IA locale ?

Une IA locale est un modèle de langage exécuté sur une machine ou une infrastructure que vous contrôlez, sans envoyer vos documents à un fournisseur externe. Elle réduit l'exposition des données mais ne dispense pas de documenter le traitement au titre du RGPD.

Quelle est la différence entre IA locale et IA souveraine ?

L'IA locale décrit où le modèle s'exécute. L'IA souveraine ajoute la maîtrise de la juridiction, de l'opérateur et de la réversibilité. Un cloud européen peut être souverain sans être local, et un serveur local peut dépendre d'un modèle ou d'un fournisseur étranger.

Comment faire tourner un LLM sur ses propres données ?

  • Identifiez les données qui ne peuvent pas sortir de votre système d'information.
  • Testez plusieurs modèles open weight avec Ollama sur des documents anonymisés.
  • Passez à vLLM sur GPU dédié ou en cloud souverain pour la production.
  • Ajoutez une passerelle d'accès, la journalisation et la supervision.

Pourquoi l'IA souveraine est-elle importante pour une PME ?

Parce que les données sensibles (santé, contentieux, RH, industrie) engagent la responsabilité juridique de l'entreprise. Maîtriser où elles sont traitées protège aussi le secret des affaires et évite une dépendance exclusive à un fournisseur.

Conclusion

L'IA locale n'est ni une solution universelle ni une économie automatique : c'est un choix de contrôle. Ollama valide un usage, vLLM le met en production, Mistral apporte des modèles déployables en Europe et le cloud souverain évite l'investissement matériel.

Le bon arbitrage repose sur trois variables : la sensibilité de vos données, votre volume de requêtes et la qualité attendue. Commencez petit, mesurez sur vos propres documents, puis dimensionnez.


Lancer votre projet d'IA locale et souveraine

Un LLM sur vos données se décide sur des critères d'architecture, de conformité et de coût. Nous pouvons vous aider à trancher puis à déployer.

Notre contenu vous a été utile ?

Suivez Fragments Studio sur Google

Ajoutez-nous à vos sources préférées : nos articles remontent alors en priorité dans Top Stories, les AI Overviews et l'AI Mode.

Ajouter aux sources préférées

Prêts à donner vie à vos projets ?

Fragments Studio s'occupe de tout : de la stratégie à la mise en production.

Discuter de mon projet
Discuter de mon projet