L’intelligence artificielle redessine les contraintes d’exploitation des data centers, mais toutes les charges ne suivent pas la même trajectoire. Selon l’AI Operations Survey 2026 d’Uptime Institute, 53 % des opérateurs interrogés déclarent héberger des charges d’IA. Chris Brown, directeur technique de l’institut, analyse les ressorts de cette évolution : une inférence plus facile à intégrer aux infrastructures existantes, face à un entraînement de grande ampleur favorisé par les capacités des sites hyperscale.
L’inférence s’insère plus facilement dans l’existant
Parmi les opérateurs qui hébergent de l’IA, 73 % accueillent des charges d’inférence et environ deux tiers des charges d’entraînement. Ces activités se recoupent : 55 % des répondants concernés hébergent les deux, contre 18 % uniquement de l’inférence et 12 % uniquement de l’entraînement. Les 15 % restants déclarent d’autres charges d’IA.
Cette présence plus large de l’inférence tient notamment à son profil technique. « Les charges d’inférence tendent à utiliser des clusters plus petits », explique Chris Brown. Elles s’intègrent ainsi plus facilement aux infrastructures électriques et de refroidissement existantes. Pour les exploitants, cette différence conditionne la capacité à accueillir de nouveaux usages sans disposer des mêmes ressources qu’un campus hyperscale.
L’écart entre catégories d’opérateurs reste toutefois marqué. Deux tiers des exploitants de sites hyperscale accueillent simultanément entraînement et inférence, contre environ la moitié des opérateurs de data centers d’entreprise interrogés. Chris Brown attribue cet avantage à leurs capacités électriques, à l’espace disponible et au refroidissement, qui leur permettent de prendre en charge des clusters GPU plus denses et des charges plus exigeantes.
Les grands modèles de langage dominent l’entraînement
Les grands modèles de langage, ou LLM, occupent la première place parmi les charges d’entraînement : 65 % des opérateurs accueillant cette activité en déclarent, devant les modèles de recommandation, à 40 %, et la vision par ordinateur, à 34 %. Plusieurs réponses étant possibles, ces proportions ne constituent pas des catégories exclusives. Chez les opérateurs hyperscale, neuf sur dix déclarent des charges d’entraînement de LLM.
Les durées d’exécution montrent néanmoins que l’entraînement recouvre des réalités très différentes. Parmi les répondants à cette question :
- 40 % situent la durée habituelle d’un traitement entre deux et sept jours ;
- 23 % entre deux et quatre semaines ;
- 25 % à un mois ou davantage ;
- 12 % à une journée ou moins.
Les traitements d’au moins un mois sont davantage associés aux installations hyperscale utilisant de grands modèles propriétaires. À l’autre extrémité, les traitements courts correspondent généralement à l’ajustement de modèles existants (fine-tuning) ou à leur réentraînement avec des données supplémentaires. La seule appellation « entraînement » masque donc des profils d’exploitation très contrastés, de l’adaptation ponctuelle à des campagnes prolongées.
Pour l’inférence, la latence devient un critère d’implantation
Du côté de l’inférence, le temps réel arrive en tête : 57 % des opérateurs concernés déclarent ce type de charge, contre 35 % pour les traitements par lots et 34 % pour l’inférence en périphérie, ou edge inference. Là encore, ces usages peuvent coexister au sein d’une même installation.
La contrainte déterminante n’est donc pas seulement la capacité à accueillir les équipements. Elle concerne aussi le service rendu à l’utilisateur : 70 % des répondants concernés déclarent leurs charges d’inférence sensibles à la latence. « Les temps de réponse des applications sont au cœur de la planification et du placement des charges d’inférence », souligne Chris Brown.
Cette exigence distingue l’inférence des longues campagnes d’entraînement décrites dans l’enquête. Parce qu’elle intervient directement dans les usages, tout délai devient plus perceptible. Le choix du lieu d’exécution doit ainsi tenir compte du temps de réponse attendu, et pas uniquement des ressources électriques et thermiques disponibles.
API, open-weights models et RAG : des arbitrages différents
Pour intégrer l’inférence aux applications existantes, 47 % des opérateurs interrogés déclarent utiliser des modèles de fondation accessibles par API. Par ailleurs, 34 % recourent à l’ajustement de modèles ouverts (fine-tune open-weights models) et 33 % à la génération augmentée par récupération (retrieval-augmented generation) ou RAG. Ces résultats décrivent plusieurs approches d’intégration, sans établir qu’elles s’excluent mutuellement.
L’accès par API offre une voie rapide, avec une charge de mise en œuvre limitée, pour s’appuyer sur une inférence hébergée dans des installations tierces plutôt que de mobiliser l’espace de son propre data center. Mais cette facilité modifie le niveau de maîtrise de l’entreprise. « Vous renoncez à une partie du contrôle sur la confidentialité des données, les coûts et peut-être même les performances », avertit Chris Brown.
Le choix dépasse donc la seule intégration applicative : il engage aussi l’emplacement de l’infrastructure et le contrôle conservé sur le service. L’enquête met ainsi en regard deux logiques : exploiter des ressources dans son propre environnement ou consommer une capacité hébergée chez un tiers, avec les compromis correspondants.
Une spécialisation progressive plutôt qu’un modèle unique
Pour Uptime Institute, l’évolution attendue est celle d’une répartition plus différenciée des charges. Chris Brown anticipe une place croissante de l’inférence dans les data centers d’entreprise, tandis que l’entraînement à grande échelle se concentrerait davantage dans les installations hyperscale disposant d’une plus forte disponibilité électrique. Il s’agit d’une projection, et non d’une séparation déjà achevée entre les deux catégories de sites.
Les installations de toutes tailles font déjà une place à des clusters GPU plus importants et à des densités par rack plus élevées, mais selon des amplitudes différentes. L’enjeu pour les exploitants n’est donc pas seulement d’« accueillir l’IA » : il est de distinguer les profils de charge, leurs durées, leurs besoins de capacité et leurs exigences de réponse. C’est à cette échelle que se dessine l’adaptation des infrastructures, entre concentration de l’entraînement et développement d’une inférence plus largement distribuée.
Source : « Uptime Institute AI Operations Survey Results: Training and Inference », signé Anthony Sbarra
