CPU, GPU ou NPU : de quoi une application d’IA industrielle a-t-elle réellement besoin ?

Avec le développement de l'IA industrielle et de l'Edge AI, trois acronymes reviennent régulièrement dans les caractéristiques des plateformes de calcul : CPU, GPU et NPU.

Ils sont parfois comparés uniquement à travers leur puissance de calcul.

Pourtant, cette comparaison peut être trompeuse.

Un CPU, un GPU et un NPU ne sont pas conçus pour exécuter les mêmes types de traitements de la même manière.

Pour sélectionner une plateforme destinée à la vision industrielle, à l'inférence IA ou au traitement Edge, la première question ne devrait donc pas être : « Quel processeur est le plus puissant ? »

Mais plutôt : « Quel type de calcul l'application doit-elle réellement exécuter ? »

Ces trois ressources ne sont pas nécessairement concurrentes.

Dans une plateforme industrielle, elles peuvent au contraire fonctionner ensemble.

Le CPU – Central Processing Unit reste le processeur central de la plupart des systèmes informatiques industriels.

Il exécute le système d'exploitation, les applications, les communications et de nombreux traitements généralistes.

Dans un PC industriel, le CPU peut par exemple gérer simultanément :

• Windows ou Linux ;

• une application HMI ou SCADA ;

• des communications réseau ;

• des échanges avec un automate ;

• des accès à une base de données ;

• de l'acquisition de données ;

• des applications métier.

Sa grande force réside dans sa polyvalence.

Il est capable d'exécuter de nombreux types de tâches, même lorsqu'elles présentent des logiques très différentes.

Oui.

Une application utilisant un modèle d'intelligence artificielle ne nécessite pas automatiquement un GPU ou un NPU.

Selon le modèle, la fréquence d'inférence, le volume de données et les performances attendues, un CPU récent peut suffire à exécuter certaines charges IA.

Cela peut être pertinent lorsque :

• le modèle est relativement léger ;

• les inférences sont peu fréquentes ;

• le nombre de flux est limité ;

• aucune contrainte de latence très élevée n'est imposée ;

• le CPU dispose encore de ressources suffisantes.

Ajouter un accélérateur uniquement parce que l'application utilise « de l'IA » n'est donc pas toujours justifié.

Le GPU – Graphics Processing Unit a été initialement développé pour le traitement graphique.

Son fonctionnement fortement parallèle le rend également particulièrement adapté à certains calculs utilisés par l'intelligence artificielle.

Alors qu'un CPU est optimisé pour exécuter des tâches généralistes complexes, un GPU peut traiter un très grand nombre d'opérations en parallèle.

Cette caractéristique devient particulièrement intéressante lorsqu'une application manipule d'importants volumes de données similaires.

Une image contient un grand nombre de données pouvant nécessiter des traitements parallèles.

Lorsqu'une application doit analyser plusieurs images ou plusieurs flux vidéo simultanément, l'accélération GPU peut devenir pertinente.

C'est notamment le cas pour :

• détection d'objets ;

• classification ;

• segmentation d'images ;

• inspection visuelle assistée par IA ;

• analyse vidéo ;

• traitement multi-caméras ;

• modèles de deep learning plus exigeants.

Le CPU continue généralement à gérer le système et l'application tandis que le GPU accélère certaines charges spécifiques.

La présence d'une caméra ne signifie pas automatiquement qu'un GPU est nécessaire.

Le besoin dépend notamment :

• du nombre de caméras ;

• de leur résolution ;

• du nombre d'images traitées par seconde ;

• de la complexité du modèle ;

• du temps de réponse attendu ;

• des traitements réalisés avant et après l'inférence.

Une application monocaméra exécutant un modèle léger n'a donc pas les mêmes besoins qu'un système analysant plusieurs flux haute résolution simultanément.

Le NPU – Neural Processing Unit est conçu spécifiquement pour accélérer les opérations utilisées par les réseaux neuronaux.

Contrairement à un GPU, qui reste capable d'exécuter une large variété de calculs parallèles, le NPU est davantage spécialisé.

Son intérêt majeur réside dans sa capacité à exécuter certaines charges d'inférence avec une efficacité énergétique élevée.

Cette caractéristique est particulièrement intéressante pour les systèmes Edge.

Une plateforme installée directement sur une machine ou dans un équipement compact peut présenter des contraintes très différentes d'un serveur.

Il faut parfois combiner :

• traitement IA local ;

• faible consommation ;

• enveloppe thermique réduite ;

• format compact ;

• fonctionnement fanless.

Dans ce contexte, l'efficacité énergétique devient aussi importante que la puissance de calcul brute.

Un NPU peut alors exécuter la charge IA sans nécessiter systématiquement un GPU discret plus énergivore.

Selon les performances de la plateforme et la compatibilité du modèle, un NPU peut notamment être intéressant pour :

• détection d'anomalies ;

• reconnaissance d'objets ;

• classification ;

• OCR ;

• traitement d'une caméra intelligente ;

• assistance IA locale ;

• applications Edge à faible consommation.

Mais comme pour un GPU, la présence d'un NPU ne garantit pas à elle seule les performances de l'application.

Le logiciel et le modèle doivent pouvoir exploiter l'accélérateur disponible.

Les NPU et accélérateurs IA sont fréquemment comparés à travers leur nombre de TOPS – Tera Operations Per Second.

Cette valeur donne une indication de la capacité théorique de calcul de l'accélérateur pour certains types d'opérations.

Mais comparer deux plateformes uniquement à partir de leur nombre de TOPS est insuffisant.

Les performances réelles dépendent également :

• du modèle utilisé ;

• de la précision numérique ;

• du framework ;

• de l'optimisation du modèle ;

• de la mémoire disponible ;

• de la bande passante mémoire ;

• du logiciel d'inférence ;

• du nombre de flux traités.

Un chiffre de TOPS plus élevé ne garantit donc pas automatiquement une application plus rapide.

Application informatique industrielle classique

HMI, SCADA, communication avec un automate, collecte de données ou accès à une base de données : CPU généralement prioritaire. Un accélérateur IA n'apporte pas forcément de bénéfice.

IA légère et peu fréquente

Une petite inférence exécutée ponctuellement peut parfois être prise en charge directement par le CPU : CPU à évaluer avant d'ajouter un accélérateur.

Vision industrielle exigeante

Plusieurs caméras, traitement d'images important ou modèles de deep learning complexes peuvent nécessiter davantage de parallélisme : GPU à étudier.

Edge AI sous contrainte énergétique

Pour une plateforme compacte devant exécuter localement un modèle IA avec une consommation et une dissipation thermique limitées : NPU à étudier.

Applications très complexes

Certaines applications peuvent exploiter plusieurs ressources simultanément : CPU + GPU, CPU + NPU voire CPU + GPU + NPU peuvent alors coexister dans une même plateforme.

Dans une plateforme de vision industrielle, le CPU et le GPU ont généralement des rôles complémentaires.

Le CPU peut prendre en charge :

• système d'exploitation ;

• application principale ;

• communication automate ;

• réseau ;

• gestion des caméras ;

• logique applicative.

Le GPU peut être utilisé pour :

• prétraitement d'image ;

• inférence ;

• traitement parallèle ;

• modèles de vision plus exigeants.

Le résultat peut ensuite être transmis à l'automate ou à une autre partie du système.

Lorsqu'une plateforme intègre directement un NPU, une autre organisation devient possible.

Le CPU conserve les fonctions générales du système tandis que le NPU exécute les traitements IA compatibles.

Cette architecture peut être particulièrement intéressante pour :

• PC Edge compacts ;

• Panel PC exécutant simultanément une application et de l'IA ;

• systèmes embarqués ;

• équipements fanless ;

• applications soumises à une enveloppe énergétique limitée.

L'intégration de plusieurs types de processeurs dans une même plateforme traduit une évolution importante du calcul industriel.

Le système peut affecter chaque charge au composant le mieux adapté :

• CPU → orchestration et calcul généraliste
• GPU → calcul parallèle intensif
• NPU → inférence IA optimisée

La plateforme ne repose donc plus nécessairement sur un seul processeur exécutant toutes les tâches.

Elle devient hétérogène.

L'enjeu est alors moins de posséder le composant le plus puissant que de répartir correctement les charges.

La sélection d'un accélérateur ne peut pas être faite uniquement à partir des spécifications matérielles.

Un GPU ou un NPU doit être exploitable par l'environnement logiciel utilisé.

Il faut notamment vérifier :

• framework d'IA ;

• runtime d'inférence ;

• pilotes ;

• outils de développement ;

• système d'exploitation ;

• formats de modèles supportés ;

• possibilités d'optimisation.

Une plateforme disposant d'un puissant accélérateur mais incompatible avec la chaîne logicielle du projet peut être beaucoup moins pertinente qu'une solution théoriquement moins performante mais correctement supportée.

Le processeur n'est qu'un élément de la plateforme.

Une application de vision ou d'IA industrielle peut également nécessiter :

• mémoire RAM suffisante ;

• bande passante mémoire adaptée ;

• réseau haut débit ;

• interfaces caméra ;

• USB ;

• Ethernet ;

• extensions PCIe ;

• disque adapté aux volumes générés.

Un GPU très puissant ne compensera pas une architecture incapable d'acheminer suffisamment rapidement les données jusqu'au processeur.

Dans un serveur, il est possible d'utiliser des systèmes de refroidissement importants.

Sur une machine industrielle, l'espace et la ventilation peuvent être beaucoup plus limités.

Un GPU discret peut augmenter fortement :

• la consommation électrique ;

• la chaleur générée ;

• la taille du système ;

• les besoins de refroidissement.

Un NPU intégré peut présenter un autre compromis lorsque l'application doit rester compacte et économe.

Pour un système fanless, la capacité réelle à évacuer la chaleur doit donc être étudiée en même temps que les performances IA.

Ce tableau donne une orientation, pas une règle absolue.

Les performances nécessaires doivent toujours être évaluées à partir du modèle, du nombre de flux et du temps de traitement attendu.

Le choix de l'accélérateur arrive après une décision plus fondamentale.

Si l'application ne nécessite pas de traitement IA local, comparer GPU et NPU n'a probablement pas beaucoup de sens.

Il faut d'abord déterminer où le traitement doit avoir lieu et si une plateforme Edge AI apporte réellement un bénéfice.

Pour approfondir cette première étape, consultez notre guide Edge AI industriel : quand faut-il réellement traiter l'IA en périphérie ?

Dans une application industrielle, surdimensionner la puissance de calcul peut entraîner davantage de consommation, de chaleur, d'encombrement et de coût sans améliorer réellement le fonctionnement de la machine.

La sélection doit donc partir de la charge réelle.

• CPU pour les fonctions généralistes.
• GPU lorsque le parallélisme et la charge de calcul le justifient.
• NPU lorsque l'inférence IA spécialisée et l'efficacité énergétique deviennent prioritaires.

Et lorsque plusieurs types de traitements coexistent, l'architecture peut combiner plusieurs de ces ressources.

La bonne question n'est donc pas :

« CPU, GPU ou NPU : lequel est le meilleur ? »

Mais :

« Quelle ressource doit exécuter chaque partie de mon application ? »