A propos des NPU, des TOPS et de l’IA marketing en général

Les processeurs embarqués dans les ordinateurs aujourd’hui proposent des capacités de calcul liées à l’IA. Elles sont souvent proposées sous l’angle le plus flatteur. Soit en mettant en avant leur NPU qui est l’unité de calcul spécialisée dans cette tâche, soit en affichant une compétence de calcul globale. Par exemple un Core Ultra 9 285H d’Intel proposera 99 TOPS au total, en employant toutes ses ressources pour cela : processeur, circuit graphique qui calculera à lui seul 77 TOPS sur le total et son circuit AI Boost spécialisé, le fameux NPU.

Les puces Arrow Lake embarquent un NPU 13 TOPS

En solo, cette unité dédiée seule ne propose que 13.1 TOPS seulement. Ce qui est inférieur aux demandes de Microsoft pour pouvoir qualifier ce PC à une certification « Copilot+ ». Ce qui m’amène à quelques réflexions.

Une bonne partie La totalité des marques de MiniPC s’intéressent à l’IA aujourd’hui, ce qui semble logique puisque tout le monde s’intéresse à l’IA. J’ai reçu des communiqués de presse pour des réfrigérateurs pilotés par IA ou des batteries optimisées par IA. Comme me dit un copain aux US : « s’il n’y a pas écrit IA dans ta présentation de produit, ce n’est pas la peine de lancer tes slides. ». Et il est donc logique de voir d’un côté Microsoft ou Google qui essayent de tirer la couverture avec les marques « Copilot » et « Gemini » et de l’autre des fabricants d’ordinateurs tenter d’appâter le public avec des spécifications orientées pour mettre en valeur leurs capacités de calcul en IA.

Et je remarque un truc assez drôle avec tout cela. L’intérêt pour des standards comme « Copilot+ » n’intéressent les marques que dans la mesure où leur PC sera utilisé par le grand public et uniquement si leur machine atteint les 40 TOPS de puissance réclamés par Microsoft pour être certifiée « Copilot+ ». Si c’est bien le cas, alors le constructeur le fait clairement savoir. Ils n’ont rien à perdre à l’indiquer sur leur marketing. L’idée est de profiter du rebond du matraquage publicitaire de Microsoft pour vendre leurs engins.

Copilot veut être l’agent conversationnel de votre PC Windows avec les mêmes arguments qu’Internet Explorer, une installation par défaut

Mais si leurs PC est équipé d’un NPU ne correspondant pas au standard de Microsoft, qui ne propose donc pas un NPU déployant 40 TOPs, cela n’empêche absolument pas les marques d’indiquer que leur produit est « prêt pour l’IA ». D’abord parce que pour Intel comme pour AMD, leurs puces en sont tout à fait capables. Ensuite et surtout parce que les marques se fichent pas mal des recommandations spécifiques de Microsoft. Et si l’engin n’est pas « Copilotable », il n’en reste pas moins apte à beaucoup de choses en termes de calcul d’IA. Ce scénario qui consiste à regarder ailleurs quand on n’atteint pas les standards est classique. C’est ce que font tous les fabricants depuis toujours.

Mais là où c’est drôle pour l’IA, c’est quand le matériel vendu dépasse le cadre de ce que veut Microsoft. Windows a toujours donné le LA en termes d’usages informatiques grand public, c’est beaucoup moins vrai pour les machines spécialisées. Et l’Intelligence Artificielle cristallise ce constat de manière très crue. Dès que les 40 TOPS sont dépassés, ce n’est plus Windows qui est mis en avant mais directement l’outil IA que l’on va employer localement. Et c’est le LLM DeepSeek qui est le plus souvent porté par les marques. Le fait qu’un MiniPC propose un NPU spécialisé minimal mais puisse fournir au final beaucoup plus en capacité au global permet de sauter par-dessus le marketing de Microsoft pour aller mettre directement en avant des tâches plus avancées. Les constructeurs savent qu’ils s’adressent alors à des experts et n’ont alors plus aucun complexe de communication.

C’est d’autant plus amusant que, très clairement, le grand public ne s’intéresse pas spécialement aux usages locaux de l’IA sur PC. Ou plutôt, elle n’a pas attendu Copilot+ et ses copains pour flouter son arrière-plan en vidéo conférence, améliorer une photo ou enlever un bruit de fond d’un enregistrement sonore. On fait ça depuis des années maintenant.

Pour terminer mes digressions sur l’IA.

Je me rends compte que pour beaucoup d’utilisateurs, les termes TOPS ou INT restent des acronymes incompréhensibles. Le fonctionnement de l’Intelligence artificielle est complexe, mais les notions de base sont faciles à acquérir.

TOPS signifie « Trillions Operations Per Second » que l’on traduirait logiquement par trillions d’opérations par seconde. Mais un détail à son importance. Le Trillion est traduit différemment en France et aux USA. En France, un Trillion, c’est un milliard de milliards. Aux USA le mot « Trillion » désigne ce que chez nous, on appelle un « Billion ». Soit mille milliards. 13 TOPS c’est donc 13 000 milliards d’opérations par seconde.

La grosse différence entre un NPU et un CPU, entre la puce spécialisée dans ces calculs et un processeur classique, c’est sa capacité à traiter des tâches en parallèle. Imaginons que vous ayez à compter combien d’allumettes sont tombées par terre après avoir fait tomber la boite. Un processeur classique va les compter une par une ou 4 par 4 si elle a 4 cœurs. Mais elle mettra les tâches les unes à la suite des autres, ce qui va prendre du temps. Le NPU lui va compter l’ensemble des allumettes en parallèle, toutes en même temps, si elle a assez de TOPS. Un NPU avec 2 TOPS pourra compter 2 000 milliards d’allumettes en une seconde.

Et c’est très logique car les besoins d’un processeur classique suivent un chemin d’abord tracé par les développeurs du logiciel. On a besoin des calculs d’un premier élément pour continuer à calculer la suite. Pour un NPU cela n’est pas la même chose, les calculs sont effectués en parallèle, parce qu’ils sont indépendants les un des autres. C’est pour cela que Nvidia est si performant sur ce segment, ses circuits graphiques ont été pensés pour calculer de cette manière. Chaque cœur CUDA d’une carte graphique GeForce s’occupe de calculer un élément d’affichage dans son coin. Une réflexion lumineuse ou le déplacement d’un des trois points d’un triangle quand on déplace un objet en 3D à l’écran est calculé de manière indépendante. Une carte graphique GeForce RTX 4090 propose par exemple 1300 TOPS de puissance de calcul. Les puces dédiées de la marque ont simplement repris cette capacité graphique pour l’optimiser pour des calculs purement orientés vers l’Intelligence Artificielle.

À noter, une petite information importante tout de même pour finir, les TOPS sont souvent accompagnés d’un élément qui les qualifie. Les INT. Cette seconde indication, généralement notée en INT4 (4-bits) ou INT8 (8-bits), indique la précision du calcul pour parvenir à ce nombre d’opérations par seconde. Pour aller très vite, une machine qui proposera 10 TOPS INT8 fera donc 10 000 milliards d’opérations par seconde sur des entiers 8 bits. Cet élément est parfois important, car cela impacte la précision des calculs. Un nombre de TOPS indiqué en INT8 réfèrera à un calcul plus précis qu’un nombre identique de TOPS indiqué en INT4.

Cela ne brosse qu’à grands traits le tableau complexe des circuits spécialisés de l’IA, mais donnera une petite idée de ce qu’il se cache derrière ces chiffres. Et cela permet également de les relativiser. Car on se rend compte que la « normalisation » voulue par Microsoft est surtout basée sur son partenariat avec Qualcomm pour le lancement de ses PC sous SoC ARM « Copilot+ ». Les 40 TOPs demandés correspondent à ce que les puces Qualcomm Snadragon Elite pouvaient proposer alors. Un score loin devant ce qu’embarquaient les concurrents x86 Intel et AMD au moment de l’annonce et à des kilomètres derrière les capacités des cartes graphiques déjà en vente depuis des années.

On comprend que ce chiffre ne correspond pas à un usage réel au quotidien, tout simplement parce qu’aucun logiciel grand public ou presque ne les prenait alors en compte. Pour vous donner une idée, 5 TOPS vous suffisent largement à flouter votre arrière-plan lors d’une conversation en visioconférence ou à exécuter un filtre d’amélioration de votre voix en éliminant les bruits parasites. D’un autre côté, 40 TOPs ne seront pas suffisants, très loin de là, pour entrainer une IA à une tâche. Et toute exploitation d’une IA de génération d’image vous orientera vers le choix d’un PC avec, non pas un NPU, mais bien une carte graphique. Tout simplement parce que ces cartes offriront beaucoup plus de puissance et l’avantage d’une mémoire dédiée.

Bref, avant de vous enflammer pour un PC parce qu’il proposerait une compatibilité « IA », des tas de TOPS ou la présence absolument nécessaire de telle ou telle certification, il est toujours important de bien définir vos besoins. Un PC avec un gros score NPU apparaitra peut-être comme un investissement plus perenne sans qu’il ne soit forcément l’allié dont vous avez réellement besoin.

Microsoft annonce Copilot+, une IA intimement mêlée à Windows