Jetson Orin Nano : Nvidia propose une SBC spécialisée dans l’IA

La carte Jetson Orin Nano se présente comme un ordinateur intégré dans un format de carte de développement, à l’instar des célèbres Raspberry Pi. Ce n’est pas vraiment une nouveauté pour Nvidia qui propose ce type d’équipement depuis des années. Ce qui change ici, c’est la volonté derrière le matériel embarqué. Une volonté qui s’analyse dès la découverte de son prix.

On commence par quelques données techniques, afin de savoir de quoi on parle, mais ce n’est pas le plus important ici. La Nvidia Jetson Orin Nano est toujours basée sur l’architecture Ampère de la marque, elle embarque 1024 cœurs CUDA et 32 Tensor Core pour sa partie graphique. Son cœur de calcul est confié à une solution ARM 6 cœurs Cortex A78AE cadencés à 1.7 GHz. La mémoire vive grimpe à 8 Go de LPDDR5 avec une bande passante de 102 GB/s. La partie stockage est double avec un lecteur de cartes MicroSDXC très classique d’un côté, mais également deux ports M.2 2280 NVMe pour des stockages et des débits plus conséquents. Le premier propose un format NVMe PCIe Gen3 X4 et le second un Gen3 X2.

La carte propose par ailleurs un module Wi-Fi5 et Bluetooth monté sur un troisième port M.2 2230 et une connectique typique des cartes de développement : double MIPI CSI-2 destiné à accepter deux flux vidéo, quatre ports USB 3.2 Type-A, un USB Type-C, un Ethernet Gigabit, une sortie vidéo au format DisplayPort ainsi que les 40 broches classiques du monde des cartes de développement destinées à supporter des extensions externes. L’alimentation est assurée par un jack.

Un ensemble de 12 broches permettra de connecter des boutons pour interface la carte avec un panneau de commande et un ventilateur est fourni, alimenté par une broche 4 fils adaptable. L’ensemble mesure en tout 10.3 cm de large pour 9.05 cm de haut et 3.47 cm d’épaisseur en comptant le système de refroidissement âssif. 5.9 cm d’épaisseur avec le ventilateur.

Le tout consomme 25 watts ce qui est très peu si l’on met en face les capacités de calcul développées par la carte. La nouvelle solution offrira 67 TOPS de puissance de calcul, c’est 70% de plus que le précédent modèle. Et c’est là qu’on entre dans le cœur du projet de Nvidia. 

Une carte Jetson Orin Nano 1.7 fois plus rapide pour moitié moins cher ?

Anciennement vendue à 499$ dans sa version la plus évoluée (les cartes Nano 4 et 8 Go de base coutaient entre 199 et 299$), la SBC est désormais proposée à 249$. Parallèlement à cela, la puissance de calcul en Tera Operations par Seconde, les fameux TOPS qui servent à étager les propositions dédiées à l’Intelligence Artificielle, sont augmentées de 70%. Le tout sur un marché dans lequel il n’y a pas pour le moment une énorme concurrence.

Il y a là un souci logique si on considère le bain normal dans lequel ces produits sont plongés. Pourquoi Nvidia aurait la volonté de sabrer son prix par deux tout en multipliant les performances de son produit s’il n’y a pas de produit équivalent actuellement sur le marché. Si on se réfère à une simple logique classique du monde capitaliste, l’engin aurait dû, soit garder son tarif de base de 499$, soit augmenter son prix. 

Je n’ai pas eu vent de solution concurrente annoncée ou en passe d’être annoncée dans les trimestres à venir. Par contre, on voit que Nvidia commence à avoir des produits en face de son offre de supercalculateurs à destination des entreprises développant des produits IA. Les machines qui servent à piloter les outils en ligne comme Chat-GPT sont presque toutes fournies par Nvidia et c’est le moteur de leur croissance gigantesque ces dernières années. 

Comment faire pour que le marché continue d’investir en masse dans des solutions Nvidia et non pas chez des concurrents ? C’est assez simple, il faut que l’écosystème soit constamment irrigué de nouvelles idées, de nouveaux développements, d’outils innovants qui s’appuient sur l’architecture de la marque. Il faut innerver l’ensemble par la base. Faire en sorte que les étudiants d’aujourd’hui, les laboratoires de recherche, les développeurs en tous genres se servent de cette matrice pour piloter leurs idées et leurs programmes. De telle sorte que, quand ils arrivent sur le marché du travail ou qu’ils développent un nouvel algorithme, cela soit sur cette architecture précise.

Si demain le prochain Chat-GPT-like fonctionne sur une Jetson Orin Nano de Nvidia, alors il pourra être porté sur un serveur de Nvidia. Il sera évidemment beaucoup plus performant sur le serveur qui coute une fortune, mais la logique de programmation sera la même. 

On peut imaginer ici assez facilement que Nvidia veuille proposer ses outils à tous les développeurs de la planète intéressés par l’IA pour qu’ils puissent inventer les applications de demain avec son écosystème.

Les fonctions IA de DaVinci Resolve se passent de NPU

Vers une généralisation d’usages d’IA plus intéressants ?

2024 a tout de même été une année assez étonnante sur le sujet de l’intelligence artificielle. Alors que tout le monde n’a fait que parler d’IA, que divers acteurs ont conditionné leurs logiciels sous réserve d’une certaine puissance en TOPs, que les fabricants de processeurs mettaient l’accent sur les NPU embarqués et leurs performances, quasiment aucun programme n’est sorti en local en tirant parti de ces fonctionnalités. Pire, on sait que les NPU de première génération intégrés par AMD et Intel étaient suffisants pour qu’un outil les prenne véritablement en compte.

J’ai eu des conversations hallucinantes avec différents acteurs m’expliquant en quoi l’usage d’un NPU pour permettre une reconnaissance de visage ou un traitement basique était révolutionnaire alors que ces fonctionnalités sont présentes depuis des années et des années sur des PC classiques, sans NPU et sans que l’acronyme IA ne revienne en boucle.

J’utilise des outils de ce type depuis longtemps, comme tout le monde quand on fait de la vidéo ou de la retouche d’image. Les éléments qui permettent de faire du tracking d’objet en vidéo pour les effacer par exemple, utilisent des algorithmes de ce type depuis des années. Si cela s’est accéléré ces derniers temps, je pense à la génération de sous-titres par exemple avec DaVinci Resolve de Blackmagic, c’est en comptant sur les capacités des cartes graphiques et en particulier des cœurs CUDA. Les développeurs ont su trouver les ressources pour développer de nouveaux outils alors que les processeurs n’étaient pas à même d’y faire face. 

Les NPU processeurs dont on a mal à voir l’intérêt encore aujourd’hui

C’est peut-être cela le plus étonnant avec ces derniers trimestres. On nous a vendu de l’IA à tous les étages, aussi bien logiciellement que matériellement, mais sans nous proposer quoi que ce soit qui vaille la peine d’un point de vue utilisation. Rien qui n’existait pas déjà avant. De là à dire qu’on nous a mis la charrue avant les bœufs ne serait qu’un euphémisme de la réalité. Avec les premiers NPU et des propositions comme la fameuse touche Copilot de Microsoft on nous a vendu des roues en prétendant qu’il s’agissait d’une charrue complète. Et les bœufs n’étaient même pas encore dans l’étable pour tirer le tout.

L’arrivée de ce type d’outils, la Jetson Orin Nano et probablement d’autres solutions de ce type, devrait permettre d’inventer de futurs usages plus locaux. En espérant que ces propositions aient enfin un peu plus d’indépendance que les outils en ligne.