SemiAccurate a dégainé l’artillerie lourde et publie un papier à charge à l’encontre de Qualcomm au sujet de ses nouveaux Snapdragon X Elite et X plus. Le site indique avoir reçu des témoignages variés mettant en cause les chiffres des performances avancés pour ces puces.
Une accusation lourde contre les Snapdragon X et Qualcomm
SemiAccurate n’est pas un site très connu de ce côté-ci de la planète, mais c’est un vétéran de la galaxie tech aux US, avec une équipe resserrée et très technique. Charlie Demerjian qui écrit l’article sur Qualcomm est un de ses co-fondateurs et ses écrits ne sont donc pas à prendre à la légère. Quand on pilote un media depuis longtemps, écrire quelque chose de grave sur une marque aussi puissante peut avoir des impacts très sévères. Il est donc logique de créditer ces informations d’un certain poids.
Pour être clair et direct, l’accusation portée sur Qualcomm est simple. La marque aurait menti sur les performances annoncées de ses puces Snapdragon X Elite et Snapdragon X Plus. Un mensonge exercé vis à vis de la presse mais également de ses partenaires. Cela se traduirait par plusieurs remontées différentes recueillies par le site.
So what are they cheating on? The short version is that the numbers that they are showing to the press and are not achievable with the settings they claim. Charlie Demerjian
D’abord des partenaires de Qualcomm, des marques qui vont intégrer des SoC Snapdragon X dans des machines portables, n’arriveraient pas à reproduire les résultats obtenus et déclarés par les laboratoires de Qualcomm. Scores essentiellement liés à des tests de type Benchmarks et censés indiquer des niveaux de performances élevés. Pour rappel, à niveau de consommation égal, le Snapdragon X Plus le plus rapide a été indiqué comme 37% plus véloce qu’un Intel Core Ultra 7 144H ou un AMD Ryzen 9 7940HS. En baissant les performances de ses SoC, Qualcomm annonce être au niveau de ses concurrents tout en consommant moitié moins d’énergie. Ces affirmations cumulées avec des résultats de tests synthétiques classiques présentés en faveur de Qualcomm ont créé une position attentive du public qui espère voir débarquer sous Windows le même « miracle » technologique que celui provoqué par l’arrivée des solutions M1 d’Apple.
Le fait que des constructeurs n’arrivent cependant pas à reproduire ces résultats dans leurs propres machines, en dehors des laboratoires de Qualcomm, est assez inquiétant. SemiAccurate insiste sur ce point, depuis un bon moment déjà, les puces sont présentées à la presse avec des prototypes de portables fabriqués par Qualcomm. Des machines dans une robe rouge dont la prise en main est fortement encadrée par des logiciels spécifiques dans des conditions tout aussi spécifiques. Des machines qui permettent d’obtenir d’excellents résultats sur ces usages mais sans jamais vérifier comment ils sont obtenus ni sortir des rails imposés par la communication de la marque. Quelques benchs, quelques outils, deux jeux précis avec Baldur’s Gate III et Control. Rien d’autre. Le site indique pourtant sa certitude que les chiffres annoncés comme la norme de performance de ces nouvelles puces sont absolument impossibles à obtenir dans une machine commerciale.
Une première alerte qui se conjugue avec une autre remarque de ces mêmes constructeurs. Les résultats des tests des Snapdragon X proposés au public au travers de la presse spécialisées et ceux proposés aux constructeurs de PC via le département des ventes du fabricant auraient été différents. Une critique capitale puisque si les résultats des tests sont importants, ceux obtenus en laboratoire n’ont aucune valeur sans être reproductibles dans des usages réels. Si un fabricant de processeur parvient à des fréquences incroyables et des vitesses au dessus de la concurrence grâce à un refroidissement à l’azote liquide et la dévotion d’une poignée d’experts pendant des heures dans un laboratoire, l’impact de ce résultat n’aura aucune réelle conséquence sur la machine que vous aurez en main chez vous.
Autre souci, une seconde information est parvenue à SemiAccurate. Le site précise qu’une source interne à Qualcomm leur aurait déclaré que les tests proposés auraient été sciemment modifiés pour faire apparaitre plus de performances. Les benchmarks auraient été volontairement améliorés pour convaincre les partenaires, la presse et les clients de l’intérêt de ces Snapdragon X.
Des performances plus proches d’un Celeron que d’un Core Ultra ?
Les performances relevées seraient en réalité 50% en dessous de ce qu’annonce Qualcomm. Les Snapdragon X seraient plus proches d’un Celeron d’Intel que d’un Core Ultra ou d’un Ryzen 9. Pour rappel, les Celeron ont été d’excellentes puces d’entrée de gamme dans leurs dernières générations. Excellentes si on les considère dans leur entièreté, c’est à dire avec en tête leurs tarifs, leurs consommations et leurs objectifs. Les Celeron étaient vendus quelques dizaines de dollars, consommaient peu et étaient suffisant pour exécuter confortablement toutes les tâches basiques d’un ordinateur familial moderne. Le problème ici c’st que les Snapdragon X Elite et Snapdragon X Premium sont présentés comme des processeurs équivalents à des puces beaucoup plus haut de gamme. Capables de faire énormément plus de choses et de le faire très agréablement : Montage vidéo, retouche d’image, travail sur de l’audio, pilotages d’IA, programmation et même jeu vidéo. Choses dont les Celeron ne se sont jamais réclamés.
Si Qualcomm présente réellement ses puces comme des monstres mais qu’ils s’avèrent être en réalité beaucoup plus malingres en terme de performances, il y aura une tromperie évidente sur la marchandise. Une volonté claire de donner envie de s’intéresser aux puces, d’acheter du matériel, quitte à décevoir le public.
Les fameux ultraportables « rouge » de Qualcomm pour présenter ses puces
Une accusation à prendre avec du recul
Ce ne serait pas la première fois que Qualcomm décevrait avec ses puces ARM pour Windows. A vrai dire, ce scénario s’est déjà répété plusieurs fois. Avec Windows RT et le Qualcomm S4 en 2013, les annonces grandiloquentes se sont rapidement dégonflées. Les machines étaient absolument inexploitables face aux solutions concurrentes tant au niveau du logiciel que du matériel. La faute est largement retombées sur Microsoft. Rebelote en 2019 avec les Surface Pro X et leurs puces Snapdragon 8cx dont les performances étaient annoncées comme miraculeuses et qui se sont transformées en résultats tout juste milieu de gamme en terme de calcul une fois pris en main. En 2020, Qualcomm annonce un nouveau SoC avec une Gen2 de son 8cx qui n’est en fait qu’une version boostée de quelques MHz de l’ancien modèle. Les résultats restent décevants malgré, là encore, des annonces le faisant jouer au coude à coude ou passer devant ses concurrents x86.
Et depuis 2022 c’est la multiplication des annonces d’un retour en fanfare avec des processeurs haut de gamme capables – enfin – de rivaliser avec le monde x86 sous Windows et ARM sous MacOS. Une affirmation répétée en 2023 et qui se solde aujourd’hui par l’arrivée des nouveaux Snapdragon X.
Bref, pour le moment le scénario a toujours été le même : Qualcomm promet beaucoup et déçoit en vendant fort cher des PC aux performances entrée de gamme. A chaque fois, la faute est diluée entre Windows et les SoC. Cette promesse n’est alors pas qualifiée de mensonge mais, au pire, d’un trop grand enthousiasme. Ce qui change cette fois-ci, c’est que le contrat qui liait Microsoft et Qualcomm pour le développement de Windows sur ARM a pris fin. Qualcomm est donc en solo sur cette histoire et si les machines livrées avec ses nouvelles puces ne sont pas au niveau des résultats annoncés, la marque ne pourra pas se servir de Windows comme d’un paratonnerre pour se dégager de sa responsabilité.
Mais ce recul à prendre va dans les deux sens. Quel intérêt pourrait avoir Qualcomm à proposer des tests aussi biaisés ? Si il s’avère que les chiffres annoncés ne sont pas exacts, le retour de flamme serait terrible pour la marque. Non seulement elle ne pourrait plus se cacher derrière Microsoft mais ses partenaires techniques que sont les intégrateurs seraient les premiers à dénoncer les résultats obtenus en limitant leur production tout en proposant les mêmes designs avec des processeurs Intel et AMD concurrents.
Proposer des benchmarks biaisés serait se tirer une balle dans le pied pour la marque. Tout simplement parce que si les machines produites ne correspondaient pas à leurs attentes elles seraient invendables. Pas moins de 5 filtres retiendraient les engins des ventes.
D’abord celui des fabricants qui, si les résultats étaient aussi éloignés des promesses, limiteraient d’emblée leur production. Chat échaudé craint le processeur anémique et les machines ne seraient produites qu’en quantités diplomatiques pour ne pas froisser Qualcomm1 mais sans volonté de réelle présence sur le marché. Un scénario que l’on a d’ailleurs connu avec les précédentes expériences de Qualcomm. Acer, Asus, Dell, HP, Lenovo, Microsoft, Samsung et Xiaomi pour ne citer que les plus connus ont répondu présents pour intégrer ces puces. Si les performances ne suivent pas, ils ne monteront pas en première ligne avec Qualcomm mais laisseront ce dernier partir au front.
La presse spécialisée ne manquera pas non plus de relever l’écart entre la promesse et la réalité. Un avis qui ne sera pas facile à cacher sous le tapis. Si les machines présentées jusqu’ici sont parfaitement contrôlées par le marketing, les modèles commerciaux subiront des tests plus poussés et la note globale de leur utilisation ne peut pas s’écarter trop des attentes proposées sans se faire sèchement recadrer par les testeurs. Ensuite les grossistes, ou les antennes locales des différentes marques, qui décident du stock à importer de chaque machine, feront leur tri. Si on ne leur force pas la main sur le stockage de ce type de portables et qu’ils s’aperçoivent de la différence de performance proposée et les résultats des tests, ils ne voudront pas s’encombrer de pièces dans leur stock. Les revendeurs auraient la même réflexion que leurs grossistes et ne stockeraient pas plus les produits. Ils se borneraient à l’ajouter « sur commande » à leur catalogue. Sachant pertinemment que suite aux écarts de performances dans la presse, les ventes seraient calamiteuses.
Enfin, dernier filtre, les clients. Personne d’un tant soit peu logique n’a envie d’acheter à un prix premium un engin au comportement entrée de gamme. Même si il a d’autres atouts par ailleurs. Les clients seraient au mieux curieux mais pas assez pour sauter le pas et commander un engin dont la presse spécialisé aurait révélé la différence de performances entre la promesse et la réalité. Au pire, un client qui aurait acheté un PC Snapdragon X « par mégarde » aurait souvent quelques jours pour revenir en arrière et se faire rembourser la machine.
Au final donc, l’intérêt de Qualcomm n’est pas franchement évident dans cette équation. Faire des ventes minimales et casser son image serait désastreux et on ne voit pas bien quelle direction pourrait accepter cela. Si la marque veut pénétrer le marché PC c’est pour avoir un relais de croissance mais le faire d’une manière aussi désastreuse serait plutôt un bon moyen de décroitre. Une opération qui pourrait coûter leurs postes à une bonne part de l’encadrement de la société, direction comprise.
En attendant les tests indépendants
Il est trop tôt pour juger Qualcomm et ses Snapdragon X. Personnellement, j’ai envie d’y croire et je sais que l’arrivée d’un nouvel acteur sur ce segment peut avoir des implications positives (et d’autres négatives) pour le marché. Difficile de juger les puces sans les avoir en main et cela de manière positive comme négative. Ce qu’il y a de certain, c’est que les annonces de Qualcomm seront passées à la loupe. Chacun voudra déterminer si des écarts sont constatés entre la promesse et le monde réel.
Et de deux choses l’une. Si les Snapdraon X réussissent leur pari, SemiAccurate risque gros en terme de crédibilité. Si les puces ne sont pas au niveau de performances annoncé, Qualcomm pourra plier bagage pour sortir par la petite porte de cette aventure Windows.
Notes :
| 2,5€ par mois | 5€ par mois | 10€ par mois | Le montant de votre choix |
« En attendant les tests indépendants »
Voilà, il faut attendre et surveiller, mais ne pas s’exciter d’un côté comme de l’autre :) (même si Internet ne connaît pas le mot « retenue »).
De la fraude sur les performances d’une puce? Je suis super surprisationné! ;-)
Que les tests soient biaisés ne surprendra personne, tout le monde fait pareil, de là à dire que les performances réelles sont plus proches d’un celeron que du dernier ryzen haut de gamme…je pense qu’il y a quand même un juste milieu à trouver !
En dehors de cette histoire de bench, si Qualcomm n’est plus maqué avec MS, il serait possible de voir sortir des machines, avec ces soc X, tournant sous Linux (des bench ayant été montrés sous debian), non?
Ou alors, sous ChromeOS :(
Lors du précédent article sur le sujet, j’allais mettre le même commentaire que je publie sous les papiers annonçant un nouveau truc signé Microsoft : après l’abandon de Windows phone, après l’abandon de Windows RT et j’en passe, je n’ai absolument plus confiance en cette marque qui lance des trucs avant d’abandonner ceux qui ont été assez bêtes pour faire confiance et s’engager – comme moi à l’époque…
@Pierre : petite typo : « Si la marque veut pénétrer le marché PC c’est pour avoir un relais de DEcroissance ». J’imagine que tu voulais mettre croissance au début de la phrase. Lapsus vu le contexte ? ;-)
@Nielda71: c’est peut être pertinent de regarder du côté de Linux ? Aujourd’hui le bureau pour l’utilisateur lamba est beau et performant et les applications foisonnement : rares sont les besoins pas couverts par le système.
A lire l’article SemiAccurate, j’avais cru comprendre qu’ils remettaient en cause les chiffres fournis par Qalcomm mais surtout en mettant en avant que le Windows ARM n’est pas au niveau attendu et en particulier l’émulation x86 comparée à Rosetta de Apple. Les intégrateurs vont rapidement pouvoir trancher mais Microsoft n’étant plus partie prenante, cela ira à la poubelle car le marché Linux n’est pas suffisant et même chromeOS ne suffirait pas à justifier le lancement d’une gamme spécifique ARM.
Un article du site androidauthority qui n’a pas le même son de cloche : https://www.androidauthority.com/snapdragon-x-models-3429369/
En même temps, sur la même page en Une il mette cet autre article : https://www.androidauthority.com/qualcomm-benchmarking-controversy-3436994/
Légèrement contradictoires ces articles…
Il n’y a rien de contradictoire. D’un côté il y a ce qu’annonce Qualcomm et ensuite les réserves relevées par SemiAccurate. Il faut attendre de voir ce que cela donne.
Je suis prêt à parier un mois sous Windows que leurs perfs sont bidnonnées : ils sont coutumiers du mensonge et je m’étonne encore qu’avec leur passif ils aient encore un semblant de crédibilité.
sur anandtech, le testeur avait réussi à faire tourner un speedometer 3.0 sur la machine de test, test non autorisé dans leur protocole normalement, donc en théorie non modifié, avec un joli score de 22.
Mon s24 + fait 10 au même test, mon 13700k 27.6
Donc même si la machine de test est ultra optimisé le processeur semble être plutôt au point.
Un celeron est donc plus performant qu’un 13700k, je l’ai toujours pensé mais on ne m’a jamais cru !
La seule information qui me fait rire c’est qu’un celeron qui coute quelques dizaines d’euro est à peine 50% moins performant que le haut de gamme.
@Benchmark: Ce n’est pas tout à fait vrai. Quand on parle de comportement de la machine c’est à l’usage, quand on lance des applications basiques, qu’on déplace des fenêtres, qu’on fait des opérations de glisser-déposer, des copies de fichiers et autres. Pour cela, l’impact de performances des processeurs est minime mais sensible. Un engin sous Celeron était et reste moins réactif qu’un processeur autrement plus puissant à mémoire et stockage égaux en performances.
Mais dès que l’on, parle de calcul et d’applications, cela n’a plus rien a voir. Une tâche lourde comme par exemple le nettoyage d’un bruit de fond par un logiciel de traitement audio, ou l’application d’une correction d’image sur un fichier RAW, la différence de compétence en calcul se fait largement sentir. Et là le Delta n’est plus du tout le même. Le calcul de découpage d’un fichier pour l’impression 3D passer par exemple de 5 secondes sur un gros processeur haut de gamme à 40 secondes sur un Celeron. Même si autour de cela, les opérations basiques comme l’ouverture d’un fichier texte ou d’une page web seront sensiblement identiques (1 sec à 2 secondes de l’un à l’autre.)
L’article de SemiAccurate parle beaucoup de Windows on ARM et donc je me pose la question suivante.
Les tests si flatteurs dont Qualcomm se prévaut nécessitent-ils de passer par une émulation X86 ou peuvent-ils être réalisés en « natif ARM », sachant que des résultats sur M2 sont fournis ?