Le phénomène est connu, la pratique est ancienne. depuis que les outils logiciels de comparaison de performances existent, les fabricants tentent de les faire mentir. Aujourd’hui c’est Samsung que l’on retrouve les deux mains dans le grand pot de confiture de benchmarks en ligne bidouillés.
Afin de mettre en évidence les performances de son processeur Exynos 5 huit cœurs, la marque aurait artificiellement gonflé les résultats de tests en ligne. Cela se traduit par un passage de la bande passante du processeur graphique de la puce à 532 MHz pendant les tests alors que lors des applications les plus gourmandes il reste bridé à 480 MHz. Une sorte de « passe-droit » offert aux benchmarks Android mais qui ne peut pas se retrouver en usage réel.
Le résultat n’est donc pas faux mais ce petit bonus n’a aucune incidence réelle sur l’usage que vous aurez de votre machine équipée de cette puce. Il permet juste d’être meilleur aux benchmarks Android et pas ailleurs.
Ce phénomène est une réplique à des pratiques connues dans le monde des PC qu’il s’agisse de processeurs de calcul ou de processeurs graphiques, des que les tests sont arrivés sur le marché de nombreux experts ont constaté d’année en année des pratiques de ce genre. Tant et si bien que beaucoup de testeurs ont finalement abandonné les outils de tests de référence pour y substituer des tests d’applications réelles. Il est bien sur possible de tout faire pour optimiser ses composants pour accélérer les performances d’un jeu en particulier mais au moins celles-ci ont une incidence réelle pour les joueurs.
Antutu, GFXBench et autres benchmarks Android n’ont que peu d’intérêt pour le public : Certes ils permettent de tester les performances d’une machine à l’autre afin de déterminer quelle puce à le plus de performance théorique. En pratique il est plus sage de ne pas se fier à ce type d’application pour déterminer son achat. Les résultats de ces tests montrent en général que les puces du même niveau de prix offrent des performances dans un mouchoir de poche. Choisir une gamme de machine uniquement sur ce critère de performances, qui peut en plus être faussé par les tests, n’est donc pas une bonne idée.
Quelle que soit la machine que vous souhaitez choisir, il faut penser à un engin dans sa globalité et ne pas se focaliser uniquement sur une performance théorique. S’il est rare d’avoir un mauvais produit équipé d’un processeur très haut de gamme cela ne veut pas dire que celui-ci correspondra parfaitement à vos attentes en terme d’affichage, d’autonomie ou de réseau. Un ordinateur personnel, quel que soit sa forme, est avant tout une affaire d’homogénéité dans sa construction, pas de performance brute.
Source : Anandtech
| 2,5€ par mois | 5€ par mois | 10€ par mois | Le montant de votre choix |
Il est très intéressant de rappeler cette pratique. C’est un peu comme le dopage (exactement même), on soupçonne les autres de l’être et on le pratique pour tenter de garder le change ;).
Au delà de la pertinence des benchmarks en général qui ne reflètent pas l’usage réel de chacun d’une machine donnée, un ordre d’idée et de hiérarchie peut en découler. Et c’est bien pour se fameux positionnement que les marques embellissement les performances de leur produit.
Comme le souligne Pierre, un proc HdG à 20K antutu sera bien évidemment pour performant qu’un autre à 12K, point de doute dans ce cas.
Cependant il serait intéressant d’avoir un ordre d’idée de la mascarade : est-elle de 5% ? 10% ? 20% même ?
Je n’ai jamais vu d’article à ce sujet (conflit d’intérêt je suppose ;) ). Quelqu’un aurait des infos sur le volume de stéroïde que chaque marque applique à ces poulains ?
j’ai une demi douzaine de tablettes que je mesure entre gb et jb les differentes versions, et effectivement passer de 4000 a 12000 antutu ne fait pas une experience trois fois meilleure, peut etre 20% ….
Et puis faut savoir quelle version …
Ces bench c’est de la tarte a la creme. J’utilise desormais CPU Identifier, le plus stable dans le temps. Merci de deterrer ce sujet, Pierre, mais pour moi il y a tromperie si l’os ouvre des capacites non reproductibles hors outil de bench…. appelons un chat un chat.
@polo: La ou Samsung est fin, c’est que y’a une petite poignée de cas ou il autorise les mêmes fréquences pour des apps a eux. Donc ils « overclockent » pour les benchs et autre chose, donc c’est pas triché. Bon, en fait, 99,9% de l’overclocking ca sera pour les benchs, mais ca leur donne un cache-sexe pour sauver l’honneur.
@obarthelemy:
Les benchs servent surtout à mesurer globalement le bond d’une génération de processeur à une autre ; pour ce qui est de comparer plusieurs processeurs de même génération, ces pratiques de « gonflage » et la marge d’erreurs associées rendent le procédé peu utile.
Bref, dire par exemple que la nouvelle nexus 7 est 1,5 fois ou 2 fois plus rapide que l’ancienne, ça reste à peu près vrai et c’est quelque chose que l’utilisateur peut comprendre. Par contre, dire que son score Antutu est de 9482…
Je ne pense pas que grand monde, même les plus geeks, achète un téléphone ou une tablette purement sur la fois des bench :)
Et d’ailleurs, il y a tant d’autres paramètres à prendre en compte. L’optimisation logicielle par exemple, ou les surcouches opérateur dans le cas d’android. Mon nexus 4, pourtant légèrement moins puissant qu’un Galaxy S4, est plus fluide en toute circonstance. La mise à jour android 4.3 a rendu à ma vieille nexus 7 une seconde jeunesse. Etc…
Bien d’accord. Bidonner de 10% comme ici, ca change deja pas vraiment la donne. Mais en plus, a part l’ado avec plein de choses a prouver a lui-meme et au monde, les perfs sont nettement moins importantes que le qualitatif, qui pose souvent probleme: wifi, ecran, son…
Y’a qu’a lire les fofos, les plaintes sont rarement sur les perfs, a part une poignee de cas pathologiques tels que certains Nexus 7 pre-4.3, ou ma Ainol Venus en Rom 1.0. Le gros des problemes, c’est batterie qui se vide la nuit et tient 3h, wifi qui accroche pas, fuites de luliere ou ecran trop pale… Manque de bol, tout ca est rarement testé car le protocole de test est un peu plus compliqué que « lanxer une app »…
ça y est ma N7 passe à android 4.3…
>>>Le phénomène est connu, la pratique est ancienne.
Tout à fait. Mais l’utilisateur est comme les poules : con et aucune mémoire. Qui (à part moi) se souvient des tricheries de la team 3Dmark/Intel pour faire croire qu’AMD était moins bon ?
Finalement pourquoi arrêter de tricher ?
@dgrgt : moi
Une petite correction : l’utilisateur n’est pas comme les poules. Il est juste comme l’être humain : hyper grégaire et réactif aux prescripteurs.
Tout a fait !
[…] les cas, n’oubliez jamais qu’une note de test n’est qu’une note de test, j’en ai déjà parlé auparavant, les benchmarks sont de plus en plus inutiles. Qu’un score à Antutu, Vellamo ou GFXBench n’est qu’un outil de comparaison […]
[…] ces tests restent sujets à plusieurs polémiques. On en a déjà longuement parlé, certains constructeurs jouent avec eux en cherchant leurs failles …. Aussi comparer des puces uniquement en se fiant a des tests de ce type revient à croire que […]