Benchmarks Android : Constructeurs tricheurs ?

Ce n’est pas nouveau mais cela fait de plus en plus tâche dans le paysage. La plupart des constructeurs se servent des benchmarks Android pour faire de la pub à leurs périphériques. Pris la main dans le sac ils font semblant de regarder ailleurs sachant pertinemment que tout le monde retombera dans le panneau quelques semaines plus tard.

Résumé : Un benchmark Android ne reflète jamais la réalité de l’usage que l’on peut faire d’une machine, ce n’est qu’un angle de mesure, une vision très axée sur sa performance. Quand on se rend compte qu’en plus les tests sont quasiment tous bidonnés par les constructeurs, cela n’incite guère à leur faire entièrement confiance

Quasiment à chaque sortie de produit, un des premiers réflexes est de lancer un benchmark pour le tester. Il est vrai que ce type d’outils permet de mesurer chaque machine avec une règle identique. Malheureusement les constructeurs ont vite compris qu’il leur était possible de profiter de la situation en tournant les tests à leur avantage. L’avantage du test est double, d’abord il peut être fait de manière anonyme et les constructeurs peuvent facilement lancer des chiffres dans la nature sans risquer de se faire prendre. Ensuite il est censé être impartial, ce qui apporte un vernis d’authenticité aux résultats.

Comme beaucoup de monde s’empresse d’aller regarder les meilleurs résultats des benchmarks en ligne, il n’est pas rare de voir un article ou un commentaire apparaître laissant entrevoir un excellent score pour une machine en approche.

 anandtech

Le site Anandtech vient de publier un tableau mettant en évidence le côté industriel de cette triche, de ces résultats gonflés aux hormones, sur de nombreux smartphones chez des constructeurs de tous bords. La plupart, pour ne pas dire quasiment tous, s’adonne à cette pratique.

La plupart se servent des excuses habituelles que l’on retrouve de la maternelle petite section jusqu’à la fin des études secondaires, ” je suis  pas le seul” étant la plus évoquée. Effectivement presque tout le monde triche et chaque constructeur d’avoir peur de se retrouver dépassé par les concurrents si il ne se met pas lui même à tricher. L’application de tests Antutu vient d’ailleurs de proposer une version “anti triche” pour détecter les cas les plus évidents de maquillage de chiffres.

[appbox googleplay com.pctvtv.android.ttsx]

Ainsi on découvre des injections de code frauduleux directement dans les puces faisant croire par exemple à une mauvaise génération de processeur ou à une fréquence sous élevée ou sur élevée qui seront détectées par le test. L’overclocking consistant a faire tourner une puce à une fréquence supérieure à celle prévue par son fondeur mais aussi les écrans affichés à une définition inférieure à celle décrite par le logiciel, tout cela devrait être pris en compte. Histoire qu’un smartphone de laboratoire, refroidi artificiellement et affichant sur un écran 320 x 200 ne fasse pas croire  que tous les smartphones du commerce offriront le même niveau de performances…

Dans tous les cas, n’oubliez jamais qu’une note de test n’est qu’une note de test, j’en ai déjà parlé auparavant, les benchmarks sont de plus en plus inutiles. Qu’un score à Antutu, Vellamo ou GFXBench n’est qu’un outil de comparaison qu’il faut prendre en compte avec des pincettes. Personne ne croit sur parole un athlète qui fait un saut en longueur au dessus du record du monde à l’entrainement, tout le monde attend de le voir faire en compétition. Attendez les vrais tests effectués par des vrais testeurs mais aussi les avis des premiers acheteurs. Croire sur parole des scores sortis de nulle part c’est le meilleur moyen de parier sur le mauvais cheval.

Le plus important vu le niveau de performances des machines aujourd’hui n’est pas forcément que celle ci affiche 20000 points alors que sa concurrente plafonne à 19900… C’est peut être que son équipement vous convienne.

6 commentaires sur ce sujet.
  • 4 octobre 2013 - 17 h 16 min

    Et encore, si cela ne touchait que le domaine des tablettes/smartphones…

    Tous ces compilateurs qui favorisent une architecture par rapport aux autres… La position de Futuremark à un moment de son existence vis-à-vis de certains benches… Nos bagnoles censées faire du 3.9l au cent…

    En fait, la seule chose qui ne soit jamais tweakée ainsi, c’est mon compte en banque… Je vais en parler à mon banquier tient… VDM ;)

    Répondre
  • 4 octobre 2013 - 18 h 57 min

    Un peu comme les autonomies gonflées parfois par les constructeurs.

    Répondre
  • 4 octobre 2013 - 21 h 17 min

    @fiel: oui et non, parce que sur blogeee il y avait aussi les vrai tests en vrai situation
    du genre test d’autonomie avec 20% de bureautique, 40% de vidéo et le reste de surf web avec la luminosité à 80% et le wifi coupé ou pas.
    ce genre de tests réels étaient géniaux et me manquent beaucoup perso
    maintenant je sais bien que les plateformes ne sont plus homogène et que ce n’est plus faisable comme avec les netbooks (et que ça devait prendre un temps fou ! ) mais à ce moment là je vendais du pc et c’était juste génial pour moi et mes collègues sur le créneau du netbook.
    jamais compris pourquoi les autres (y compris certains râleurs concurrents qui polluaient le site à une époque) ne faisaient pas la même chose ou reprenaient le “concept” laissé à l’abandon (faute de temps j’imagine, minimachine à une excuse, un seul contributeurs, mais les gros sites non).

    c’était une vraie bonne idée et ça manque je trouve

    là pour le coup, un tableau serait utile et super sympa

    remarque, sur le forum peut être avec nos chiffes à nous et nos machines perso ?
    pour l’autonomie faudrait faire les tests avec batteries neuves pour être sur un pieds d’égalité mais pourquoi pas tiens

    Répondre
  • 6 octobre 2013 - 18 h 52 min

    Quand je pense qu’a la dernière sortie de 3Dmark, j’ai cru bon de rappeler a la foule “parkinsonienne” que ces menteurs avait toucher un bon pactole pour favoriser Intel et descendre AMD. Et que quand on vole un jours…
    Les cons étaient sortis de leurs tanières à ce moment là.

    Merci Pierre de confirmer le fait qu’une machine de ce type n’est jugeable QUE sur le terrain !

    >>>je me rappelle que tu t’en servait souvent sous « blogeee »

    Pour autant que je m’en souvienne, c’etait juste une info.
    Il y avait toujours une note disant que ca valait ce que ca valait !

    Répondre
  • 7 octobre 2013 - 12 h 43 min
  • 27 novembre 2013 - 13 h 19 min

    […] toute crédibilité, les éditeurs de ces logiciels ont donc décidé de faire un peu de ménage. Antutu a sorti une nouvelle version de son application de test censée être anti-triche. Chez Futuremark cela passe par un grand nettoyage d’hiver et le retrait de résultats […]

  • LAISSER UN COMMENTAIRE

    *

    *