Hersteller von Android-Geräten schummeln bei Benchmarks

Fast alle wichtigen Hersteller von Android-Smartphones haben offenbar mindestens eines ihrer Geräte modifiziert, um in verbreiteten Benchmark-Tests besser abzuschneiden als beim normalen Praxiseinsatz. Aufgefallen war das zuerst bei Samsung, konkret beim Galaxy S4 und beim Galaxy Note 3. AnandTech hat die Unregelmäßigkeiten zum Anlass genommen, um weitere Geräte zu überprüfen – und ist bei vielen fünig geworden.

Die früher im PC-Bereich übliche Praxis hat demnach inzwischen auch bei Smartphones Einzug gehalten. Ausnahmen sind Apple und Motorola sowie Googles Nexus-Geräte. Die anderen Hersteller hingegen sorgen dafür, dass vor allem ihre Top-Modelle weitverbreitete Benchmark-Tests erkennen und dann beispielsweise die Taktfrequenz von Anwendungs- und Grafikprozessoren erhöhen, um besser abzuschneiden.

Samsung schummelt AnandTech zufolge sowohl bei Geräten mit ARM-Prozessoren als auch bei dem auf Intels CloverTrail+ basierenden Galaxy Tab 3 10.1. Die Chiphersteller Intel und Qualcomm sollen dem sehr kritisch gegenüberstehen. – sie hüten sich aber, öffentlich Kritik zu üben. Offenbar geht die Initiative zur “Test-Optimierung” von den einzelnen Geräteherstellern aus.

Samsungs aktuelles Galaxy Note 3 reagiert auf sechs Benchmarks leistungssteigernd. Beim Galaxy S4 waren es erst drei. HTC tunt bei vier Benchmark-Tests, darunter dem verbreiteten 3DMark, der von HTC One und HTC One erkannt wird. Auf zwei Benchmarks reagieren das LG G2 und das Asus Padfone Infinity mit besserer Leistung.

Für die Benchmark-Hersteller wie auch die Tester ist diese Praxis mehr als ärgerlich, da es die Aussagekraft der Tests infrage stellt. Tester versuchen durch einen laufenden Wechsel ihrer Benchmark-Suite gegenzuhalten und benennen auch einzelne Benchmarks um, um ihre Erkennung zu verhindern.

Laut AnandTech bringen die Tricksereien den Herstellern letztendlich allerdings recht wenig: “Die Auswirkung auf unsere CPU-Tests macht 0 bis 5 Prozent aus, und sie liegt irgendwo unterhalb von 10 Prozent bei unseren GPU-Benchmarks, soweit wir das sehen.” Die Tester raten den OEM-Herstellern daher dringend, “mit diesem Unsinn aufzuhören”. Sie sollten stattdessen mehr Leistung und Energieeffizienz von ihren Chip-Lieferanten verlangen.

[mit Material von Bernd Kling, ZDNet.de]

Tipp: Wie gut kennen Sie sich mit Prozessoren aus? Überprüfen Sie Ihr Wissen – mit dem Quiz auf silicon.de.