Benchmark-Entwickler macht Tuning der Hersteller sichtbar

Primate Labs hat Maßnahmen gegen die vergangenes Jahr entdeckten Schummeleien einiger Smartphone-Hersteller ergriffen. Laut Firmengründer John Poole, wurde in das verbreitete Geekbench 3 ein sogenannter “boost detector” integriert. Er bettet einen zusätzlichen Bericht in jedes in die Geekbench-Datenbank hochgeladene Benchmark-Ergebnis ein. Nach der Analyse tausender dieser Berichte konnte Primate Labs die Android-Modelle identifizieren, deren Leistung beim Durchlaufen von Geekbench 3 um bis zu 20 Prozent angehoben wird.

In einer von Poole veröffentlichten Liste finden sich je fünf Produkte von Samsung und Sony – die Galaxy-Modelle Note 10.1 (2014), Note 2, Note 3, S3 und S4 sowie die Xperia-Geräte Z, Z Tablet, Z Ultra, Z1 und ZL. Bei allen zehn Geräten konnte der Boost nur unter Android 4.3 festgestellt werden. Bei früheren Android-Versionen, einschließlich 4.2.2, war davon nichts zu bemerken.

“Um gegen das Benchmark-Boosting vorzugehen, haben wir entschieden, die Ergebnisse dieser Geräte mit Android 4.3 aus den Android-Benchmark-Charts zu entfernen”, so Poole. “Auf diese Weise spiegeln die Ergebnisse der Rangliste die wirkliche Performance jedes Geräts wieder und nicht die erhöhte. Wir haben auch eine Liste ausgeschlossener Geräte hinzugefügt. Wir werden die Detector-Berichte weiterhin analysieren und diese Liste aktualisieren, falls wir weitere Geräte oder Android-Versionen entdecken, die einen Benchmark-Boost durchführen.”

Laut Poole hat Samsung hat den Benchmark-Boost aus seinem Android-4.4-Update entfernt. “Wir hoffen das Sony Samsungs Beispiel folgt und seinen Benchmark-Boost ebenfalls aus seinem Android-4.4-Update entfernt”, so Poole weiter.

Wie AnandTech im Herbst vergangenen Jahres bemerkt hatte, modifizierten nahezu alle Hersteller offenbar mindestens eines ihrer Geräte, um in gängigen Benchmarks bessere Ergebnisse zu erzielen als bei realen Anwendungen. Ausnahmen waren Apple, Motorola und Google. Bei LG fielen die Optimierungen vergleichsweise gering aus. Die meisten Hersteller sorgten dafür, dass vor allem ihre Spitzenmoodelle weitverbreitete Benchmarks erkennen und beispielsweise Taktfrequenz von Anwendungs- und Grafikprozessoren erhöhen, um besser abzuschneiden.

[mit Material von Björn Greif, ZDNet.de]

Tipp: Sind Sie ein Android-Kenner? Überprüfen Sie Ihr Wissen – mit 15 Fragen auf silicon.de