Erst vor kurzer Zeit kam das Ergebnis des DxOMark Sensor-Ranking für die Leica Q2 heraus. Halleluja! Eine Leica stößt in die ersten 10 Ränge vor, dem Olymp der digitalen Voll- und Mittelformat-Kameras. Sony hat Halbmast geflaggt, in Wetzlar knallen die Sektkorken, in der Entwicklungsabteilung versteht man sein eigenes Wort nicht mehr, weil “Freude, schöner Götterfunken” den ganzen Tag “full blast” läuft.
Aber warum eigentlich? Was sagen blanke Sensor-Messdaten über den praktischen Wert einer Kamera aus? Und ist die absolute Bildqualität das wichtigste Kriterium für Inhalt und Aussage eines Fotos?
Wohl kaum. Wenn man “Alle meine Entchen” auf einem High-End-Soundsystem abspielt, werden daraus nicht die Brandenburgischen Konzerte von Bach. Die behalten ihren Wert nämlich auch, wenn sie von einem Grammophon kommen. Man kann mit dem tollsten Sensor absolut beschissene Fotos machen. Freilich von hoher Bildqualität.
Andererseits ist es natürlich schön, Bach mit gutem Klang zu hören, und einem guten Foto schadet ein hohes technisches Niveau auch nicht.
Schein und Sein
Was meinen natürlichen Widerspruch reizt, ist der Hype, der um die ach so tollen DxO-Ergebnisse gemacht wird. Reviewer sind ausser sich vor Freude: “Endlich mal ‘ne Leica mit ‘nem Sensor, der sich sehen lassen kann.”

Mit dem Mountainbike durch den Bayrischen Wald. Leica Q2 bei f/3.5 1/125s ISO 100
Ich füge hinzu: Auf dem Papier.
Bevor mir jetzt alle böse sind, die eine Q2 besitzen: Ich hatte die Q2 eine ganze Weile. Ich habe sie wirklich in den unterschiedlichsten Verhältnissen auf Herz und Nieren getestet, die Ergebnisse sind auf Augenhöhe mit jeder High-End-Kamera auf dem Markt. Und ich denke, dafür gibt es genug Beispielbilder in den die Q2 betreffenden Beiträgen. Die Verbesserungen der Hardware und die Verfeinerung der Benutzeroberfläche sind deutliche Pluspunkte gegenüber der klassischen Q. Aber was die Kamera wirklich zu einer der besten Kompaktkameras überhaupt macht, sind die von der Q1 geerbten Gene, die Benutzeroberfläche in Kombination mit einem guten Sensor und einer Klasse-Optik. Für mich ist die klassische Q eine Design-Ikone, an die die Q2 anknüpft.
In diesem Artikel geht es mir nur um die Verhältnismässigkeit. Und wie sich Leute immer noch von Laborwerten blenden lassen. Ich würde es als “des Kaisers neue Kleider – Effekt” bezeichnen. Es geht nicht darum, zu zeigen, dass die Q2 schlechter ist als DxO es darstellt (oder überhaupt “schlecht”, ganz im Gegenteil), sondern wie sich der vermeintliche Abstand im Sensor-Ranking zur klassischen Q oder zur Leica M10 plötzlich verkleinert, wenn man sich die Messergebnisse nicht von DxOMark “vorkauen” lässt.

Cinqueterre. Leica Q2 bei f/4.0 1/800s ISO 100
Sensor-Ranking von DxOMark
Mir kommen im Zusammenhang mit dem DxO-Mark Sensor-Ranking immer zwei Dinge in den Sinn:
- Erstens der selige Marcel Reichmann (der viele Jahre Luminous Landscape geführt hat). Er sagte schon vor Jahren, er traue lieber seinen eigenen Augen, was die reale Performance einer Kamera betrifft, als DxO-Messwerten.
- Zweitens die Sache mit dem Sensor der M9. Als der vor einigen Jahren von DxO getestet wurde, schnitt der “unterirdisch” ab. Viel Häme von den Leica-Kritikern, die wussten ja schon immer, dass das Ding nur überteuerter Elektroschrott ist. In der Realität lieferte die Kamera mir Bilddateien, die alles in den Schatten stellten, was mir meine Vollformat DSLR bis dahin geboten hatte. Noch heute wird die M9 wegen des besonderen “Charakters” dieses CCD-Sensors gesucht. Die Wahrheit ist eben, dass die blossen Sensorwerte Schall und Rauch sind, solange man nicht Kamera als ganzes sieht. Und auch, was sich sonst noch vor dem Sensor befindet oder nicht (z.B. ein AA-Filter) und vor allem die verwendete Optik berücksichtigt. Leica-Objektive sind nun mal “optisch erste Sahne”. Trotzdem: Auch das tollste Objektiv kann einen miesen Sensor nicht retten. So schlecht kann der aus der M9 also nicht sein. Was ist da schiefgelaufen?

Torre del Mangio in Siena. Leica M10 mit 35mm Summilux bei f/2.8 1/500s ISO 200
DxO-Mark erhebt durchaus nicht den Anspruch, mit dem Ranking über den wahren Gebrauchswert einer Kamera zu urteilen, allerdings kommt das nicht immer klar herüber. Es sind reine Sensor-Messdaten (bei Systemkameras ohne Objektiv). Die Informationen dazu muss man ganz stark filtern. Bei der Q2 zum Beispiel wird im Begleittext (gleich im zweiten Absatz) erwähnt, dass Leica die Optik der Q2 für die hohe Auflösung optimiert habe – eine falsche Behauptung. Wir wissen, dass das Summilux Objektiv der klassischen Q 1:1 übernommen wurde.
Weil sich bei der Q2 das Objektiv bekanntermassen nicht abnehmen lässt (ausser mit einer Flex), gibt DxO an, dass “Assumptions” (Annahmen) gemacht werden mussten, um die Sensordaten zu messen. Aber was haben sie angenommen? Jeder, der mal wissenschaftlich gearbeitet hat weiss, wie stark solche Postulate Einfluss nehmen können. Ebenfalls steht die Vermutung im Raum (siehe DxO Text), dass der Sensor der Q2 und der der neuen Panasonic Lumix DC-S1R entweder identisch oder sehr ähnlich sind. Auch deswegen kann schon die (unbewusste) Erwartungshaltung der Tester das Endergebnis beeinflussen. Ich gebe zu, dass das eine Unterstellung ist. aber solche Dinge sind eine der typischen (menschlichen) Fehlerquellen bei angeblich “objektiven” Analysen.
Aber meine Bedenken richten sich nicht in erster Linie gegen die Messmethoden von DxOMark, sondern eher gegen die Bewertungskriterien für die Ergebnisse. Die Reihenfolge im Ranking ist ein logarithmischer Wert, der auf der Zusammenfassung der Messdaten beruht. Deren Interpretation bietet, vorsichtig ausgedrückt, “Spielraum”.

Blick über Cavaillon/Provence. Leica M9 mit 21mm Super-Elmar bei f/3.4 1/350s ISO 160. Diese Kamera belegt zur Zeit Platz 183 im Sensor-Ranking von DxO
Manipulative Interpretation der Ergebnisse.
Fakt ist, dass bestimmte Messwerte schon dadurch beeinflusst werden, welche Messbedingungen man schafft und welche “Annahmen” man sonst noch voraussetzt. Aber wenn man dann Messwerte hat, ist die nächste bewusste (oder unbewusste) Manipulation möglich, wenn man die Interpretation gleich mitliefert, wie es DxOMark macht.

Beim Musical “Die Schöne und das Biest”. Leica Q2 bei f/1.7 1/125s bei ISO 1250. Natürlich ein Bild, das für sich allein betrachtet durchaus zufriedenstellt. Aber ich hatte da auch die Leica M10 dabei, und die Dateien daraus hatten bessere Dynamik und Farbtiefe, vom Luminanzrauschen ganz zu schweigen (siehe Absatz “Leica Q2-Abzüge in der B-Note” im Blog zum Musical). Dennoch liegt die M10 im Sensor-Ranking auf Platz 86 und die Q2 auf Platz 10. Was stimmt hier nicht?
Ich war verblüfft, als die Leica Q2 so viel besser abschnitt als die Q1 oder die M10. Zwei Kameras, die ich seit Jahren kenne und ausserdem weiß, was ich unter schwierigen Bedingungen (Low-Light, Gegenlicht etc.) von den DNG’s erwarten kann. Schon am ersten Tag mit der Q2 machte ich einen einfachen Vergleichstest mit der Q1 zum Rauschverhalten bei steigender ISO und stellte fest, dass die Q2 (wenig überraschend bei den Mini-Pixeln) mehr rauscht als die Q1. In den folgenden Wochen hatte ich die Q2 bei den unterschiedlichsten Bedingungen im Einsatz und eines zieht sich wie ein roter Faden dadurch: Bei steigender ISO fällt die DNG-Qualität der Q2 stärker ab als die der Q1, die M10 hat die Nase absolut vorn. Messinstrument: Meine eigenen Augen.
“Wer spinnt hier eigentlich?”, fragte ich mich hinsichtlich des Sensor-Ranking von DxO. Wie kann es sein, dass Kameras, die für mich im “wirklichen Leben” so gute Qualität abliefern, im Ranking so weit hinter der Q2 landen?
Bei der Antwort spielen zwei Dinge eine Rolle:
- Es werden hauptsächlich die Werte bei niedriger ISO für das Ranking gewichtet (das betrifft Dynamic Range, Color Sensitivity und Tonal Range). Fairerweise muss hinzugefügt werden, dass bei “Sports” die Low-Light Kapazität eine Rolle spielt.
- Es wird eine “Print”-Version der DNG’s angenommen, die alle Kamera-DNG’s unabhängig von der eigentlichen Auflösung auf 8 Megapixel herunter rechnet. Siehe Sensor Testing Protocol von DxOMark.
Schon Sean Reid (siehe seinen Q2-Review) stellte fest, dass das Rauschen der Q2-DNG’s quasi “verschluckt” wird, wenn man die Auflösung verkleinert. Passt man die Dateien an die 24MP der Q1 an, zieht die Q2 sozusagen gleich. Aber was bringt dieser statistische Kunstgriff, wenn man die volle Auflösung nutzen will? Der hochgelobte Vorteil des Croppens bis auf einen 75mm-Bildausschnitt ist dahin.
Selbstverständlich liefert DxOMark eine Begründung im “Sensor Testing Protocol“: Eine Standardisierung (“Normalization”) der unterschiedlichen Auflösungen, um die Kameras vergleichbar zu machen. Es wird korrekt hinzugefügt, dass auch eine andere “standardisierte” Auflösung (12 oder 24 MP) zu dem gleichen Ranking-Ergebnis führen würde. Natürlich dient das dem Zweck, eine statistische Vergleichbarkeit herzustellen. Aber wenn nicht die nativen Auflösungen der Sensoren bewertet werden, bewegt man sich zumindest ein Stück weit von der Realität weg (zumindest wenn wir annehmen, dass der Fotograf die volle Auflösung seiner Kamera nutzen will).
Die oberen Ränge des Sensor-Ranking sind mit dem Zieleinlauf eines Marathons vergleichbar, bei dem die Läufer in einem Abstand von hundertstel Sekunden eintreffen. Und DxoMark hält die Stoppuhr, auf der die Zeit nach ihren speziellen Bedingungen abläuft. Und das ist nicht die Zeit des übrigen Universums.
Messergebnisse
Betrachten wir einmal als Beispiel ein “Key-Feature” für das Ranking, nämlich Dynamic Range. Man kann im Vergleichstool für Kameras bis zu drei Kameras wählen, ich nahm die Q2, die Q und die M10. Klickt man das an und wählt unter dem Reiter “Measurements”/ Dynamic Range, wird man automatisch auf die Graphik geführt, die die “Print”-Version-Ergebnisse (also die auf 8 MP verkleinerten DNG’s) zeigt:

Diese Print-Version der “Dynamic Range” der Q2 wird im Ranking gewertet. Und zwar eigentlich nur der Anfangswert. Schon da sieht man, dass die Q2 Boden verliert, wenn die ISO-Werte steigen
Was gar nicht sofort ins Auge fällt, wenn man diese Graphik präsentiert bekommt, ist der kleine Button “Screen” oben links. Dann zeigt sich nämlich das Verhältnis der Kameras bei voller Auflösung:

Das ist die Version der “Dynamic Range” bei voller Auflösung der Kameras. Fällt im Ranking “unter den Tisch”.
Uups! Komisch, auf einmal fällt die Q2 zurück! Würde man dieses Ergebnis annehmen, stünden alle drei Kameras im Ranking woanders.
Ganz analoges Verhalten zwischen “Print”- und “Screen”-Version der Graphiken zeigt sich bei “Tonal Range” und “Color Sensitivity”. Bei voller Auflösung fällt die Q2 jedesmal zurück. Zugegeben, ich prangere an, dass man bei DxOMark versucht, eine mathematisch/statistische Vergleichbarkeit zwischen unterschiedlichsten Kameras herzustellen, um eine Art “Gerechtigkeit” im Ranking zu erzielen. Doch indem sie das tun, rücken sie ein Stück von der fotografischen Wirklichkeit ab. Man kann jetzt argumentieren, dass die Kamera-Sensoren im Großen und Ganzen vermutlich in sehr ähnlicher Reihenfolge landen würden, aber irgendwie wird die Realität “gebeugt”.
Neben dieser Print/Screen-Problematik muss ich einfach hinterfragen, wie realistisch der starke Einfluss der Werte für Dynamic Range, Tonal Range und Color Sensitivity nur bei niedriger ISO für das Ranking ist. Im Testprotokoll wird das damit begründet, dass Profis bei Porträt, Landschaft etc. immer versuchen werden, die niedrigste ISO zu verwenden, das Verhalten der Kameras bei höheren ISO-Werten für den Profi uninteressant ist. Lediglich bei “Sports” wird das bewertet, hat aber nur einen kleinen Teil an der Gesamtwertung.
Und hier entsteht meiner Meinung nach ein Hauptteil der Schieflage. Die allermeisten, die sich bei DxO Information suchen, sind keine Profis. Sie benutzen die Kameras ganz anders. In der “normalen” Alltagsfotografie sind die Lichtbedingungen häufig nicht ideal. Ebenso wird ein Hochzeits- oder Event-Fotograf Wert auf eine gute Performance bei höheren ISO Werten legen. Das fällt alles in die “Sports”-Sektion, die zu wenig Einfluss im Ranking hat. DxOMark täte gut daran, die Logik ihrer Bewertungskriterien zu überdenken.
Die hier betrachteten drei Kameras habe ich nur ausgewählt, weil ich deren Verhalten in der Praxis gut beurteilen kann. Aber wenn sich schon da so große Interpretations-Spielräume zeigen, was sagt das dann über all die anderen Kameras aus, die sich bei DxO-Mark um die Q2 tummeln?
Und das Rauschen?
Um sich die realen Verhältnisse klar zu machen, kann man sich des “Image Comparison Tools” von Dpreview bedienen. Hier zunächst der Screenshot vom Vergleich der Q2 und Q1 bei voller Auflösung:

Image Comparison Tool bei Dpreview. Vergleich Q2/Q1 bei voller Auflösung, ein deutlicher Unterschied, die Q1 liegt klar vorn.
Und jetzt der Vergleich bei angepasster Auflösung:
Man erkennt, wie die Q2 bei Reduzierung der Auflösung mit der Q1 so ziemlich gleichzieht. Alternativ kann man auch bei Dpreview im Leica Q2-Review die Seite “Image Quality” aufrufen und dort den Rauschlevel bei unterschiedlichen ISO-Werten mit anderen Kameras vergleichen. Mit demselben Ergebnis.
Die Graphik zum Signal/Rauschen-Verhältnis (“SNR 18%”) bei DxO ist dagegen wenig aussagekräftig, vor allem, wenn man die wahren Verhältnisse (z.B. durch das oben zitierte Image Comparison Tool von Dpreview) vor Augen führt:

Signal/Rauschen-Verhältnis bei verkleinerten DNG’s, alle Kameras “in der gleichen Liga” mit leichter Führung für die Q2, wenn man die Print-Version ansieht
Aber was passiert bei voller Auflösung?

Signal/Rauschen-Verhältnis bei voller Auflösung. Auf einmal liegt die Q2 hinter der Q1 und der M10
Überraschung? Eher nicht. Die hohe Auflösung bricht der Q2 in Signal/Rauschen-Verhältnis das Genick. (Anmerkung: Je tiefer die “Kurve” liegt, desto ungünstiger. Deshalb ist auch am rechten Rand des Diagramms die Farbkala von unten Rot über Orange/Gelb nach oben Grün. Bei der Sony A7S zum Beispiel liegt die Kurve ganz weit oben, die Riesenpixel dieser Kamera ergeben ein extrem gutes Verhältnis)
Aber da es nicht nur DxO-Mark für solche Messungen gibt, hier einmal eine Graphik von Bill Klaff’s Seite “Photons to Photos“:

Rauschlevel bei steigender ISO nach Bill Klaff. Hier der direkte Link zur Graphik
Bei “alternativer” Interpretation der Sensor-Daten ergibt sich also ein anderes Bild. Die M10, aber auch die Q1 verbessern sich, während die Q2 Boden verliert, vor allem bei steigenden ISO-Werten. Und ist das bei nüchterner Betrachtung ein Wunder? Noch sind die Gesetze der Physik nicht durchbrochen, die bestimmen, dass größere Pixelorte (Pixel-Wells) den kleineren überlegen sind. Dabei spielt die Sensorgröße gar keine Rolle, völlig schnurz ob Vollformat, APS-C oder MFT, es geht nur darum, wie viele Pixel sich darauf drängeln. Natürlich ist es eine technische Hochleistung, dass im Fall der Q2 der Sensor trotz dieser Mini-Pixel so exzellent ist. Denn Kurven hin oder her, die Werte sind trotzdem sehr gut.

In Avignon. Leica M10 mit 90mm Macro-Elmar bei f/4.0 1/750s ISO 200. Die M10 belegt bei Sensor-Ranking Platz 45
Wäre es nicht für die meisten Benutzer der getesteten Kameras praxisnäher, Messwerte bei voller Größe der DNG’s (oder Raw’s) zu betrachten? Es finden sich vielleicht andere Möglichkeiten der statistischen “Normalization”. Welcher Q2-Nutzer verkleinert denn seine hochauflösenden Bilder routinemässig auf 8 Megapixel? Sicher, wenn man nur für Instagram oder Facebook produziert, spielt das keine Rolle. Aber braucht man dafür so eine Kamera?
Aber nochmals: Das Ziel dieser Abhandlung ist nicht, die Leica Q2 zu “dissen”, sondern zu zeigen, wie man durch ungefiltertes “Schlucken” von vorinterpretierten Messergebnissen manipuliert wird. Für mich persönlich zeigt sich durch dieses “Hinterfragen”, dass ich doch nicht so blind bin, wie ich dachte.

Skyline von Regensburg. Leica Q2 bei f/1.7 1/8s ISO 1250 “aus der Hand”. Trotz hoher Auflösung sehr scharfes Foto dank Bildstabilisierung. Es wurde nur eine leichte Rauschunterdrückung appliziert. Es gibt nichts zu meckern an der Performance der Q2, das möchte ich noch einmal deutlich machen!

100% – Ausschnitt des vorigen Bildes. Die Q2 schlägt sich wacker, auch bei Low-Light-Bedingungen. Aber man muss sich immer darüber im Klaren sein, dass die hohe Auflösung auch ihren Preis hat.
Schlusswort: Warum ich nicht ohne Q auskomme
Na, dass hab’ ich ja super durchgehalten… einen ganzen Monat ohne Leica Q! Bin stolz auf mich… so konsequent!
Das ist natürlich purer (Selbst-) Zynismus. Die Wahrheit ist, dass ich zwar mit der M10 alleine gut auskomme, aber die ganze Zeit an mir genagt hat, wie gut die Leica Q als “Ergänzung” war. Einerseits bei Konzerten und Events als Zweitkamera mit “weiter” Sicht in Kombination mit der M10 (oder M), andererseits als bequeme Knipse bei familiären Ereignissen oder einfach als (vergleichsweise) leichte “immer-dabei”-Kamera bei Wanderungen oder Radtouren.

Unterwegs im Großwalsertal. Leica Q bei f/4.0 1/800s ISO 100. Die klassische Leica Q belegt beim Sensor-Ranking Platz 52
Dann gibt es noch die Alleinstellungsmerkmale gegenüber der M10: Die Bildstabilisierung, der megaschnelle Autofokus, sofort verfügbare Macro-Funktion, das extrem leise Verschlussgeräusch, um nur einige zu nennen. Ich weiss jetzt schon, dass es Anlässe gibt, wo mir das fehlen wird.

Leica M240 mit 35mm Summilux bei f/2.8 1/180s ISO 200. Die M240 belegt Platz 55 im Sensor-Ranking
Ich machte den Fehler, meinen eigenen Artikel “Leica Q: Das dritte Jahr” anzusehen und fasste mich an den Kopf. Die Aussicht, längere Zeit ohne die Q auszukommen, erschien mir total unrealistisch. Sie hat mich über drei Jahre begleitet und eine Unmenge “Keeper” geliefert (ohne die M10 zu ersetzen, die hat ihre eigenen Einsatzmöglichkeiten, die für die Q nicht erreichbar sind).
Ich hätte diesen Absatz auch “hinterher ist man immer schlauer” betiteln können. Dass ich von den Riesen-DNG’s der Q2 derart genervt sein würde, war das letzte, womit ich gerechnet hätte, als ich meine “alte” Q leichtsinnig vertickte.
Ehre sei der Q2, sie ist eine sehr gute Kamera! Aber ich fiel aus der Zielgruppe dafür heraus, als Leica beschloss, sie mit dem hochaufgelösten Sensor zu versehen. Meine Zweifel in der Hinsicht habe ich schon im ersten Artikel über die Q2 angemeldet (siehe letzter Absatz) und ultimativ hat dass meinen Entschluss bewirkt, mich von ihr zu trennen.
Jetzt werden sicher einige sagen: Was stellt der sich so an? Nur wegen der Auflösung? Wer sich so eine Kamera leisten kann, wird den Speicherplatz wohl auch noch erübrigen können. Aber das ist nicht mein eigentliches Problem damit.

Der Schädel des Bären. Leica Q bei f/1.7 1/60s ISO 5000
Leica hat den neuen Sensor für die Q2 genommen, um eine Käuferschicht zu gewinnen, die mit der 28mm-Brennweite nichts anfangen können. Nun kann man denen sagen, dass sie mit 50- oder 75er Bildrahmen bei akzeptabler Auflösung digital zoomen können. Vollkommen korrekt nur… ich brauche diese Option überhaupt nicht. Ich komponiere in der Regel mit der Q entsprechend ihrer 28mm-Brennweite, damit sind 24 MP mehr als genug. Selbst wenn ich mal auf 35- oder (manchmal bei Porträts) auf 50mm croppe, ist genug übrig. Die 47,3 MP der Q2 sind für mich persönlich Overkill.

Traualpsee. Leica Q bei f/4.0 1/640s ISO 100
Nach reiflicher Überlegung kam ich zu dem Schluss, dass mir die Ausgewogenheit der DNG’s der klassischen Q wichtiger ist als alle Verbesserungen der Hardware, die die Q2 bietet. Ursprünglich war ja auch ein Grund für das Abstossen der Q2 und der D-Lux7, dass ich mir die ständige “Qual der Wahl” zwischen den Kameras ersparen wollte und das stimmt auch. Aber zurückblickend kann ich sagen, dass das nie ein Problem war, als ich “nur” die Q1 und die M10 (oder die M240) hatte. Beide Kameras haben ihre klaren Einsatzgebiete (natürlich gibt es Überschneidungen).
Der langen Rede kurzer Sinn. Bei einem Fotohändler in der Nähe wurde eine Leica Q-P zu einem recht guten Preis angeboten, da schlug ich zu. Jetzt ist wieder alles beim Alten.
Neueste Kommentare