Das Unbehagen in der Statistik…

…pflege ich ja nicht allzu exzessiv. Das „Traue keiner Statistik…“, mit dem regelmäßig Churchhill verunglimpft wird, ist a) Dummfug und entstammt b) der Nazipropaganda.

Man kann problemlos ordentliche, aussagekräftige Statistik betreiben. Man kann problemlos korrekte, transparente statistische Analysen publizieren. Das schaffen Leute so ab dem vierten Semester, und ich muss es wissen, ich hatte die in meinen Tutorien seinerzeit.

Jetzt muss ich ein wenig ausholen. Heute war Pl0gbar in Bochum, und wir hattens von Userbefragungen, wir kamen über die Bildblog-Leserumfrage drauf und ich sagte, ich fand die Umfrage eigentlich ganz fein, dann kamen wir auf andere Umfragen, und ich muss noch mal abschweifen.

Ich hab eine große Sympathie für Leute, die Umfragen machen. Schlicht aus dem Grund, weil ich lange Zeit in der Jugendforschung auch welche machte uns weiß, wie schwer es gelegentlich ist, ordentliche Stichproben zu kriegen. Ich illustrier das mal mit einer weiteren Abschweifung. Wir untersuchten politische Orientierungen Jugendlicher in Stuttgart, in Abhängigkeit von Migrationshintergrund, bildung usw., natürlich gings auch um Gewalt, Devianz usw. Jedenfalls, wir waren im Jugendhaus und quälten Jugendliche mit Fragebögen und Videointerviews. Einer tat sich recht hervor beim Ausfüllen, von wegen Gewalt und Probleme, da seien wir hier ganz falsch, hier seien die Leute alle voll korrekt, aber die problematischeren Typen würden ab $uhrzeit in $stadtpark rumhängen. Wir fragten natürlich, ob er da dann auch wäre; klar, wär er. Ob wir mitkommen könnten? Klar, können wir.

Die Geschichte endete damit, dass wir mit einer Handvoll völlig zugekiffter Jugendlichen nachts um elf in Stuttgart in nem Park rumhingen und wir sie Fragebögen ausfüllen ließen. Die Lesekompetenz war aufschlussreich und es gab einige Anregungen zur sprachlichen Ausgestaltung zukünftiger Fragebögen, und einige wunderbare Erkenntnisse – beispielsweise die nachfrage einer unserer Mädels, warum hier nur Jungs seien. Uns wurde erklärt, dass Frauen vermutlich scheiße angemacht würden, wenn sie hier auftauchen würden, weil das halt so dazugehöre. Aber eigentlich seis ja voll doof, weil sie so nie Frauen kennenlernen. Und außerdem seien die eh viel cleverer, die treffen sich zuhause im Warmen, und sie selber stehen hier in der Kälte rum und treffen niemanden.

Ich glaube, damals hatten wir ne durchaus repräsentative Stichprobe, und nebenbei denke ich auch heute, dass selbst eine simple Fragebogen-Aktion ein paar Leute zum ein wenig mehr Nachdenken bewegt hat. Ende der Abschweifung, nächste Geschichte.

Mich rief seinerzeit in der zweiten Tübinger WG mal Infratest Dimap an. Sonntagsfrage und alles andere, ob ich ne Viertelstunde Zeit hätte. Da ich selber zu der Zeit Befragungen erstellte, war ich natürlich neugierig, was die professionelle Konkurrenz so baute – deswegen bin ich bis heute sehr bereit, anderer Leute Umfragen und Erhebungen mitzumachen.

Jedenfalls, ich wurde viele Sachen gefragt, und nach 20 Minuten fragte ich nach, wie viel wir schon hätten, wegen Viertelstunde und so. Ja, das meiste schon durch. Fünf Fragen später fragte ich nochmal, das gehe jetzt doch etwas auseinander mit Dauer und Ankündigung. Ja, das sei halt so, tut ihr auch leid, aber nur noch ein paar Fragen. OK, ich sag, ich würd selber Umfragen designen und durchführen und kenn das Problem, wenn ein entsprechend leseschwacher Jugendlicher auf Seite 3 von 8 beginnt zu verzweifeln: wieviele der heute von ihr befragten Kontakten hätten denn bis zu der jetzigen Frage mitgemacht? Nun, ich sei der erste. (Es war später Nachmittag).

Was zu Stichproben. Stichproben funktionieren. Man kann tausend Leute befragen und kann verläßliche Ergebnisse über alle 80+x Millionen Deutsche kriegen, das geht prima. Nur muss die Stichprobe zufallsverteilt sein und nicht zufällig nur SPD-wählende Lehramtsstudenten umfassen oder alleinerziehende Hausfrauen auf Hartz IV.

Nun verglichen wir unsere Befragungserfahrungen und das Phänomen der zu langen Befragungen war in unserer (zugegebenermaßen nicht repräsentativen) Stichprobe durchgehend vorhanden. Ich leite ab, dass es zu lange Befragungen als Phänomen faktisch *gibt* und sie auch von namhaften Meinungsforschungsinstituten durchgeführt wurden.

Jetzt meine erste Kernthese nach aller Abschweiferei: Ich vermute, dass ein großer Teil der publizierten Umfrageergebnisse in Deutschland nicht eine repräsentative Stichprobe aller Deutschen abbildet, sondern eine ausgewählte Stichprobe sehr geduldiger Deutscher mit überdurchschnittlicher Empathie für vermutlich nach beendeten Fragebögen provisionierten Umfragesklaven.

Zweite Kernthese: Das kann jeder (abgebrochene) Soziologe jedem Meinungsforschungsinstitut nach sechs einigermaßen ernsthaft bestrittenen Semestern diagnostizieren und entsprechend die Befragungen gestalten. Das passiert aber offenbar häufig nicht. Was mich wundert, weil die Geschichte mit dem arbeitslosen und dem beschäftigten Soziologen ja durchaus schon Sprichwortgut ist, ersterer sagt zu letzterem bekanntlich „Einmal Pommes rotweiß“.

Solang es 45 Minuten dauernde Telefonbefragungen in .de gibt, haben offenbar zu wenig Soziologen einen Job in der Meinungsforschung. Was mich zu meiner dritten Hauptthese bringt.

Hallo, Allensbach! Gib mir viel Geld und ich gestalte dir eine Methodologie, mit der man politische und andere Orientierungen von mitleidigen 45-Minuten-Umfragen-Beantwortern von denen ungeduldiger Nach-10-Minuten-Auflegern unterscheiden kann und sie statistisch korrekt gegeneinander gewichten kann. Ich hoff aber, ihr habt schon wen, der das macht. Alles andere würde mich ein wenig deprimieren.