[loginf] [Fwd: Spiegel Rangliste vom November 2004]

Prof. Dr. Peter H. Schmitt pschmitt at ira.uka.de
Fri Dec 17 18:17:35 CET 2004



-------- Original Message --------

	Prof. Dr. Volker Claus
	Vorsitzender des Fakultätentags Informatik
	Universität Stuttgart, Fakultät 5, FMI
	Universitätsstraße 38, 70569 Stuttgart
		16. Dezember 2004

Sehr geehrte Damen und Herren,
liebe Kolleginnen und Kollegen,

vor einigen Wochen hat der Spiegel die Ergebnisse seiner "Online-Umfrage
Studentenspiegel" veröffentlicht, um festzustellen, an welchen
Universitäten die klügsten Studenten studieren. Die Verantwortlichen bei
Spiegel, McKinsey und AOL haben die Ergebnisse nicht vorab mit den
betroffenen Fächern bzgl. möglicher Fehler diskutiert. Das hätte ihnen
viel Kritik erspart.

Unabhängig von der Frage, ob hier eine gute Idee im Hintergrund steht,
kann die Veröffentlichung der Ergebnisse guten Gewissens als
verantwortungslos eingestuft werden. Sie basiert auf einem nicht
allgemein zugänglichen Datenmaterial von minderer Qualität. Dem
Teilbereich "Informatik" entnimmt man Folgendes: Nach den vom Spiegel
selbst gesetzten Kriterien dürfen vier der fünf best bewerteten
Universitäten überhaupt nicht in der Liste auftreten, da bei ihnen
entweder kein Informatikstudiengang existiert oder nur ein
Bachelorstudium möglich ist; für die fünf bestbewerteten Hochschulen
bedeutet dies eine 80%ige Fehlerquote, die unter den diversen
Rankingversuchen einmalig sein dürfte und die jegliche Seriosität
vermissen lässt.

Aber auch die elementaren Rechenregeln beherrscht der Spiegel nicht. Die
große Rankingtabelle, die aus grünen, gelben und roten Punkten besteht,
lässt sich per Hand nachrechnen, und dort erweist es sich, dass 19:8 je
nach Hochschule einen anderen Wert ergibt. Auch 36:13 (» 2,77) liefert
nach Spiegelberechnungen den Wert 2,6 usw.

Rankings, die in der Presse publiziert werden, erfreuen sich hoher
Aufmerksamkeit. Ministerien fragen nach, Ehemaligenvereine erkundigen
sich, besorgte Eltern rufen an und viele Schüler und Schülerinnen
orientieren hieran ihre Entscheidung für eine Hochschule. Daher müssen
an jedes Ranking außerordentlich hohe wissenschaftliche Ansprüche
gestellt werden. Solche Ansprüche sind bei der Spiegelumfrage nicht zu
erkennen. Das zugrunde gelegte Datenmaterial ist offensichtlich falsch
oder ungeprüft übernommen worden, die Ergebnisse widersprechen den
eigenen Vorgaben des Spiegel, elementare Rechenregeln werden nicht
beherrscht, technische Maßnahmen zur Abwehr von Verfälschungen werden
nicht genannt, Gewichtungsfaktoren werden nicht offen gelegt, die
Einteilung in drei Qualitätsbereiche scheint willkürlich zu sein, die
Zuordnung zu diesen Bereichen ist nicht nachvollziehbar usw. Eine Haus-
oder Studienarbeit mit solchen Mängeln würde kein Hochschul-Institut
akzeptieren.

Nun steht zu befürchten, dass Ministerien oder Hochschulleitungen dieses
Ranking als ein Argument heranziehen, um - sagen wir es vorsichtig -
Sympathiewerte zu verteilen. Wer immer dieses vorhat, würde genau so
verantwortungslos handeln wie der Spiegel. Daher schicke ich Ihnen diese
Nachricht mit der Bitte, sie Ihren Kolleg(inn)en zukommen zu lassen und
durch die Email-Verbreitung einen ähnlich großen Anteil an der
Bevölkerung und an Entscheidungsträgern zu erreichen, wie es der Spiegel
kann.

Mit freundlichen Grüßen, Volker Claus

----------------------------------------------

Der beigefügte Text wurde in diese Mail hineinkopiert
für die, die die Anlage nicht öffnen können.

Anlage: Einige Details zur Online-Umfrage Studentenspiegel von
McKinsey&Company, AOL und SPIEGEL, veröffentlicht im Spiegel 48/2004,
Seiten 178-200.
Verwendete Materialien: Spiegelartikel und Ausführungen zur Methodik
(14-Seiten-Dokument:  www.studentenspiegel.de/methodik.pdf).

1. Vorbemerkung: Die Autoren verheimlichen alle wichtigen Details und
wiederholen nur gebetsmühlenartig im Spiegel-Artikel (siehe z.B. Seite
178, S. 182, S. 184, S. 190), dass sie hiermit die Beweise für die
Konzentration der besten Köpfe an wenigen Universitäten geführt hätten.

2. Warum bin ich zuständig? Als Vorsitzender des Fakultätentags
Informatik kann ich das Ergebnis auf Seite 198 nicht kommentarlos
hinnehmen. Hierdurch werden willkürlich engagierte
Hochschuleinrichtungen diskreditiert.

3. Wer hat sich beteiligt und wie viele sind dies?
Spiegelartikel, Seite 180: "Für die Rankings wurden nur Studierende im
Hauptstudium herangezogen"; S. 181: "Studenten im Hauptstudium in den 15
Fächern". Folglich haben sich nur Studierende, die im Sommersemester
2004 im Hauptstudium waren, beteiligt? Die Fragen im Fragebogen gehen
aber davon aus, dass die Befragten ihr Studium bereits beendet haben
dürfen. Der Bezug auf die Zahl "von rund 380.000 potenziellen
Teilnehmern" ist somit falsch: Es gibt viel mehr potenzielle Teilnehmer
(unrichtige Angaben durch Grundstudiumsstudierende gar nicht gerechnet)
und die Beteiligungsquote kann somit bei 5% oder drunter liegen.

4. Datenqualität: Wie wurde sichergestellt, dass die Teilnehmer sich
wirklich im Hauptstudium befinden? Inwiefern sind die
Selbsteinschätzungen relevant? Durch welche Maßnahmen wurde überprüft,
dass korrekt geantwortet wird? Hierzu gibt es keine echten
Informationen. Die Tatsache, dass sich fremde Studierende in der
Informatik-Spitzengruppe selbst zu Informatikern ernennen durften,
spricht dafür, dass keine ernsten Überprüfungen stattfanden.

5. Ungereimtheiten bei der Verarbeitung der Daten: Die Daten sollen
bereinigt worden sein, z.B. Justierung der Vordiplomsnoten entsprechend
des Durchschnittswertes dieser Fakultät (oder des Studiengangs?). Wie
wurden die Informatik-Noten an Standorten, an denen es keine Informatik
gibt, bereinigt? Man muss annehmen, dass dies nicht stattgefunden hat.
Auch die Studiendauer sei fachspezifisch relativiert worden, was
ebenfalls nicht geschehen sein kann. Die Formel, nach der der
Gesamtpunktwert aus jedem Datensatz ermittelt wurde, bleibt ebenfalls
geheim.

6. Berufsspezifische Gewichtungen.
Es wäre interessant zu erfahren, wie in jedem Fach gewichtet wurde.
Wurde berücksichtigt, dass gewisse (Industrie-)Praktika an manchen
Hochschulen verpflichtend, an anderen aber nicht vorgesehen sind? Wie
wurden die diversen Parameter gewichtet? Welchen Sinn machen
EDV-Kenntnisse bei Informatikern, Ingenieuren und Naturwissenschaftlern
usw.? All dies bleibt geheim. Es ist anzunehmen, dass die Autoren nicht
erhoben haben, wie sich die Ausbildungsordnungen an den einzelnen
Standorten unterscheiden und was dies für die Auswertung bedeutet.

7. Relevanz der Unterschiede zwischen den Universitäten.
Es liegen meist rund 12 Punkte zwischen dem ersten Platz mit ca. 62
Punkten und dem letzten Platz mit ca. 50 Punkten. Demnach wäre der
letzte Platz nur 20% schlechter als der erste, in der Informatik sind es
sogar nur 17%. In vielen Fächern können geringfügige ("zufällige")
Veränderungen bei den Eingaben einen Sprung aus der untersten in die
oberste Klasse bewirken.

8. Vergröberung der Daten.
Die Daten wurden in drei Gruppen eingeteilt. In der Spitzengruppe erhält
man 3, im Mittelfeld 2 und in der Schlussgruppe einen Punkt. Schauen Sie
sich diese Grenzen bei den Daten der einzelnen Fächer an! Oft ist es
unplausibel, warum nicht bei einem großen, sondern bei einem kleinen
Sprung der Schnitt zwischen den Gruppen gezogen wird, wodurch zwei eng
beieinander liegende Universitäten weit voneinander getrennt werden.
Generell liegt die Annahme zugrunde, alle Hochschulen müssten in drei
annähernd gleich große Gruppen eingeteilt werden. Warum können nicht nur
2 Hochschulen Spitze, 3 Hochschulen Mittelfeld und 30 Hochschulen
Schlussgruppe sein? Auch der in Deutschland in vielen Fächern
angestrebte Fall, dass alle Hochschulen möglichst dicht beieinander
liegen sollten und daher alle Fachbereiche zu einer Gruppe zählen, wird
ignoriert.

9: Ist überhaupt irgendetwas nachvollziehbar? Ja, nämlich Folgendes:
Auf Seite 5 wird das arithmetische Mittel der 1-2-3-Punktzahlen als
Ergebnispunktzahl genannt. Dort heißt es: "Je nachdem, ob die
Universitäten im unteren, mittleren oder  oberen Drittel eines
fachspezifischen Rankings lagen, erhielten sie einen, zwei oder drei
Punkte. Die Punktwerte wurden über die Anzahl der Fächer gemittelt, mit
denen die jeweilige Universität in den Rankings vertreten war, und die
Universitäten entsprechend ihrer durchschnittlichen Punktzahl
klassifiziert." Rechnen Sie dies in der Schlusstabelle aller
Universitäten nach! Sie erhalten z.B.:
  TU München  27 :  9 =	3,00. In der Tabelle steht: 3,0
  Leipzig, U  31 : 11 ->	2,82. In der Tabelle steht: 2,7 statt 2,8
  München, U  36 : 13 ->	2,77. In der Tabelle steht: 2,6 statt 2,8
  Tübingen, U 29 : 12 ->	2,42. In der Tabelle steht: 2,5 statt 2,4
  Mannheim, U 19 :  8 ->	2,38. In der Tabelle steht: 2,4
  Kaisersltn  19 :  8 ->	2,38. In der Tabelle steht: 2,3 statt 2,4
  Jena, U     26 : 11 ->	2,36. In der Tabelle steht: 2,2 statt 2,4
Wenn man es nicht vor sich liegen hätte, würde man eine derartige
Schlamperei nicht glauben. Man muss sogar annehmen, dass mit
fehlerhafter Soft- oder Hardware gearbeitet wurde und daher ohnehin alle
Berechnungen vollständig falsch sind.

10. Weitere Hinweise.
Es ist indiskutabel, dass der Fragebogen zusätzliche Fragen enthält (zur
Universität: spezifische Programme, Graduiertenkolleg, Industriekontakte
usw.), die sonst nirgends erwähnt werden. Wie fließen diese in die
Auswertung ein? Warum werden sie in den Erläuterungen verschwiegen?
In der Methodik heißt es, dass sich das Ranking auf Hochschulen
beschränkt, die mit mindestens 9 Fächern im Ranking vertreten sind. In
der Gesamtwertung treten aber sieben von 41 Hochschulen mit nur 8
Fächern auf.
Wie begründet sich die Zahl "18" als Minimalzahl der akzeptierten
Fragebögen eines Faches? Wurde diese Zahl 18 eingehalten? Vermutlich
nicht, wenn die Balkenangaben "Gesamt" in den Einzeltabellen stimmen;
denn dort wird die Zahl 18 oft nicht erreicht. Es gibt sogar Einträge
"keine Angabe", was zum Streichen solcher Zeilen hätte führen müssen.

11. Was war das Ziel der Umfrage?
Auf Seite 1 der Dokumentation steht: "Vielmehr erhalten sowohl
Studierende als auch Universitäten und Arbeitgeber wichtige
Informationen über den Qualifikationsgrad der Studierenden bestimmter
Fächergruppen."
Wie oben belegt, ist nichts an dieser Aussage wahr. Die Umfrage ist
reine Desinformation und muss zurückgezogen werden. Auch die
Pressefreiheit greift hier nicht: Pressefreiheit bezieht sich auf die
Verbreitung und Kommentierung vorhandener Informationen. Hier jedoch
werden Informationen neu erzeugt und daher muss eine derartige Erhebung
und Auswertung den wissenschaftlichen Kriterien genügen, die überall an
die Produktion von Wissen angelegt werden. Davon sind die Autoren
meilenweit entfernt.


-- 
Prof.Dr.P.H.Schmitt
Fakultät für Informatik
Universität Karlsruhe
-------------- next part --------------
A non-text attachment was scrubbed...
Name: SPIEGEL,alle,041216.DOC
Type: application/msword
Size: 38912 bytes
Desc: not available
Url : http://lists.tcs.ifi.lmu.de/pipermail/loginf/attachments/20041217/a01af3a0/SPIEGELalle041216.dot


More information about the loginf mailing list