Dr. Stefan Lang am 31. Juli 2018

Was ist eigentlich Fake Science?

Kategorie Schreib- und Publikationsprozess

Ich bin der letzte, der behaupten würde, im Wissenschaftsbetrieb laufe generell alles einwandfrei. Daher war ich sehr auf den Beitrag in der ARD „Fake Science – Die Lügenmacher“ gespannt, der einen handfesten Wissenschaftsskandal ankündigte. Doch am Ende blieben viele Fragen ungeklärt, zu viele für das Etikett „Skandal“.

Im Visier der Recherche der Journalisten von WDR, NDR und Süddeutscher Zeitung standen die predatory journals oder Raubtier-Journale, in denen mehr als 5.000 deutsche Wissenschaftler ihre Paper veröffentlicht und somit – so deutete es der Beitrag an – Fake Science verbreitet hätten: Fake Science – Die Lügenmacher.

Sicher, eine Veröffentlichung falscher Daten setzt Unwahrheiten in die Welt, die schweren Schaden anrichten. Aber haben die 5.000 Wissenschaftler tatsächlich gefaket, also gefälscht? Und was genau sind Raubtier-Journale und wie haben die Autoren des Beitrags sie definiert? Beide Definitionen, die eines Raubtier-Journals und die von Fake Science sind entscheidend, um das Ausmaß des Problems abschätzen und die Zahl 5.000 beurteilen zu können.

Was definiert ein Raubtier-Journal?

Im Kern haben die Autoren Raubtier-Journale wie folgt definiert:

• Autoren müssen für die Publikation zahlen.
• Es gibt keine oder keine vernünftige Begutachtung (Review-Prozess).

Zahlen muss man allerdings oft auch bei seriösen Journalen, wenn ein Manuskript zum Beispiel farbige Abbildungen enthält. Das allein kann nicht das Kriterium sein, wohl aber in Kombination mit dem nächsten Punkt: kein vernünftiger Review-Prozess. Denn das würde bedeuten: Man zahlt, um eine strenge Prüfung der wissenschaftlichen Plausibilität zu vermeiden und dennoch publiziert zu werden. So etwas gibt es und das muss man anprangern.

Die Frage ist jedoch, ob es den 5.000 deutschen Wissenschaftlern vor ihrer Veröffentlichung bewusst war oder bekannt sein konnte, dass es bei dem Review-Prozess der betreffenden Zeitschrift nicht astrein zugeht. Oder kurzum: Wie viele haben sich bewusst für den korrupten Weg entschieden und wie viele wussten es einfach nicht besser?

Ob tatsächlich eine wissenschaftliche Begutachtung bei einem Journal stattfindet, kann man aus eigenen Erfahrungen oder denen seiner Kollegen schließen. Man kann es auch überprüfen, indem man testweise ein paar Nonsense-Paper einreicht (so wie im Beitrag auch die Fake-Konferenzen enttarnt wurden). Für den einzelnen Wissenschaftler ist es jedoch bei der Vielzahl wissenschaftlicher Journale alles andere als leicht, hier ein schnelles und eindeutiges Urteil zu fällen. Ich würde also annehmen, dass sich nicht alle der 5.000 Wissenschaftler bewusst für die Peer-Review-freie Variante entschieden haben.

Was definiert ein Raubtier-Journal nicht?

Es gibt einfach Nischen-Themen ohne allgemeines wissenschaftliches Interesse. Manche dieser Nischenthemen werden in Nischen-Journalen publiziert, die entsprechend selten zitiert werden. Der Impact Factor (IF) strebt gegen Null – aber sind das dann schon Raubtier-Journale? Mitunter haben einige dieser Nischen-Journals einen äußerst strengen Review-Prozess, andere haben gar keinen. Der IF oder irgendein anderes Zitationsmaß kann also kein Kriterium sein.

Was ist Fake Science?

Der Beitrag „Fake Science – Die Lügenmacher“ ließ vermuten, dass Wissenschaftler, die in den wie auch immer definierten Raubtier-Journals publizieren, per se Fake Science verbreiten. Was aber ist Fake Science? Sind es gefälschte, schlecht erhobene oder überinterpretierte Daten?

Insgesamt 170.000 Paper seien für den Beitrag ausgewertet worden. Aber wie viele enthielten nun gefälschte oder erfundene Daten, wo war „nur“ die Statistik nicht ganz state-of-the-art, in wie vielen beruhten die Schlussfolgerungen auf etwas zu dünnen oder sonst wie diskussionswürdigen Ergebnissen? Ich bezweifle, dass sich die Autoren des Beitrags tatsächlich so tief in die Materie begeben haben – bei 170.000 Papern? „Fake“ ist schon ein großes Wort, man sollte es mit Bedacht wählen.

Der Rückschluss „Publikation in einem Schrott-Journal = Fake Science“, ich weiß nicht, erscheint mir doch sehr gewagt. Bei einigen Wissenschaftlern mag der Vorwurf stimmen, bei anderen nicht. Welcher Anteil von den 5.000 Wissenschaftlern also tatsächlich betroffen ist, ist – ohne den Nachweis eines konkreten wissenschaftlichen Fehlverhaltens – schwer zu sagen.

Wer publiziert in einem Raubtier-Journal?

Was könnten eigentlich die Motive eines Wissenschaftlers sein, in einem Raubtier-Journal zu publizieren?

• Daten, ob Fake oder nicht, sollen schnell und einfach, quick & dirty, publiziert werden, um die eigene Publikationsliste aufzumöbeln: Fragt sich nur – für wen? Berufungskommissionen oder Gremien zur Bewertung von Forschungsanträgen sehen sich die Publikationslisten der Bewerber schon etwas genauer an. Das würde also nichts bringen.
• Daten sollen schnell und einfach, quick & dirty, publiziert werden, um ein Projekt kurz vor dem Auslaufen des eigenen Arbeitsvertrages wenigstens irgendwie abzuschließen. Das könnte ein Motiv sein – aber es sagt nichts über die Qualität der Daten aus.
• Daten sollen nun endlich publiziert werden, nachdem man es erfolglos bei diversen renommierten Journals probiert hat. Das könnte ein Motiv sein – aber es sagt nichts über die Qualität der Daten aus.
• Firmen publizieren schwache Daten, nur um in Marketing-Materialien darauf referenzieren zu können. Für den Laien kann das dann wie solide Forschung aussehen, auch wenn es das vielleicht gar nicht ist. Das ist tatsächlich ein Problem. Nur: Die 5.000 Wissenschaftlern stammten zu weiten Teilen aus der akademischen Forschung.
• Betrüger wollen ihren wirkungsfreien oder zumindest zweifelhaften Produkten ein wissenschaftliches Image aufdrücken, um Patienten übers Ohr zu hauen. Das ist ganz klar Betrug und ein gefährliches Spiel mit der Gesundheit von Menschen. So etwas findet auch mit Hilfe der Raubtier-Journale statt, aber auch mit professionell aussehenden Webseiten, mit Büchern, die im Eigenverlag herausgegeben wurden etc.

Das eigentliche Problem

Für die Zulassung einer Therapie braucht es zum Glück schon etwas mehr als nur die Publikation in einem Raubtier-Journal, das womöglich nicht einmal bei PubMed gelistet ist. Experten erkennen zumeist schlechte Forschung, ganz gleich, wo sie publiziert wurde. Das Problem sind eher Journalisten, Medien und Laien, die schlechte Forschung völlig unkritisch mit dem Siegel „wissenschaftlich bewiesen“ versehen und in Artikeln, Blogs und Kommentaren weiter verbreiten. Wir alle wissen: Wenn man den größten Stuss nur oft genug wiederholt, wird er irgendwann geglaubt.

Die Frage ist daher: Kann man von Journalisten, Medien und Laien überhaupt erwarten, schlechte Forschung zu erkennen? Nein, denn wissenschaftliche Paper zu Studienergebnissen sind nun einmal Fachtexte für Fachleute. Journalisten, Medien und Laien kommen also nicht umhin, einen echten Fachmann zu konsultieren, bevor sie einen Artikel oder Blogbeitrag zu einem medizinischen Thema verfassen und veröffentlichen. Die Betonung liegt auf „echter“ Fachmann. Eine schnelle Konsultation bei Dr. Google und seinen Assistenzärzten genügt hier also nicht – genauso wenig wie der Verweis auf eine einzige Quelle, deren Wahrheitsgehalt und Qualität man nicht einschätzen kann.

Gleiches gilt natürlich auch für die im Beitrag genannten Fake-Konferenzen. Wobei es einen natürlich stutzig machen sollte, wenn zu einer wissenschaftlichen Konferenz weniger als 50 People erscheinen, die alle in völlig unterschiedlichen Fachbereichen arbeiten. Wie, bitte, haben die eigentlich diskutiert? Dass Wissenschaftler auf eine professionell aussehende Webseite hereinfallen und sich für einen Fake-Kongress anmelden, ist ein verzeihbarer Fehler – solange er nur einmal passiert.

Fazit

Ich vermag nicht zu sagen, ob bei „Fake Science – Die Lügenmacher“ tatsächlich ein Skandal aufgedeckt wurde. Manch Kritikwürdiges wurde genannt, in der Tat, wie etwa Verschwendung von Steuergeldern durch Fake-Kongresse und natürlich all die Versuche, schlechte Daten auf-Teufel-komm-raus zu publizieren – wobei andere Methoden, schlechte Daten zu „adeln“, überhaupt nicht erwähnt wurden: Gast-Autoren etwa, die mit ihrer Bekanntheit helfen, ein Manuskript in einem hochrangigen Journal zu platzieren, auch wenn es das Paper eigentlich nicht verdient hat.

Wissenschaftlern, die sich aber nun zurecht kritisch mit der Methodik der Untersuchung „Fake Science – Die Lügenmacher“ auseinandersetzen, wird unterstellt, ein Problem „kleinreden zu wollen“. Das tun sie nicht, denn wie groß dieses Problem tatsächlich ist – das ist durch den Beitrag „Fake Science – Die Lügenmacher“ nicht klar geworden.