Dr. Stefan Lang am 20. November 2018
Gehören die ‚Limitations‘ einer Studie in einen Originalartikel?
Die Autorenhinweise einiger Journals verlangen das ausdrücklich: ein Absatz zu den Einschränkungen (Limitations) einer Studie. Doch auch, wenn es das Journal nicht vorschreibt, sollte man in seinem Originalartikel offensiv mit den Limitations der Studie umgehen. Wie und Warum, erklärt dieser Beitrag.
Was sind die Limitationen einer Studie? Die ‚Limitations‘ erklären, warum die Ergebnisse einer Studie nur eingeschränkt generalisierbar sind, also nur eingeschränkt gelten. Das liegt meist an methodischen Problemen. Die Gründe können folgende Aspekte betreffen:
- interne Validität (z.B. Messfehler, Probleme bei der Datenerhebung)
- externe Validität (z.B. Wahl der Studienpopulation, Stichprobe etc.)
Wo nennt man die Limitations einer Studie?
Die Limitations werden meist in einem eigenen Absatz in der Diskussion eines Originalartikels behandelt. Traditionell ist das der vorletzte Absatz. Im letzten Absatz folgt dann die Conclusion.
Dabei sollten die methodischen Einschränkungen nicht einfach genannt, sondern angemessen diskutiert werden. Denn die Limitations können zwar die Generalisierbarkeit der Ergebnisse einer Studie einschränken – doch nicht unbedingt auch die Conclusion, die man am Ende der Diskussion formuliert. Man muss also vorsichtig abwägen, inwieweit die methodischen Probleme die wissenschaftlichen Aussagen abschwächen. Was man nicht muss, ist seine Studienergebnisse vollständig infrage zu stellen.
‚Limitations‘ werden übrigens in allgemeinen medizinischen Journals häufiger offensiv benannt als in Journals, die nur bestimmte Spezialgebiete abdecken (ter Riet G et al. All That Glitters Isn’t Gold: A Survey on Acknowledgment of Limitations in Biomedical Studies. PLoS ONE 8(11)).
Warum werden die Limitations einer Studie oft nicht genannt?
Was sind die Gründe, warum Wissenschaftler und Wissenschaftlerinnen die Einschränkungen ihrer Studie nicht nennen wollen? Der erste Grund ist banal: Sie sehen die limitations gar nicht. Eine zutiefst menschliche Eigenschaft ist wohl, immer nur das zu sehen, was die eigene Meinung bestätigt, und alles andere auszublenden (Bestätigungsfehler, confirmation bias).
Der zweite Grund: Die Wissenschaftler möchten die Gutachter ihres Originalartikels nicht mit der Nase direkt auf die Schwachpunkte ihrer Arbeit stoßen und damit womöglich selbst eine ‚Rejection‘ herbeiführen. Dieser zweite Grund ist Quatsch: Reviewer sind erfahrene Wissenschaftler und erkennen die Schwachpunkte eines Orignalartikels sofort. Außerdem wissen sie, dass keine Studie perfekt ist.
Warum sollte man die Limitations in seinem Originalartikel unbedingt nennen?
Nennt man offensiv die Limitations, zeugt das von wissenschaftlicher Ehrlichkeit und Professionalität, die von den Reviewern stets honoriert werden. Wie gesagt: Reviewer erkennen die Schwachpunkte sowieso. Warum also die möglichen Kritikpunkte nicht gleich vorwegnehmen und somit aus der Welt schaffen? Das kann sogar die Chancen auf ein „accepted“ erhöhen.
Außerdem ist der offene Umgang mit den Einschränkungen einer Studie Voraussetzung für eine offene Diskussion innerhalb der Scientific Community. Werden die Limitations nicht genannt, werden Studien eventuell eins ums andere Mal wiederholt, bevor iregndwann ein nutzloser Wirkstoff dann doch in die Tonne getreten wird.
Wie kann ich die wichtigsten Limitations meiner Studie identifizieren?
Wie erkennt man in seinem Manuskript die kritischen Punkte? Schließlich laufen wir ja alle Gefahr, einer confirmation bias, also einer Betriebsblindheit zu erliegen.
Checklisten
Konsultieren Sie relevante Checklisten, die zur Prüfung einer wissenschaftlichen Studie dienen:
Distanz
Hilfreich, wenn auch nicht immer praktikabel: Lassen Sie das Manuskript für ein paar Wochen ruhen und nehmen Sie es sich dann erneut vor. Das hilft, einmal die Perspektive eines Herausgebers oder Reviewers einzunehmen.
Advocatus Diaboli
Bitten Sie einen Kollegen, Ihren Originalartikel kritisch zu lesen. Am besten suchen Sie sich jemanden, der nicht aus Ihrer eigenen Arbeitsgruppe stammt und schon gar kein Untergebener ist. Suchen Sie sich lieber einen echten ‚Nerd‘, der für seinen übertriebenen Skeptizismus bekannt ist und / oder von dem Sie sicher wissen, dass er Sie nicht mag.
Fazit
Für mich sind sie immer Bestandteil einer guten wissenschaftlichen Diskussion – die Limitations.
Dr. Stefan Lang
Das Paper-Protokoll
Eine systematische Schreibanleitung für biomedizinische Originalartikel
Wenn Forscher im Labor experimentieren oder in der Klinik Daten erheben, folgen sie genauen Anleitungen, die alle Arbeitsschritte exakt definieren. Eine solches Protokoll gibt es jetzt auch fürs Schreiben und Publizieren eines Research Papers.
Das Paper-Protokoll
kaufen bei
Paperback ISBN : 978-3-7345-4167-4
Hardcover ISBN : 978-3-7345-4168-1
E-Book ISBN : 978-3-7345-4169-8