Dr. Stefan Lang am 20. November 2018
‚Limitations‘ – optionale Selbstkritik oder wissenschaftliche Notwendigkeit?
Die Autorenhinweise einiger Journals verlangen das ausdrücklich: ein Absatz in der Diskussion zu den Einschränkungen (limitations) einer Studie. Doch auch, wenn es das Journal nicht vorschreibt, sollte man in seinem Paper offensiv mit den limitations der Studie umgehen. Wie und Warum, erklärt dieser Beitrag.
Was heißt ‚Limitations‘?
Die ‚limitations‘ erklären, warum die Ergebnisse einer Studie nur eingeschränkt generalisierbar sind. Sie werden meistens in einem eigenen Absatz der Diskussion eines Originalartikels (research paper) oder auch einer Doktorarbeit behandelt. Die Gründe, warum Ergebnisse nur eingeschränkt aussagekräftig sind, können folgende Aspekte betreffen:
- interne Validität (z.B. Messfehler, sonstige methodische Probleme)
- externe Validität (z.B. Wahl der Studienpopulation, Stichprobe etc.)
Limitations sind Einschränkungen
Solche limitations schränken zwar die Generalisierbarkeit der Ergebnisse einer Studie ein – doch nicht unbedingt auch die Schlussfolgerung (conclusion), die man am Ende der Diskussion formuliert. Man muss also mit den limitations seine Arbeit nicht vollständig in Frage stellen.
‚Limitations‘ werden in allgemeinen medizinischen Journals häufiger offensiv benannt als in Journals, die bestimmte Spezialgebiete abdecken (ter Riet G et al. All That Glitters Isn’t Gold: A Survey on Acknowledgment of Limitations in Biomedical Studies. PLoS ONE 8(11)). Und viele klinische Journals verlangen einen Absatz zu den Limitations am Ende der Discussion ausdrücklich.
Wo werden die Limitations in einem Research Paper genannt? In der Discussion, im vorletzten Absatz.
Was spricht dagegen, die Limitations in seinem Paper oder in seiner Doktorarbeit zu nennen?
Was sind die Gründe, wenn Wissenschaftler und Wissenschaftlerinnen die Einschränkungen ihrer Studie nicht nennen? Der erste Grund ist banal: Sie sehen die limitations gar nicht. Eine wohl zutiefst menschliche Eigenschaft ist wohl, immer nur das zu sehen, was die eigene Meinung bestätigt, und alles andere auszublenden – vor allem, wenn man viel Zeit und Energie in eben diese Bestätigung gesteckt hat (Bestätigungsfehler, confirmation bias).
Der zweite Grund: Die Wissenschaftler möchten die Gutachter ihres Originalartikels nicht mit der Nase direkt auf die Schwachpunkte ihrer Arbeit stoßen – und damit womöglich selbst eine ‚Rejection‘ herbeiführen. Dieser zweite Grund ist Quatsch: Herausgeber und Reviewer wissen, dass keine Studie und kein Forschungsprojekt perfekt ist. Außerdem sind sie meist erfahrene Wissenschaftler und erkennen die Schwachpunkte eines Papers sofort.
Nennt man also offensiv die Limitations seiner Arbeit, zeugt das von wissenschaftlicher Ehrlichkeit und Professionalität, die von Herausgebern und Reviewern stets honoriert werden.
Die Reviewer der Journals erkennen die Limitations einer Studie meist sofort. Daher sollte man mit den Limitation der eigenen Arbeit offensiv umgehen.
Was spricht dafür, die Limitations in seinem Paper oder in seiner Doktorarbeit offensiv zu nennen?
Wie gesagt: Herausgeber und Reviewer erkennen die Schwachpunkte sowieso. Warum also die möglichen Kritikpunkte nicht gleich vorwegnehmen und somit womöglich aus der Welt schaffen? Vielleicht erhöht das sogar die Chancen auf ein „accepted“.
Außerdem ist der offene Umgang mit den Einschränkungen einer Studie Voraussetzung für eine zielführende und sinnstiftende wissenschaftliche Diskussion – klar, werden die Limitations nicht genannt, werden Studien eventuell eins ums andere Mal wiederholt, immer wieder, bevor ein nutzloser Wirkstoff dann endgültig in die Tonne getreten wird.
Limitations zu nennen, ist fast schon ein wissenschaftliches ‚Muss‘.
Die Limitations seines Papers oder seiner Doktorarbeit selbst erkennen
Wie erkennt man aber in seinem Manuskript die kritischen Punkte? Schließlich laufen wir ja alle Gefahr, einer confirmation bias, also einer Betriebsblindheit zu erliegen.
Advocatus Diaboli
Bitten Sie einen Kollegen, Ihr Paper oder Ihre Doktorarbeit kritisch zu lesen. Am besten suchen Sie sich jemanden, der nicht aus Ihrer eigenen Arbeitsgruppe stammt und schon gar kein Untergebener ist.
Suchen Sie sich lieber einen echten ‚Nerd‘, der für seinen übertriebenen Skeptizismus bekannt ist und / oder von dem Sie wissen, dass er Sie überhaupt nicht leiden kann.
Checklisten
Konsultieren Sie relevante Checklisten, die zur Prüfung einer wissenschaftlichen Studie dienen:
Distanz
Hilfreich, wenn auch nicht immer praktikabel: Lassen Sie das Manuskript, also Ihr Paper oder Ihre Doktorarbeit, für ein paar Wochen ruhen und nehmen Sie es sich dann erneut vor. Das hilft, einmal die Perspektive eines Herausgebers oder Reviewers einzunehmen.
Fazit
Für mich sind sie immer Bestandteil einer guten wissenschaftlichen Diskussion – die Limitations.
Dr. Stefan Lang
Das Paper-Protokoll
Eine systematische Schreibanleitung für biomedizinische Originalartikel
Wenn Forscher im Labor experimentieren oder in der Klinik Daten erheben, folgen sie genauen Anleitungen, die alle Arbeitsschritte exakt definieren. Eine solches Protokoll gibt es jetzt auch fürs Schreiben und Publizieren eines Research Papers.
Das Paper-Protokoll
kaufen bei
Paperback ISBN : 978-3-7345-4167-4
Hardcover ISBN : 978-3-7345-4168-1
E-Book ISBN : 978-3-7345-4169-8