Wie man wissenschaftliche Forschung bewertet
Nachdem ich drei Blogs über die Kontroverse um Antitranspirantien als Ursache für Brustkrebs geschrieben hatte, erhielt ich von einem unserer Kunden eine E-Mail mit einer wichtigen Frage.
„Danke, dass Sie mich daran erinnern, vorsichtiger mit dem zu sein, was ich im Internet sehe. Aber wie soll ich oder jemand ohne wissenschaftlichen Hintergrund wissen, worauf ich bei all den Studien achten soll, über die wir lesen?“
Der Naturwissenschaftslehrer in mir war von dieser Frage begeistert! Deshalb habe ich beschlossen, von meinem ursprünglichen Blog-Plan über natürliche Deodorants abzuweichen, um zu versuchen, die Frage zu beantworten.
Jeden Tag werden wir aus Zeitungen, Radio, Fernsehen und Internet mit wissenschaftlichen Informationen bombardiert.
Als Verbraucher müssen wir wissenschaftliche Behauptungen in der Werbung und den Medien häufig bewerten.
Werbung dient dem Verkauf von Produkten und in der Werbung werden häufig wissenschaftliche Behauptungen aufgestellt, um uns von den Vorteilen dieser Produkte zu überzeugen.
Für Laien kann es sehr schwierig sein, all das zu verstehen und glaubwürdige Behauptungen von glaubwürdigen wissenschaftlichen Studien zu unterscheiden. Wie können wir als Verbraucher also erkennen, was gute und was schlechte Wissenschaft ist?
Eine fundierte Bewertung einer wissenschaftlichen Forschungsarbeit erfordert ein gründliches Verständnis der Forschungsmethoden und des untersuchten Themas.
Der Zweck dieses Blogs besteht darin, einige grundlegende Informationen darüber bereitzustellen, wie man wissenschaftliche Behauptungen und Forschungsergebnisse kritischer betrachten kann.
Schlagzeilen sind oft irreführend
Zunächst einmal bin ich gegenüber Schlagzeilen immer skeptisch. Sie sind nicht nur meist irreführend, sondern auch oft ungenau – denken Sie daran, dass sie Ihre Aufmerksamkeit erregen sollen. Die Schlagzeile lautet beispielsweise: „Erdbeeren heilen Krebs.“
Doch wenn man den Artikel oder die Forschungsarbeit liest, zeigt die Studie tatsächlich, dass es einen Zusammenhang zwischen Ratten, die täglich ein Pfund Erdbeeren aßen, und einem verringerten Krebsrisiko gab.
Erstens sind Menschen keine Ratten und da eine durchschnittliche Ratte nur etwa ein halbes Pfund wiegt, kann ich mir nicht einmal vorstellen, wie viele Pfund Erdbeeren ein durchschnittlicher Mensch essen müsste, um die Studie an Menschen zu wiederholen.
Seien Sie auch vorsichtig bei Schlagzeilen, die Wörter wie „Es wurde ein Zusammenhang zwischen zwei Dingen gefunden“ enthalten , z. B. „Es wurde ein Zusammenhang zwischen dem Verzehr von Erdbeeren und Krebs gefunden.“ Wörter wie „Zusammenhang“ bedeuten zu oft, dass die berichteten Ergebnisse statistisch nicht signifikant sind.
Viele Menschen verwenden die Formulierung „Studien haben gezeigt …“, ohne die Studie zu zitieren. Ich weiß, dass ich mich selbst schuldig gemacht habe. Ob richtig oder falsch, ich stelle eine Studie, die besagt, dass „Kakaobutter feuchtigkeitsspendend wirkt“, nicht in Frage. Aber wenn es darum geht, eine Studie als Grundlage für wichtige Entscheidungen in meinem Leben zu verwenden, werde ich zum skeptischen Konsumenten – die Informationen sind falsch, bis sie sich als wahr erweisen.
Stellen Sie sich einige Fragen:
Finden Sie die Originalforschung
Ich möchte ein Zitat sehen, damit ich die Originalstudie lesen kann. Obwohl ich über gute wissenschaftliche Kenntnisse verfüge, fällt es mir möglicherweise immer noch schwer, eine wissenschaftliche Studie zu lesen. Daher stelle ich zunächst ein paar einfache Fragen zur Studie:
- Wer sind die Autoren bzw. Forscher? Welche Expertise haben sie?
- Sind die Autoren einer angesehenen Institution angeschlossen?
- Wurde die Studie in einer angesehenen Zeitschrift veröffentlicht?
- Wer hat die Studie bezahlt? Auch wenn Sie diese Informationen vielleicht nicht finden können, bin ich etwas besorgt, wenn eine Studie von dem Unternehmen bezahlt wird, das mir das Produkt verkaufen möchte.
- Haben andere Forscher die Studie kommentiert oder wiederholt? Anders ausgedrückt: Wurden die Ergebnisse von anderen Experten überprüft?
Verstehen Sie die wissenschaftliche Methode
Wissenschaftliche Untersuchungen, sei es von einem Schüler, der ein Projekt für eine Wissenschaftsmesse erstellt, oder von jemandem, der wissenschaftliche Forschung betreibt, folgen in gewisser Weise demselben grundlegenden Prozess, der als „wissenschaftliche Methode“ bezeichnet wird.
Es mag kompliziert erscheinen, aber wir nutzen die Schritte dieses Prozesses tatsächlich jeden Tag unseres Lebens, um einfache Entscheidungen zu treffen. Zum Beispiel: Der Wecker klingelt und Sie stehen auf …
Dies ist ein sehr vereinfachtes Beispiel der wissenschaftlichen Methode, aber es zeigt den Ablauf, wie Forschung durchgeführt und geschrieben wird.
Eine wissenschaftliche Forschungsarbeit enthält in der Regel die folgenden Abschnitte
Zusammenfassung: Dieser erste Abschnitt ist der letzte geschriebene Teil. Er ist eine vollständige Zusammenfassung der Arbeit. Er beschreibt den Zweck der Arbeit, die Durchführung der Arbeit, die Ergebnisse und die Schlussfolgerungen.
Einleitung: Dieser Abschnitt liefert Hintergrundinformationen zum Thema der Arbeit und beantwortet Fragen wie: Was ist die große Frage – welches Problem wird untersucht – was ist der Zweck der Studie? Warum ist die Frage wichtig? Welche Informationen zu dieser Frage waren bereits vor der Studie bekannt? Was erhoffen sich die Autoren von dieser Forschung? Was ist die Hypothese?
Materialien und Methoden: Die Forscher beschreiben, wie sie das Experiment oder die Untersuchung zur Prüfung ihrer Hypothese konzipiert haben.
Dieser Abschnitt liefert technische Details und beantwortet die Fragen: Wie haben die Forscher das Problem gelöst – wie haben sie das Experiment durchgeführt?
Dieser Abschnitt dient auch als Anleitung für diejenigen, die das Experiment wiederholen möchten. Dies ist einer der wichtigsten, aber auch schwierigsten Abschnitte. Nachfolgend finden Sie einige grundlegende Fragen, auf die Sie achten sollten.*
Ergebnisse: Dies ist eine objektive Zusammenfassung der in der Studie gewonnenen Daten und Beobachtungen. Sie enthält in der Regel viele Formeln und Statistiken und kann zudem schwer zu lesen sein. Werfen Sie einen Blick auf die Grafiken und Diagramme, um sich einen Eindruck von den Ergebnissen zu verschaffen. Dieser Abschnitt enthält keine Interpretation der Daten oder Schlussfolgerungen zu ihrer Bedeutung.
Diskussion: Die Autoren geben ihre Meinung ab, ziehen Schlussfolgerungen aus den Ergebnissen und interpretieren die Daten im Hinblick auf die ursprüngliche Fragestellung oder Hypothese. Hier sollten die Forscher auch ihr eigenes Experiment oder ihre Studie bewerten. Identifiziert der Autor Schwächen in seiner Studie? Ist weitere Forschung erforderlich? Die Diskussion gibt die Meinung des Autors wieder, die nicht unbedingt Fakten sein muss.
Wie man wissenschaftliche Forschung liest
Mein Ziel beim Lesen einer wissenschaftlichen Arbeit ist es, die Behauptung des Autors zu verstehen und zu prüfen, wie gut die Forschung diese Behauptung stützt . Für Anfänger ist das Lesen des Abstracts ein guter Einstieg. Bedenken Sie jedoch: Da das Abstract eine Zusammenfassung des gesamten Forschungsprojekts enthält, enthält es auch die Meinung des Forschers. Lassen Sie sich nicht von seiner Voreingenommenheit beeinflussen! Ich beginne gerne mit der Einleitung. Im Allgemeinen sind die Abschnitte Einleitung und Diskussion für Laien am einfachsten zu verstehen.
Für Wissenschaftler ist es bei ihrer Forschung am wichtigsten, ein gut durchdachtes Experiment durchzuführen, um ihre Hypothesen zu testen.
Die Gültigkeit einer Studie hängt maßgeblich vom experimentellen Verfahren, den Materialien und Methoden ab. Ist das Experiment nicht gut aufgebaut, ist die Studie bedeutungslos. Dieser Abschnitt ist oft sehr schwer zu lesen und zu verstehen.
Wie können wir also feststellen, ob das Experiment gut konzipiert war? *Hier sind einige grundlegende Fragen:
Waren genügend Personen an der Studie beteiligt, um tatsächlich eine statistische Signifikanz nachzuweisen?
Beispielsweise wurden in zwei Studien, die bei Frauen mit Brustkrebs hohe Aluminiumwerte feststellten, jeweils weniger als 20 Frauen untersucht. Es ist schwierig, aus 20 Personen zuverlässige Schlussfolgerungen zu ziehen. Dies bedeutet zwar nicht immer, dass die Ergebnisse ungültig sind, aber es sind weitere Tests an mehr Personen erforderlich, um dies sicherzustellen.
Gab es eine Kontrollgruppe?
Eine Kontrollgruppe in einem Experiment ist die Gruppe, die keine Behandlung erhält oder nicht an der untersuchten Krankheit oder dem untersuchten Problem leidet.
Sie dient als Vergleichspunkt. Ohne die Kontrollgruppe gäbe es keinen Vergleichspunkt für die Behandlungsgruppe.
Eine 2003 veröffentlichte Studie basierte beispielsweise auf Antworten aus Fragebögen, die an Frauen mit Brustkrebs verschickt wurden. Der Forscher berichtete, dass Frauen, bei denen Brustkrebs in jüngerem Alter diagnostiziert wurde, angaben, früher Antitranspirantien zu verwenden als Frauen, bei denen die Diagnose später gestellt wurde. Das Studiendesign sah jedoch keine Kontrollgruppe von Frauen vor, die bereits in jungen Jahren Antitranspirantien verwendeten und keinen Brustkrebs hatten.
Was ist mit den Variablen?
Bei der Durchführung eines Experiments ist die unabhängige Variable die Bedingung oder der Faktor, den Sie manipulieren oder verändern. Die abhängige Variable ist das Ergebnis der Manipulation. Wenn Sie beispielsweise messen, wie sich die Menge an Sonnenlicht auf das Wachstum einer Pflanzenart auswirkt, ist die unabhängige Variable die Menge an Sonnenlicht. Sie können steuern, wie viel Sonnenlicht jede Pflanze bekommt. Das Wachstum ist die abhängige Variable . Es ist die Auswirkung der Menge an Sonnenlicht.
Eine kontrollierte Variable ist jeder Faktor, der während eines Experiments konstant gehalten wird.
Ein einzelnes Experiment kann viele Kontrollvariablen haben, die sehr wichtig sind, da sie das Ergebnis beeinflussen können.
Wenn ich meinen Schülern beibrachte, wie man ein gutes Experiment durchführt, begann ich mit einer einfachen Übung. Die Frage, die sie beantworten mussten, lautete : „Wie lange dauert es, einen Eiswürfel zu schmelzen?“ Sie bekamen keine weiteren Informationen und durften mir keine Fragen stellen. Am nächsten Tag ging ich durch den Raum und schrieb ihre Antworten an die Tafel. Die Zeit zum Schmelzen eines Eiswürfels variierte von unter einer Minute bis zu zweieinhalb Stunden.
Die Kinder erklärten mir sofort, dass das Experiment schlecht war. Die Eiswürfel waren unterschiedlich groß; ich hatte ihnen nicht erklärt, wie man sie zum Schmelzen bringt (einige Schüler benutzten sogar eine Mikrowelle); manche legten ihre Eiswürfel auf ein kaltes Fensterbrett usw. Vor allem aber verstanden sie den Zweck nicht – die eigentliche Frage, die ich beantworten wollte.
Aus diesem albernen Experiment haben sie gelernt, dass wir nie genaue Ergebnisse erhalten, wenn wir den Zweck des Experiments nicht kennen und wenn wir die Dinge, die das Ergebnis unserer Experimente beeinflussen können – die sogenannten „kontrollierten Variablen“ – nicht kontrollieren.
Dann fragte ich: Was wäre, wenn wir die Frage ändern in : „Wie lange dauert es, einen 28-g-Eiswürfel bei einer Raumtemperatur von 21 °C zu schmelzen?“
Die Schüler wiesen schnell darauf hin, dass meine neue Frage zwar spezifischer, aber dennoch fehlerhaft war. Eiswürfel unterschiedlicher Form haben unterschiedliche Oberflächen; was wäre, wenn ein Ventilator darüber stünde? Was wäre, wenn der Eiswürfel in der Sonne stünde, die Raumtemperatur aber immer noch 21 Grad Celsius betrage? Sie lernten, wie schwierig es ist, Variablen selbst in einem sehr einfachen Experiment zu kontrollieren.
Stellen Sie sich nun vor, Sie versuchen, die Variablen bei einem Experiment mit Menschen zu kontrollieren. Forscher haben beispielsweise einen Zusammenhang zwischen der Entstehung von Brustkrebs und bestimmten Faktoren wie frühem Alter bei der ersten Periode, geringerer Kinderzahl, höherem Alter bei der ersten Geburt, Hormonersatztherapie und Fettleibigkeit festgestellt. Beim Lesen einer Studie über die Wirkung von Antitranspirantien auf Brustkrebs müssen wir uns fragen: „Wurde versucht, diese oder andere Variablen zu kontrollieren?“
Spiegeln die Korrelationen immer „Ursache und Wirkung“ wider?
Wissenschaftler suchen in der Natur häufig nach Ursache-Wirkungs-Beziehungen, um herauszufinden, inwieweit eine Variable mit einer anderen Variable zusammenhängt.
Dies wird als Korrelation oder als Messung der Beziehung zwischen zwei Dingen bezeichnet.
Kausalität bedeutet, dass eine Variable eine Änderung einer anderen bewirkt.
Wir dürfen nicht annehmen, dass zwei Dinge, nur weil sie sich gleichzeitig ändern, immer in einer Ursache-Wirkungs-Beziehung zueinander stehen.
Wir wissen, und Untersuchungen haben gezeigt, dass ein Zusammenhang zwischen steigenden Außentemperaturen und häufigeren Sonnenbränden besteht. In diesem Fall verursachte das Wetter einen Effekt , nämlich Sonnenbrand, und das ist verständlich.
Die Grafik „Korrelation ist nicht Kausalität“ zeigt jedoch, dass es tatsächlich einen Zusammenhang zwischen der Anzahl der Kinder in einem bestimmten Haushalt und der Anzahl der Storchennester auf dem Dach des Hauses gibt.
Obwohl es sich um einen interessanten Zusammenhang handelt, kann man wohl davon ausgehen, dass die Störche NICHT für größere Familien sorgen. Vielleicht liegt es einfach daran, dass die größeren Häuser nicht nur Platz für mehr Störche auf dem Dach bieten, sondern auch für mehr Kinder.
Dies könnte dazu beitragen, einige der Schlussfolgerungen der Forscher zu erklären.
So berichtete beispielsweise ein Forscher, dass Frauen, bei denen Brustkrebs in jüngerem Alter diagnostiziert wurde, angaben, früher Antitranspirantien verwendet und mit der Achselrasur begonnen zu haben.
Da Achselgeruch und Achselhaare mit der Pubertät einhergehen, haben Frauen, die früher mit der Anwendung von Antitranspirantien oder der Rasur begonnen haben, wahrscheinlich früher die Pubertät durchlaufen, was bedeutet, dass sie ihre erste Menstruation früher hatten. Eine frühe Menstruation gilt bereits als Risikofaktor für Brustkrebs. War der Anstieg der Brustkrebserkrankungen also wirklich auf die frühe Anwendung von Antitranspirantien oder den frühen Menstruationsbeginn zurückzuführen?
Abschluss
Um eine etwas vereinfachte Analogie zu ziehen: Ich kann die Bedeutung dieses Themas mit dem Prozess vergleichen, den wir beim Kauf eines neuen Autos durchlaufen.
Die meisten von uns sind keine Autoexperten und der Preis eines Autos ist eine ziemliche Investition.
Wir wissen, dass es keine gute Idee ist, sich ausschließlich auf die Informationen des Verkäufers oder die Werbung des Herstellers zu verlassen. Deshalb recherchieren wir so viel wie möglich, stellen fundierte Fragen und recherchieren weiter, um die bestmögliche Wahl zu treffen.
Dasselbe sollten wir tun, wenn wir „wissenschaftliche“ Behauptungen über Hautpflegeprodukte lesen.
Es ist keine leichte Aufgabe, jenseits des Fachjargons nach Verständnis zu suchen. Um informierte Verbraucher zu werden , müssen wir versuchen, über die Schlagzeilen hinauszublicken , die Informationsquelle genau zu prüfen, so viele Informationen wie möglich zu sammeln und viele Fragen zu stellen, um fundierte Entscheidungen in unserem Leben treffen zu können.
Dieser Blogbeitrag war keineswegs als umfassende Lektion zur Bewertung von Forschungsergebnissen gedacht. Studierende, die sich mit Naturwissenschaften oder wissenschaftlicher Forschung beschäftigen, belegen oft ein ganzes Semester oder mehr, nur um zu lernen, wie man wissenschaftliche Forschungsergebnisse liest, interpretiert und bewertet. Ich hoffe, diese Informationen waren hilfreich.
