Empfohlen 2019

Tipp Der Redaktion

Vierbeinige Schlange erschüttert den Squamate-Stammbaum - oder doch?
Transport: Eric Olofsson
Die NASA-Sonde Dawn ist auf dem Zwergenplaneten Ceres eingetroffen

Interview: Erhöhung des wissenschaftlichen Standards

Anonim

Letzten Monat habe ich über Jona Sassenhagen, den Neurowissenschaftler der Universität Marburg, der sich entschlossen hat, die einseitige Anhebung des wissenschaftlichen Standards zu versuchen, gebloggt .

Um es zusammenzufassen: Sassenhagen entschied sich für die Vorregistrierung einer Neurowissenschaftsstudie in einer öffentlichen Datenbank, dem DRKS . Die von ihm geplanten Methoden, die wichtigsten Datenanalyseschritte und die vorhergesagten Ergebnisse sind alle vorhanden. Sie sind seit über zwei Monaten dort oben, dh bevor die Daten gesammelt wurden.

Das ist ungewöhnlich. Die Vorregistrierung ist etwas, von dem ich lange argumentiert habe, dass es obligatorisch sein sollte, da ich denke, dass es gegen schlechte Praktiken schützen würde, die die Wissenschaft verzerren. Derzeit ist dies jedoch nur für klinische Prüfungen obligatorisch, nicht jedoch als "Grundlagenforschung".

Das Projekt " Anpassung späten positiver ERP-Komponenten an sprachliche Abweichungen" ("P600") wurde entwickelt, um zu testen, ob das Gehirn eine eindeutige elektrische Reaktion erzeugt - die P600 - insbesondere als Reaktion auf grammatikalische Fehler.

Nun berichtet Jona, dass er die Studie abgeschlossen hat, sie aufgeschrieben hat und sie zur Peer Review eingereicht hat (bereits!). Er hat freundlicherweise zugestimmt, einige Fragen zu beantworten.

Würden Sie insgesamt eine Vorregistrierung empfehlen? Bereuen Sie es nicht, es vorher getan zu haben?

Ich würde es für alles empfehlen, auch für rein explorative Analysen. Ich bedaure, dass ich es nicht schon gemacht habe. So viel wie möglich, werde ich alles registrieren, was ich in der Zukunft machen werde.

Ich habe im Moment zwei Papiere, die bestätigend sind, aber ich kann sie nicht einreichen, weil das Papier, in dem wir die Vorhersagen gemacht haben, abgelehnt wird. Hätte ich mich vorregistriert, wäre das nicht so problematisch gewesen.

Ich denke jedoch auch, dass es nicht ausreicht, dass bestätigende Studien die Ergebnisse und die grundlegenden Methoden vorregistrieren. Für echte Bestätigungsstudien benötigen wir eine vollständige Vorregistrierung der gesamten Analyse-Pipeline, wie der Vorschlag von Chris Chambers bei Cortex .

Haben Sie festgestellt, dass das Voranmelden bedeutete, dass die Studie mehr oder weniger Aufwand als die normale Vorgehensweise war?

Die Vorregistrierung selbst war anfangs einige Anstrengungen. Abgesehen davon hat dies nicht die tatsächlich an der Studie geleistete Arbeit verändert - es hat nur die Reihenfolge geändert. Es bedeutete mehr Arbeit von vornherein, aber danach weniger.

Es war vorher wesentlich mehr Arbeit; Ich stellte sicher, dass meine Skripte und mein Manuskript alle aufgeschrieben waren, als der erste Teilnehmer ankam. Wir reichten jedoch eine Woche nach Aufnahme des letzten Teilnehmers ein, 3 Wochen nach Beginn der Aufnahme.

Die Studie dauerte weniger als gewöhnlich, da ich wusste, dass ich später nicht schummeln konnte. Ich entschied mich für einen wirklich starken Effekt, und daher sagte mir meine Analyse, dass ich nicht zu viele Probanden brauche. Ich war auch ziemlich begeistert von dem ganzen Abenteuer.

Ich habe viele Nachtschichten gemacht!

Haben Sie sich vor der Registrierung mit Ihren Kollegen beraten? Wenn ja, was dachten sie darüber?

Ich fing an, es alleine zu machen, aber als ich während des Vorregistrierungsprozesses auf Probleme stieß (ein Teil der Terminologie machte für mich nicht viel Sinn), fragte ich meine Kollegen, und die Idee gefiel ihnen trotzdem Sie waren nicht zu begeistert. Es gibt noch einige Wege, bevor ich mein Labor davon überzeugen kann, mir auf dieser Straße zu folgen.

Die allgemeine Perspektive war, dass es keine schlechte Sache war, aber zuerst kam niemand wirklich darauf an. Später bekam mein Büromitglied den Punkt, als ich ihm Ihren Blogpost schickte.

Mein PI hat nachher den Punkt verstanden, als wir die Arbeit beendet hatten. An einem Punkt fragte sie: „Das klingt ein wenig explorativ für mich. Was ist, wenn ein Rezensent bezweifelt, ob wir das wirklich getestet haben?“ Und ich erinnerte sie daran, dass wir, wenn ein Rezensent beschließen würde, uns dort zu befragen, zeigen könnten zur Vorregistrierung, wo ich gesagt hatte, dass ich es testen würde. Dann hat sie sich mit der Idee aufgewärmt.

Was auch immer ihre persönlichen Gefühle waren, sie hat mich hier voll unterstützt, indem sie die Studie kurzfristig durchführte und mit dem schnellen Tempo der Fertigstellung des Manuskripts nach Abschluss der Datenerfassung Schritt hielt!

Haben Sie das Gefühl, dass das veröffentlichte Protokoll bei der Datenerfassung oder Analyse "Hände binden" würde?

Nun, das Vorregistrierungsverfahren, das ich durchlaufen habe, ist immer noch recht vage. Es ist das Standardverfahren zur Registrierung einer klinischen Studie und es ist definitiv viel besser als nichts. Aber es ist nicht zu streng. Ich musste mein Hauptergebnis und eine sehr grundlegende Skizze der Methoden festhalten. Es gab immer noch beträchtlichen Spielraum.

Mit einer vollständigen Vorregistrierung von Methoden wäre dies nicht ohne weiteres möglich gewesen. Ich denke, Sie müssen also im Vorfeld mehr Arbeit erledigen, einschließlich der Durchführung einiger Pilotversuche und des Testens Ihrer vollständigen Skripts. Wenn Sie eine vollständige Vorregistrierung von Methoden durchführen, werden Sie es nicht schaffen, einige vorläufige Testpersonen durchzuführen. Ich bin zuversichtlich, dass es unmöglich ist, etwas anderes als die trivialste Bestätigungsstudie durchzuführen, ohne einige Beispieldaten zur Vorbereitung Ihrer Skripte zur Verfügung zu haben.

Wir würden wahrscheinlich auch eine Verschiebung hin zu meist verlässlichen, starken Effekten feststellen. Sagen Sie der Welt, von der Sie erwarten, dass Sie X finden, und müssen dann Y melden.

Diese Idee war für mich ziemlich anstrengend. Andererseits kann man nicht behaupten, dass die Vorregistrierung mich zwang, mich dem Mainstream anzuschließen. Andererseits. Ich widerspreche hier entschieden dem Konsens (der das P600 mit der kombinatorischen Verarbeitung auf hohem Niveau verbindet). Aus diesem Grund habe ich mich für eine Vorregistrierung entschieden. So könnte jeder sagen, dass ich nicht geschummelt habe, um meinen (kontroversen) Punkt zu beweisen.

Schließlich bat mich Jona, eine Frage an die Leser von Neuroskeptic weiterzuleiten . Er ist bereit, die Rohdaten und seine Analyseskripts öffentlich zur Verfügung zu stellen. Kann jemand eine Plattform empfehlen, die solche Dinge hostet?

Top