Hoe weet je of een COVID-19 artikel gebaseerd is op slecht onderzoek?

Sinds de start van de pandemie worden manuscripten over SARS-CoV-2 of COVID-19 met hoge snelheid gepubliceerd, soms als prepublications op sites zoals MedRxiv en BioRxiv. Dit is een belangrijke manier om snel kennis te delen in de hoop meer inzicht te krijgen in de ziekte, een behandeling te vinden, en vaccins te ontwikkelen. Voor degenen die het niet weten: het reguliere publicatieproces van een manuscript kan lang duren, tijd die we momenteel niet hebben.

Het nadeel van deze snelle publicaties is dat prepublications helemaal niet peer-reviewed zijn en dat veel van de andere publicaties een supersnel peer review-proces hebben doorlopen dat te snel was om problemen te ontdekken. Als gevolg hiervan wordt er, samen met de snelle publicatie van belangrijke vorderingen, ook veel slecht onderzoek gepubliceerd.

Hoe kom je er nou achter of een snel gepubliceerd artikel inderdaad degelijk onderzoek bevat, voornamelijk slecht onderzoek (of zelfs fraude), of iets daartussenin? Waar vind je of andere onderzoekers onregelmatigheden hebben gevonden in een (COVID-19) publicatie? Hieronder staan ​​enkele bronnen die kunnen helpen om slecht onderzoek op te sporen, maar die natuurlijk ook na de COVID-19 pandemie handig zijn om te kennen.

Preprint server

Wanneer een manuscript vooraf is gepubliceerd op een preprint-server zoals MedRxiv of BioRxiv, bevat het linkjes eronder naar tweets die het manuscript vermelden, blogs die erover zijn geschreven, en naar commentaren gepubliceerd op PubPeer (zie hieronder). Daarnaast hebben de preprint servers ruimte onder elk artikel waar collega’s hun opmerkingen kunnen achterlaten. Op deze manier worden dubieuze resultaten of gewoon slecht onderzoek vaak snel geïdentificeerd, wat vooral belangrijk is wanneer manuscripten veel -onverdiende- aandacht krijgen in de media.

Openbare peer review

Er is ook een website genaamd PubPeer, die dienst doet als een online tijdschriftenclub. Hier wordt elk artikel besproken dat vragen oproept. Vaak gaat het om kleine punten die door de auteurs kunnen worden gecorrigeerd voordat een artikel in zijn definitieve vorm wordt gepubliceerd. Er zijn echter ook gevallen waarin ernstige problemen met een artikel worden gevonden. Voor de hand liggende voorbeelden zijn de verschillende publicaties over hydroxychloroquine voor de behandeling van COVID-19, zoals die van Gautret et al. waarover meer dan 65 opmerkingen op PubPeer staan die wezen op veel problemen met de inclusie, eindpunten, analyses, en resultaten. Of het artikel van Ren et al. waarin één patiënt (n = 1!) met succes werd behandeld voor COVID-19 met traditionele Chinese geneeskunde maar nooit werd getest voor SARS-CoV-2…

Een andere plek waar veel openbare peer review wordt gepubliceerd, is twitter. Zoek bijvoorbeeld naar de hashtags #ImageForensics en #RetractionWatch, of zoek met de doi van het artikel waarin je geïnteresseerd bent.

PREreview

PREreview is ook een website waar reviews worden geplaatst, deze website behandelt echter alleen prepublications, zoals die gepubliceerd op MedRxiv, BioRxiv, en Preprints.org. De reviews op deze website lijken meer op journal club reviews in de zin dat het hele artikel wordt besproken, niet alleen de gebreken. Er lijkt veel moeite te worden gestoken in de beoordelingen.

Daarnaast kan men hier een review van een specifiek manuscript aanvragen, wat handig is als je niet de kennis hebt om een specifiek manuscript zelf te beoordelen.

Een recent opgezette database verzamelt specifiek reviews van prepublished manuscripten over COVID-19 of SARS-CoV-2. De reviews zijn geschreven door wetenschappers van het Human Immune Monitoring Center van Mount Sinai (New York). Ik weet niet of deze site gebruiksvriendelijk is, de reviews worden echter ook gepost door het Sinai Immunology Review Project onder de artikelen op de preprint-servers die boven al genoemd zijn.

Slordigheid en fraude in slecht onderzoek

De wetenschapper Elisabeth Bik heeft het tot haar baan gemaakt om dubbele -of anderszins gemanipuleerde- afbeeldingen in wetenschappelijke artikelen te identificeren. Ze rapporteert deze duplicaties op twitter @MicrobiomDigest, en op haar website Science Integrity Digest. In sommige tijdschriften komt duplicatie van afbeeldingen vaker voor dan in andere, Bik vond zelfs één tijdschrift waarin 15% van de 675 artikelen dubbele afbeeldingen bevatten! Dit is waarschijnlijk het resultaat van slordige of kwaadwillende onderzoekers in combinatie met een slordig of ontbrekend peer review proces.

Verschillende van haar recente blogs gaan over slechte wetenschap in COVID-19-onderzoek, zoals deze studie bij senioren waarbij de deelnemers aan de controle- en behandelingsgroepen niet gerandomiseerd waren en niet even ziek waren. Je kunt hier een lijst met andere dubieuze COVID-19-artikelen vinden die Bik heeft besproken.

Bik brengt ook andere wetenschappelijke integriteitsproblemen aan het licht, variërend van wangedrag bij dierexperimenten tot publicaties op basis van slecht onderzoek in het algemeen.

Achtergrond verhalen over slecht onderzoek

De website For Better Science is een website van Leonid Schneider die zich richt op integriteit in Life Sciences en Biomedicine. Het bevat veel goed onderzochte verhalen over dubieuze wetenschappers, zoals over Mauro Ferrari. Ferrari werd in januari 2020 benoemd tot president van de European Research Council (ERC) en drie maanden later alweer ontslagen. Er zijn ook diverse verhalen over claims van COVID-19-onderzoekers, het verhaal over Didier Raoult springt hier het meest in het oog.

Retraction Watch

Het Center for Scientific Integrity (CSI) onderhoudt de Retraction Watch website. Dit is een website die alle gepubliceerde artikelen bijhoudt die zijn ingetrokken of dat hadden moeten zijn. Verschillende COVID-19-manuscripten zijn al in Retraction Watch gekomen en er is een aparte pagina gewijd aan ingetrokken COVID-19 artikelen. Als je op de hoogte wilt blijven van dit onderwerp, volg dan @RetractionWatch op Twitter.

Slecht Onderzoek – Andere bronnen

Laat het me weten als je andere goede websites weet die kunnen helpen bij het identificeren van slecht onderzoek, dan voeg ik ze hier toe.