Hoe weet je of een artikel slecht onderzoek bevat?

Er worden elke dag heel veel wetenschappelijke artikelen gepubliceerd, soms eerst als prepublications op sites zoals MedRxiv en BioRxiv en daarna in wetenschappelijke tijdschriften. Een klein deel daarvan beschrijft slecht onderzoek of is zelfs gebaseerd op fraude.

Prepublications kunnen handig zijn om resultaten snel te delen, het reguliere publicatieproces van een manuscript kan namelijk lang duren. Het nadeel van prepublications is dat ze niet peer-reviewed zijn, terwijl peer-review juist bedoeld is om fouten in een artikel of gewoonweg slecht onderzoek eruit te filteren. Het normale peer-review proces is overigens ook niet waterdicht, en zo glippen er dan ook zo nu en dan artikelen tussendoor die niet publicatie-waardig zijn.

Hoe kom je er nou achter of een artikel degelijk onderzoek bevat, voornamelijk slecht onderzoek (of zelfs fraude), of iets daartussenin? En waar vind je of andere onderzoekers onregelmatigheden hebben gevonden in een publicatie? Voordat je veel energie gaat steken in experimenten die voortbouwen op andermans resultaten, of als je twijfelt aan een artikel, is het handig om uit te zoeken wat anderen over het onderzoek gezegd hebben.

Preprint server

Een manuscript dat gepubliceerd is op een preprint-server zoals MedRxiv, BioRxiv, of Preprints bevat vaak links naar blogs die erover zijn geschreven of vermeldingen in de media (voorbeeld). Ook zijn er links naar commentaren gepubliceerd op andere sites (onder ‘community reviews’; voorbeeld) zoals PubPeer. Daarnaast kunnen andere onderzoekers opmerkingen achterlaten (voorbeeld). Op deze manier worden dubieuze resultaten of gewoon slecht onderzoek vaak snel geïdentificeerd.

Bij artikelen die gepubliceerd zijn in een tijdschrift, en eerder ook op een preprint server werden gezet, staat meestal een link naar de originele preprint vermeld. Zo kan je eerdere commentaren ook terugvinden.

Openbare peer review

-PubPeer

Op de website PubPeer, kunnen mensen commentaar leveren op artikelen die gepubliceerd zijn als preprint of in een tijdschrift. Vaak gaat het om kleine punten die door de auteurs kunnen worden gecorrigeerd of uitgelegd, en soms leidt dit tot correctie van een artikel.

Er zijn echter ook gevallen waarin ernstige problemen met een artikel worden gevonden. Voor de hand liggende voorbeelden zijn de verschillende publicaties over hydroxychloroquine voor de behandeling van COVID-19, zoals die van Gautret et al. waarover meer dan 70 opmerkingen op PubPeer staan die wezen op problemen met de inclusie, eindpunten, analyses, en resultaten. Dat artikel is ondertussen door het tijdschrift teruggetrokken.

-PREreview

PREreview is ook een website waar reviews worden geplaatst, maar dan alleen van prepublications. De reviews op deze website lijken meer op journal club reviews in de zin dat vaak het hele artikel wordt besproken, niet alleen de gebreken. Er lijkt veel moeite te worden gestoken in de beoordelingen.

Daarnaast kan men hier een review van een specifiek manuscript aanvragen, wat handig is als je niet de kennis hebt om een specifiek manuscript zelf te beoordelen.

Slordigheid en fraude in slecht onderzoek

De wetenschapper Elisabeth Bik werkt als science integrity consultant en haar missie is het identificeren van dubbele -of anderszins gemanipuleerde- afbeeldingen in wetenschappelijke artikelen. Ze rapporteert deze dubieuze afbeeldingen op de website Science Integrity Digest.

In sommige tijdschriften komt duplicatie van afbeeldingen vaker voor dan in andere. In een analyse van artikelen gepubliceerd in 40 tijdschriften vond Bik dat 0.3% tot 12.4% van de artikelen dubbele afbeeldingen bevatten. Bij hoge percentages gaat het waarschijnlijk om een combinatie van slordige of kwaadwillende onderzoekers met een slordig of ontbrekend peer review proces.

Bik brengt ook andere wetenschappelijke integriteitsproblemen aan het licht, variërend van wangedrag bij dierexperimenten tot publicaties op basis van algeheel slecht onderzoek.

Achtergrondverhalen over slecht onderzoek

For Better Science is een website die zich richt op integriteit in biologisch en medisch onderzoek. Het bevat veel goed uitgezochte verhalen over dubieuze wetenschappers, zoals over Mauro Ferrari. Ferrari werd in januari 2020 benoemd tot president van de European Research Council (ERC) en drie maanden later alweer ontslagen. Er zijn ook diverse verhalen waarin malafide COVID-19-onderzoekers worden ontmaskerd, zoals het verhaal over Didier Raoult.

Retraction Watch

Het Center for Scientific Integrity (CSI) onderhoudt de Retraction Watch website. Dit is een website met alle gepubliceerde artikelen die zijn ingetrokken of dat hadden moeten zijn. Er staan ook achtergrondverhalen op en interessante lijstjes, zoals de top 10 van veel geciteerde maar ingetrokken artikelen, en van ingetrokken artikelen van Nobelprijswinnaars. Als je dit een interessant onderwerp vindt kan je je abonneren op de nieuwsbrief.

Slecht onderzoek – andere bronnen

Laat het me weten als je andere goede websites weet die kunnen helpen bij het identificeren van slecht onderzoek, dan voeg ik ze toe.