Nachrichten

Haben Sie einen Interessenkonflikt? Dieser Roboterassistent kann es zuerst finden

Was soll die Wissenschaft gegen Interessenkonflikte tun? Wenn sie identifiziert werden, werden sie zu einem Hindernis für die Objektivität – ein zentraler Grundsatz und Eckpfeiler von Wissenschaft und Forschung – und die Wahrheit hinter dem, was Wissenschaftler berichten, wird in Frage gestellt.

Manchmal ist ein Interessenkonflikt eindeutig. Forscher, die keine Finanzierungsquelle mit einem geschäftlichen Interesse am Ergebnis offenlegen, untergraben häufig die Legitimität ihrer Ergebnisse. Wenn ein Autor eines Papiers mit einem Herausgeber einer Zeitschrift ausgiebig an anderen Forschungsarbeiten gearbeitet hat, kann der Interessenkonflikt außerdem offensichtlich erscheinen. (Ein solcher Fall führte dazu, dass eine Zeitschrift 2017 zwei Artikel zurückzog.)

Andere Fälle sind jedoch subtiler, und solche Konflikte können durch die Ritzen rutschen, insbesondere weil die Artikel in vielen Zeitschriften von kleinen Teams bearbeitet und von freiwilligen Wissenschaftlern begutachtet werden, die die Aufgabe als Dienst an ihrer Disziplin ausführen. Und die wissenschaftliche Literatur wächst rasant: Die Zahl der jährlich veröffentlichten Studien ist in den letzten zwei Jahrhunderten jährlich um etwa 3 Prozent gestiegen, und viele Artikel wurden in den letzten zwei Jahrzehnten in kostenpflichtigen Open-Access-Zeitschriften veröffentlicht. Einige davon drucken Manuskripte, solange die Wissenschaft solide ist, auch wenn sie nicht neuartig oder auffällig sind.

Angesichts dieser Probleme stellt ein Herausgeber von Open-Access-Zeitschriften einen Assistenten zur Verfügung, der seinen Herausgebern hilft, solche Probleme zu erkennen, bevor Artikel veröffentlicht werden. Aber es ist kein Mensch. Die Software mit dem Namen Artificial Intelligence Review Assistant (AIRA) prüft auf potenzielle Interessenkonflikte, indem sie kennzeichnet, ob die Autoren eines Manuskripts, die Herausgeber, die sich damit befassen, oder die Peer-Reviewer, die es referieren, in der Vergangenheit Mitautoren von Beiträgen waren.

Der in der Schweiz ansässige Verlag Frontiers hat die Software im Mai an externe Redakteure ausgeliefert, die für Dutzende von Zeitschriften arbeiten. Die Software prüft auch auf andere Probleme, z. B. ob es sich bei einem Artikel um ein kontroverses Thema handelt und besondere Aufmerksamkeit erfordert oder ob seine Sprache klar und von ausreichender Qualität für die Veröffentlichung ist.

Das Tool kann nicht alle Formen von Interessenkonflikten erkennen, z. B. nicht genannte Finanzierungsquellen oder Zugehörigkeiten. Ziel ist es jedoch, eine Leitplanke gegen Situationen hinzuzufügen, in denen Autoren, Herausgeber und Peer-Reviewer ihre vorherigen Interaktionen nicht selbst überwachen.

“AIRA soll die Aufmerksamkeit menschlicher Experten auf potenzielle Probleme in Manuskripten lenken”, sagte Kamila Markram, Mitbegründerin und Geschäftsführerin von Frontiers. „In einigen Fällen kann AIRA unnötig Flaggen setzen oder möglicherweise ein Problem übersehen, das dann zu einem späteren Zeitpunkt im Überprüfungsprozess von einem Menschen identifiziert wird. ”

“Es sieht vielversprechend aus”, sagte Michèle B. Nuijten, eine Assistenzprofessorin an der Tilburg University in den Niederlanden, die fragwürdige Forschungspraktiken studiert hat.

Dr. Nuijten half bei der Erstellung von statcheck, einem Algorithmus, der statistische Fehler in Psychologiepapieren kennzeichnet, indem er die gemeldeten Werte neu berechnet p -Werte, ein häufig verwendetes, aber häufig kritisiertes Maß für die statistische Signifikanz. Sie sagte, dass es eine gute Idee sei, standardisierte anfängliche Qualitätsprüfungen durchzuführen, und dass die Automatisierung eine Rolle spielen müsse.

„Peer Reviewer können nicht jeden Fehler in wissenschaftlichen Arbeiten aufgreifen. Ich denke, wir müssen nach verschiedenen Lösungen suchen, die uns helfen können, die Qualität und Robustheit wissenschaftlicher Studien zu verbessern“, sagte sie. “EIN. Ich könnte definitiv eine Rolle dabei spielen. ”

Renee Hoch, Managerin des Publikationsethik-Teams der Public Library of Science (PLOS), die wie Frontiers ein Open-Access-Verlag ist, sagte, ihre Organisation habe auch Softwaretools verwendet, um potenzielle Interessenkonflikte zwischen Autoren und Herausgebern zu erkennen, nicht jedoch Rezensenten . Stattdessen werden die Schiedsrichter gebeten, Probleme selbst zu melden, und es werden von Fall zu Fall Maßnahmen ergriffen.

Dr. Hoch sagte jedoch, dass ein A. I.-Tool wie AIRA, das die potenziellen Konflikte eines Prüfers hervorhebt, nützlich wäre, um die mit der manuellen Durchführung dieser Prüfungen verbundene Belastung zu verringern.

Springer Nature, der zweitgrößte wissenschaftliche Verlag der Welt, entwickelt außerdem Tools und Services von A. I., um Peer Review zu informieren, sagte Henning Schoenenberger, Director of Product Data and Metadata Management des Unternehmens.

Trotz des Aufstiegs von A. I.-Tools wie Statcheck und AIRA betonte Dr. Nuijten die Bedeutung der menschlichen Rolle und sagte, sie mache sich Sorgen darüber, was passieren würde, wenn die Technologie dazu führen würde, dass ein Papier „außer Kontrolle geraten“ würde, ohne wirklich zu überprüfen, was los ist. ”

Jonathan D. Wren, Bioinformatiker bei der Oklahoma Medical Research Foundation, wiederholte dieses Gefühl und fügte hinzu, dass nur weil zwei Forscher zuvor Co-Autoren eines Papiers waren, dies nicht unbedingt bedeutete, dass sie die Arbeit des anderen nicht objektiv beurteilen konnten. Die Frage, sagte er, lautet: “Welche Vorteile hätten sie, wenn sie heute kein objektives Peer Review abgeben würden – würden sie in irgendeiner Weise davon profitieren?”

Das ist mit einem Algorithmus schwieriger zu beantworten.

“Es gibt keine wirkliche Lösung”, sagte Kaleem Siddiqi, Informatiker an der McGill University in Montreal und Chefredakteur eines Frontiers-Journals über Informatik. Interessenkonflikte können subjektiv und oft schwer aufzudecken sein. Forscher, die sich oft gekreuzt haben, können sich am besten gegenseitig beurteilen, insbesondere in kleineren Bereichen.

Dr. Wren, der auch Software für das Screening von Manuskripten entwickelt, sagte, A. I. sei möglicherweise am nützlichsten für profanere und systematischere Arbeiten, beispielsweise für die Überprüfung, ob Papiere ethische Genehmigungserklärungen enthalten.

S. Scott Graham, der Rhetorik und Schreiben an der University of Texas in Austin studiert, stimmte zu. Er entwickelte einen Algorithmus, der in Manuskripten erwähnte Interessenkonfliktaussagen untersucht, um festzustellen, ob Zeitschriften, die Werbeeinnahmen von Pharmaunternehmen erhalten, dazu neigen, branchenfreundliche Artikel zu veröffentlichen.

Er merkte jedoch an, dass sein Tool in hohem Maße von zwei Dingen abhängt: dass Autoren ihre Interessenkonflikte zunächst deklarieren und dass Zeitschriften solche Offenlegungen veröffentlichen würden – beides ist in Fällen, in denen Böswilligkeit beabsichtigt ist, nicht garantiert.

“Die Einschränkung eines A. I. Systems sind die verfügbaren Daten”, sagte Dr. Graham.

“Solange diese Systeme zur Unterstützung der redaktionellen und Peer-Review-Entscheidungsfindung verwendet werden, denke ich, dass hier vielversprechend ist”, fügte er hinzu. „Aber wenn die Systeme anfangen, Entscheidungen zu treffen, mache ich mir etwas mehr Sorgen. ”

İlgili Makaleler

Bir cevap yazın

Başa dön tuşu