News

Neue TU Wien-Studie zur Verbesserung der Reproduzierbarkeit

Die Ergebnisse der Studie wurden von Tomasz Miksa Mitte September auf der eScience 2024-Konferenz in Osaka, Japan, präsentiert.

Das Foto zeigt eine männlicher Person an einem Rednerpult neben einer Leinwand mit Präsentation.

© Carlos Cuevas

Tomasz Miksa bei der eScience Konferenz in Osaka im September 2024

Das Paper mit dem Titel „Mission Reproducibility: An Investigation on Reproducibility Issues in Machine Learning and Information Retrieval Research“ behandelt die Herausforderungen der Reproduzierbarkeit in der Forschung zu Information Retrieval (IR) und maschinellem Lernen. Die Studie analysiert 45 Reproduzierbarkeitsberichte aus 17 Beiträgen, die im Rahmen großen IR-Konferenzen veröffentlicht wurden, und identifiziert drei Kernproblembereiche: Codeverfügbarkeit, Datenbeschränkungen und unvollständige experimentelle Prozesse, die weiter in 13 Kategorien unterteilt wurden. Das Paper enthält Empfehlungen für die Lösung dieser Probleme, die sich an den FAIR-Prinzipien orientieren.

Die Studie ist eine Gemeinschaftsarbeit von Moritz Staudinger, Bettina M. J. Kern, Tomasz Miksa, Lukas Arnhold, Peter Knees, Andreas Rauber und Allan Hanbury von der Fakultät für Informatik und dem Zentrum für Forschungsdatenmanagement der TU Wien. Studierende der Lehrveranstaltung Experiment Design haben ebenfalls beigetragen, indem sie ihre Übungsberichte als frei zugängliche Dokumente auf Zenodo, öffnet eine externe URL in einem neuen Fenster veröffentlicht und Daten für die Analyse bereitgestellt haben. Diese Berichte haben dabei geholfen, die praktischen Herausforderungen bei der Reproduktion von Experimenten zu identifizieren, und waren somit ein wichtiger Teil der Studie.

Die Empfehlungen werden zukünftig im Begutachtungsprozess für Veröffentlichungen im TU Wien Research Data Repositorium, öffnet eine externe URL in einem neuen Fenster berücksichtigt. Zusätzlich werden die Ergebnisse dieser Forschung in die TRS-Lehrveranstaltung 058.005 Einführung in das Forschungsdatenmanagement, öffnet eine externe URL in einem neuen Fenster einfließen.

Direkt zum Paper

Das Paper wurde auf der 20. IEEE International Conference on e-Science (eScience 2024, öffnet eine externe URL in einem neuen Fenster) vorgestellt und ist in IEEE Xplore zu finden.

M. Staudinger et al., "Mission Reproducibility: An Investigation on Reproducibility Issues in Machine Learning and Information Retrieval Research", 2024 IEEE 20th International Conference on e-Science (e-Science), Osaka, Japan, 2024, pp. 1-9, doi: 10.1109/e-Science62913.2024.10678657, öffnet eine externe URL in einem neuen Fenster.

Kontakt

TU Wien
Zentrum für Forschungsdatenmanagement
Favoritenstraße 16 (DG), 1040 Wien

research.data@tuwien.ac.at