Zielsetzung
Für erfolgreiche Forschung mit künstlicher Intelligenz (KI) ist die hochwertige Segmentierung von Bilddaten unerlässlich. Da Experten häufig nicht für diese zeitaufwändige Arbeit zur Verfügung stehen, gilt die Datensegmentierung als Nadelöhr. Doch welcher Grad an Expertise ist erforderlich für diese Aufgabe?
Das Ziel unserer Studie war es zu untersuchen, ob die Qualität der Segmentierung mit der Expertise des Annotierers steigt.
Material und Methoden
Zwölf Annotierer haben auf 53 Röntgenthoraxbildern einen ZVK, ein pulmonales Infiltrat und anatomische Regionen (Herz, Vena Cava superior (VCS)) segmentiert. Es wurden drei Gruppen vergleichbarer Expertise gebildet: Amateure (n=2; AMA, Medizinstudenten), JP (n=5; Junior Professionals, <5 Jr Berufserfahrung) und SP (n=5; Senior Professionals, >5 Jr Erfahrung). Als Goldstandard wurde eine Konsensannotation von drei Experten mit je >10 Jr Erfahrung erstellt.
Die Auswertung umfasste den Dice Koeffizienten (DC) und die Hausdorff Distanz (HD), angegeben als Median [Range]. Die Ergebnisse wurden mit dem Kruskal-Wallis und dem Mann-Whitney-U-Tests auf Signifikanz (p<0.05) überprüft.
Ergebnisse
Für alle Gruppen wurden statistisch signifikante Ergebnisse erzielt, außer für Herz und Infiltrate. Die Qualität der Annotation nahm mit der Expertise zu.
Große Unterschiede zwischen den Gruppen wurde für die VCS festgestellt (AMA:DC:0,36[0,35], JP:DC:0,68[0,16], SP:DC:0,74[0,12]). Die Segmentierung des Herzens erzielte die höchste Übereinstimmung unter den Segmentierern (AMA:DC:0,90[0,08], JP:DC:0,89[0,09], SP:DC:0,90[0,08]). Die geringste Übereinstimmung wurde für Infiltrate ermittelt (AMA:DC:0,61[2,99], JP:DC:0,65[0,22], SP:DC: 0,66[0,30]).
Schlussfolgerungen
Klar abgrenzbare Strukturen können mit hoher Genauigkeit von medizinischen Laien segmentiert werden, andererseits zeigen komplexe Segmentierungen erst mit steigender Expertise eine hohe Übereinstimmung.
Insgesamt könnte KI-Forschung von achtsamer Integration medizinischer Laien in den Segmentierungsprozess profitieren.