Faleminderit që vizituat Nature.com.Ju jeni duke përdorur një version të shfletuesit me mbështetje të kufizuar CSS.Për përvojën më të mirë, ju rekomandojmë të përdorni një shfletues të përditësuar (ose çaktivizoni modalitetin e përputhshmërisë në Internet Explorer).Përveç kësaj, për të siguruar mbështetje të vazhdueshme, ne e shfaqim sajtin pa stile dhe JavaScript.
Rrëshqitës që tregojnë tre artikuj për rrëshqitje.Përdorni butonat e pasëm dhe të ardhshëm për të lëvizur nëpër rrëshqitje, ose butonat e kontrolluesit të rrëshqitjes në fund për të lëvizur nëpër secilën rrëshqitje.
Angiografia tomografike me koherencë optike (OCTA) është një metodë e re për vizualizimin joinvaziv të enëve të retinës.Megjithëse OCTA ka shumë aplikime klinike premtuese, përcaktimi i cilësisë së imazhit mbetet një sfidë.Ne zhvilluam një sistem të bazuar në të mësuarit e thellë duke përdorur klasifikuesin e rrjetit nervor ResNet152 të paratrajnuar me ImageNet për të klasifikuar imazhet sipërfaqësore të pleksusit kapilar nga 347 skanime të 134 pacientëve.Imazhet u vlerësuan gjithashtu manualisht si të vërteta të vërteta nga dy vlerësues të pavarur për një model mësimi të mbikëqyrur.Për shkak se kërkesat për cilësinë e imazhit mund të ndryshojnë në varësi të cilësimeve klinike ose kërkimore, u trajnuan dy modele, njëri për njohjen e imazhit me cilësi të lartë dhe tjetri për njohjen e imazhit me cilësi të ulët.Modeli ynë i rrjetit nervor tregon një zonë të shkëlqyer nën kurbë (AUC), 95% CI 0.96-0.99, \(\kappa\) = 0.81), e cila është dukshëm më e mirë se niveli i sinjalit të raportuar nga makina (AUC = 0.82, 95 % CI).0,77-0,86, \(\kappa\) = 0,52 dhe AUC = 0,78, 95% CI 0,73-0,83, \(\kappa\) = 0,27, respektivisht).Studimi ynë tregon se metodat e mësimit të makinerive mund të përdoren për të zhvilluar metoda fleksibël dhe të fuqishme të kontrollit të cilësisë për imazhet OCTA.
Angiografia tomografike me koherencë optike (OCTA) është një teknikë relativisht e re e bazuar në tomografinë e koherencës optike (OCT) që mund të përdoret për vizualizimin jo-invaziv të mikrovaskulaturës së retinës.OCTA mat ndryshimin në modelet e reflektimit nga pulset e përsëritura të dritës në të njëjtën zonë të retinës dhe më pas mund të llogariten rindërtimet për të zbuluar enët e gjakut pa përdorimin invaziv të ngjyrave ose agjentëve të tjerë të kontrastit.OCTA gjithashtu mundëson imazhe të enëve të gjakut me rezolucion të thellë, duke i lejuar klinicistët të ekzaminojnë veçmas shtresat sipërfaqësore dhe të thella të enëve, duke ndihmuar në dallimin midis sëmundjes korioretinale.
Ndërsa kjo teknikë është premtuese, ndryshimi i cilësisë së imazhit mbetet një sfidë kryesore për analizën e besueshme të imazhit, duke e bërë të vështirë interpretimin e imazhit dhe duke parandaluar adoptimin e gjerë klinik.Për shkak se OCTA përdor skanime të shumta të njëpasnjëshme OCT, është më e ndjeshme ndaj objekteve të imazhit sesa OCT standarde.Shumica e platformave komerciale OCTA ofrojnë metrikën e tyre të cilësisë së imazhit të quajtur Forca e Sinjalit (SS) ose ndonjëherë Indeksi i Fuqisë së Sinjalit (SSI).Megjithatë, imazhet me një vlerë të lartë SS ose SSI nuk garantojnë mungesën e artefakteve të imazhit, të cilat mund të ndikojnë në çdo analizë të mëvonshme të imazhit dhe të çojnë në vendime të pasakta klinike.Artefaktet e zakonshme të imazhit që mund të ndodhin në imazhet OCTA përfshijnë objekte të lëvizjes, artefakte segmentimi, artefakte të patejdukshmërisë së medias dhe artefakte të projektimit1,2,3.
Meqenëse masat që rrjedhin nga OCTA si densiteti vaskular po përdoren gjithnjë e më shumë në kërkimet përkthimore, provat klinike dhe praktikën klinike, ekziston një nevojë urgjente për të zhvilluar procese të fuqishme dhe të besueshme të kontrollit të cilësisë së imazhit për të eliminuar artefaktet e imazhit4.Lidhjet skip, të njohura gjithashtu si lidhjet e mbetura, janë projeksione në arkitekturën e rrjetit nervor që lejojnë informacionin të anashkalojë shtresat konvolucionale duke ruajtur informacionin në shkallë ose rezolucione të ndryshme5.Për shkak se artefaktet e imazhit mund të ndikojnë në performancën e imazhit në shkallë të vogël dhe të përgjithshme në shkallë të gjerë, rrjetet nervore me lidhje me kapërcim janë të përshtatshme për të automatizuar këtë detyrë të kontrollit të cilësisë5.Puna e publikuar së fundmi ka treguar disa premtime për rrjetet nervore konvolucionale të thella të trajnuara duke përdorur të dhëna me cilësi të lartë nga vlerësuesit njerëzorë6.
Në këtë studim, ne trajnojmë një rrjet nervor konvolucionar që kapërcen lidhjen për të përcaktuar automatikisht cilësinë e imazheve OCTA.Ne bazojmë punën e mëparshme duke zhvilluar modele të veçanta për identifikimin e imazheve me cilësi të lartë dhe imazhe me cilësi të ulët, pasi kërkesat për cilësinë e imazhit mund të ndryshojnë për skenarë specifikë klinikë ose kërkimor.Ne i krahasojmë rezultatet e këtyre rrjeteve me rrjetet neurale konvolucionale pa lidhje të munguara për të vlerësuar vlerën e përfshirjes së veçorive në nivele të shumëfishta të hollësisë brenda të mësuarit të thellë.Më pas i krahasuam rezultatet tona me fuqinë e sinjalit, një masë e pranuar përgjithësisht e cilësisë së imazhit të ofruar nga prodhuesit.
Studimi ynë përfshiu pacientë me diabet që ndoqën Qendrën e Syve Yale midis 11 gushtit 2017 dhe 11 prillit 2019. Pacientët me ndonjë sëmundje korioretinale jo diabetike u përjashtuan.Nuk kishte kritere përfshirjeje ose përjashtimi bazuar në moshën, gjininë, racën, cilësinë e imazhit ose ndonjë faktor tjetër.
Imazhet OCTA u morën duke përdorur platformën AngioPlex në një Cirrus HD-OCT 5000 (Carl Zeiss Meditec Inc, Dublin, CA) nën protokollet e imazhit 8\(\herë\)8 mm dhe 6\(\herë\)6 mm.Pëlqimi i informuar për pjesëmarrje në studim u mor nga secili pjesëmarrës në studim dhe Bordi i Rishikimit Institucional të Universitetit Yale (IRB) miratoi përdorimin e pëlqimit të informuar me fotografim global për të gjithë këta pacientë.Duke ndjekur parimet e Deklaratës së Helsinkit.Studimi u miratua nga IRB e Universitetit Yale.
Imazhet e pllakave sipërfaqësore u vlerësuan bazuar në Rezultatin e Artifaktit të Lëvizjes (MAS) të përshkruar më parë, Rezultatin e Artifaktit të Segmentimit të përshkruar më parë (SAS), qendrën foveale, praninë e errësirës së medias dhe vizualizimin e mirë të kapilarëve të vegjël siç përcaktohet nga vlerësuesi i imazhit.Imazhet u analizuan nga dy vlerësues të pavarur (RD dhe JW).Një imazh ka një rezultat të vlerësuar prej 2 (të pranueshëm) nëse plotësohen të gjitha kriteret e mëposhtme: imazhi është i përqendruar në fovea (më pak se 100 piksel nga qendra e figurës), MAS është 1 ose 2, SAS është 1 dhe opaciteti i medias është më i vogël se 1. I pranishëm në imazhet me madhësi / 16, dhe kapilarët e vegjël shihen në imazhet më të mëdha se 15/16.Një imazh vlerësohet me 0 (pa vlerësim) nëse përmbushet ndonjë nga kriteret e mëposhtme: imazhi është jashtë qendrës, nëse MAS është 4, nëse SAS është 2, ose opaciteti mesatar është më i madh se 1/4 e imazhit, dhe kapilarët e vegjël nuk mund të rregullohen më shumë se 1 imazh /4 për të dalluar.Të gjitha imazhet e tjera që nuk plotësojnë kriteret e vlerësimit 0 ose 2 vlerësohen me 1 (prerje).
Në fig.1 tregon imazhe mostra për secilin nga vlerësimet e shkallëzuara dhe artefaktet e imazhit.Besueshmëria ndërmjet vlerësuesve të pikëve individuale u vlerësua nga peshimi kappa i Cohen8.Rezultatet individuale të secilit vlerësues përmblidhen për të marrë një rezultat të përgjithshëm për çdo imazh, duke filluar nga 0 në 4. Imazhet me një rezultat total prej 4 konsiderohen të mira.Imazhet me një rezultat total prej 0 ose 1 konsiderohen me cilësi të ulët.
Një rrjet nervor konvolucionist i arkitekturës ResNet152 (Fig. 3A.i) i trajnuar paraprakisht në imazhe nga baza e të dhënave ImageNet u krijua duke përdorur fast.ai dhe kornizën PyTorch5, 9, 10, 11. Një rrjet nervor konvolucionist është një rrjet që përdor njohuritë e mësuara filtra për skanimin e fragmenteve të imazhit për të studiuar veçoritë hapësinore dhe lokale.ResNet-i ynë i trajnuar është një rrjet nervor 152-shtresash i karakterizuar nga boshllëqe ose "lidhje të mbetura" që transmetojnë në të njëjtën kohë informacion me rezolucione të shumta.Duke projektuar informacione me rezolucione të ndryshme në rrjet, platforma mund të mësojë veçoritë e imazheve me cilësi të ulët në nivele të shumta detajesh.Përveç modelit tonë ResNet, ne kemi trajnuar gjithashtu AlexNet, një arkitekturë e rrjetit nervor të studiuar mirë, pa munguar lidhjet për krahasim (Figura 3A.ii)12.Pa lidhjet që mungojnë, ky rrjet nuk do të jetë në gjendje të regjistrojë veçori me një shkallëzim më të lartë.
Kompleti origjinal i imazheve 8\(\times\) 8 mm OCTA13 është përmirësuar duke përdorur teknikat e reflektimit horizontal dhe vertikal.Më pas, grupi i plotë i të dhënave u nda rastësisht në nivelin e imazhit në trajnime (51.2%), testime (12.8%), akordim hiperparametrik (16%) dhe vërtetim (20%) duke përdorur kutinë e mjeteve scikit-learn python14.Janë shqyrtuar dy raste, një i bazuar në zbulimin vetëm të imazheve me cilësi më të lartë (rezultati i përgjithshëm 4) dhe tjetri i bazuar në zbulimin vetëm të imazheve me cilësi më të ulët (rezultati i përgjithshëm 0 ose 1).Për çdo rast përdorimi me cilësi të lartë dhe me cilësi të ulët, rrjeti nervor rikualifikohet një herë në të dhënat tona të imazhit.Në secilin rast përdorimi, rrjeti nervor u trajnua për 10 epoka, të gjitha, përveç peshës më të lartë të shtresës, u ngrinë, dhe peshat e të gjithë parametrave të brendshëm u mësuan për 40 epoka duke përdorur një metodë diskriminuese të shkallës së të mësuarit me një funksion të humbjes së entropisë 15, 16..Funksioni i humbjes së entropisë së kryqëzuar është një masë e shkallës logaritmike të mospërputhjes midis etiketave të parashikuara të rrjetit dhe të dhënave reale.Gjatë stërvitjes, zbritja e gradientit kryhet në parametrat e brendshëm të rrjetit nervor për të minimizuar humbjet.Niveli i të mësuarit, shkalla e braktisjes dhe hiperparametrat e reduktimit të peshës u akorduan duke përdorur optimizimin Bayesian me 2 pika fillestare të rastësishme dhe 10 përsëritje, dhe AUC në grupin e të dhënave u akordua duke përdorur hiperparametrat si objektiv prej 17.
Shembuj përfaqësues të imazheve OCTA 8 × 8 mm të pleksuseve kapilare sipërfaqësore të shënuara 2 (A, B), 1 (C, D) dhe 0 (E, F).Artifaktet e imazhit të shfaqura përfshijnë vija dridhëse (shigjeta), artefakte të segmentimit (yllqe) dhe errësirë ​​të medias (shigjeta).Imazhi (E) është gjithashtu jashtë qendrës.
Kurbat e karakteristikave të funksionimit të marrësit (ROC) gjenerohen më pas për të gjitha modelet e rrjeteve nervore dhe raportet e fuqisë së sinjalit të motorit gjenerohen për çdo rast përdorimi me cilësi të ulët dhe me cilësi të lartë.Zona nën kurbë (AUC) është llogaritur duke përdorur paketën pROC R, dhe 95% intervale të besimit dhe vlerat p janë llogaritur duke përdorur metodën DeLong18,19.Rezultatet kumulative të vlerësuesve njerëzorë përdoren si bazë për të gjitha llogaritjet ROC.Për fuqinë e sinjalit të raportuar nga makina, AUC u llogarit dy herë: një herë për ndërprerjen e rezultatit të shkallëzimit të cilësisë së lartë dhe një herë për ndërprerjen e rezultatit të shkallëzimit me cilësi të ulët.Rrjeti nervor krahasohet me fuqinë e sinjalit AUC duke reflektuar kushtet e tij të trajnimit dhe vlerësimit.
Për të testuar më tej modelin e trajnuar të të mësuarit të thellë në një grup të dhënash të veçantë, modelet me cilësi të lartë dhe me cilësi të ulët u aplikuan drejtpërdrejt në vlerësimin e performancës së 32 imazheve të pllakave me sipërfaqe të plotë 6\(\herë\) 6 mm të mbledhura nga Universiteti Yale.Masa e syrit përqendrohet në të njëjtën kohë me imazhin 8 \(\herë \) 8 mm.Imazhet 6\(\×\) 6 mm u vlerësuan manualisht nga të njëjtët vlerësues (RD dhe JW) në të njëjtën mënyrë si imazhet 8\(\×\) 8 mm, AUC u llogarit si dhe saktësia dhe kappa e Cohen .në mënyrë të barabartë.
Raporti i çekuilibrit të klasës është 158:189 (\(\rho = 1.19\)) për modelin me cilësi të ulët dhe 80:267 (\(\rho = 3.3\)) për modelin me cilësi të lartë.Për shkak se raporti i çekuilibrit të klasës është më i vogël se 1:4, nuk janë bërë ndryshime specifike arkitekturore për të korrigjuar mosbalancimin e klasës20,21.
Për të vizualizuar më mirë procesin e mësimit, hartat e aktivizimit të klasave u krijuan për të katër modelet e trajnuara të mësimit të thellë: modeli ResNet152 me cilësi të lartë, modeli ResNet152 me cilësi të ulët, modeli AlexNet me cilësi të lartë dhe modeli AlexNet me cilësi të ulët.Hartat e aktivizimit të klasave krijohen nga shtresat konvolucionale hyrëse të këtyre katër modeleve dhe hartat e nxehtësisë krijohen duke mbivendosur hartat e aktivizimit me imazhe burimore nga grupet e vërtetimit 8 × 8 mm dhe 6 × 6 mm22, 23.
Versioni R 4.0.3 u përdor për të gjitha llogaritjet statistikore dhe vizualizimet u krijuan duke përdorur bibliotekën e veglave grafike ggplot2.
Ne mblodhëm 347 imazhe ballore të pleksusit kapilar sipërfaqësor me përmasa 8 \(\ herë \) 8 mm nga 134 persona.Makina raportoi fuqinë e sinjalit në një shkallë nga 0 deri në 10 për të gjitha imazhet (mesatarja = 6,99 ± 2,29).Nga 347 imazhet e marra, mosha mesatare në ekzaminim ishte 58,7 ± 14,6 vjeç dhe 39,2% ishin nga pacientë meshkuj.Nga të gjitha imazhet, 30,8% ishin nga kaukazianët, 32,6% nga zezakët, 30,8% nga hispanikët, 4% nga aziatikët dhe 1,7% nga racat e tjera (Tabela 1).).Shpërndarja e moshës së pacientëve me OCTA ndryshonte ndjeshëm në varësi të cilësisë së imazhit (p <0.001).Përqindja e imazheve me cilësi të lartë në pacientët më të rinj të moshës 18-45 vjeç ishte 33.8% krahasuar me 12.2% të imazheve me cilësi të ulët (Tabela 1).Shpërndarja e statusit të retinopatisë diabetike gjithashtu ndryshonte ndjeshëm në cilësinë e imazhit (p <0.017).Ndër të gjitha imazhet me cilësi të lartë, përqindja e pacientëve me PDR ishte 18.8% krahasuar me 38.8% të të gjitha imazheve me cilësi të ulët (Tabela 1).
Vlerësimet individuale të të gjitha imazheve treguan besueshmëri të moderuar ose të fortë ndër-vlerësimi midis njerëzve që lexonin imazhet (kapa e peshuar e Cohen = 0,79, 95% CI: 0,76-0,82), dhe nuk kishte pika imazhi ku vlerësuesit ndryshonin me më shumë se 1 (Fig. 2A)..Intensiteti i sinjalit lidhej ndjeshëm me pikëzimin manual (korrelacioni i momentit të produktit Pearson = 0.58, 95% CI 0.51-0.65, p<0.001), por shumë imazhe u identifikuan se kishin intensitet të lartë sinjali, por pikë manuale të ulët (Fig. .2B).
Gjatë trajnimit të arkitekturave ResNet152 dhe AlexNet, humbja e ndër-entropisë në vërtetimin dhe trajnimin bie mbi 50 epoka (Figura 3B,C).Saktësia e verifikimit në epokën përfundimtare të trajnimit është mbi 90% për rastet e përdorimit me cilësi të lartë dhe me cilësi të ulët.
Lakoret e performancës së marrësit tregojnë se modeli ResNet152 e tejkalon ndjeshëm fuqinë e sinjalit të raportuar nga makina si në rastet e përdorimit të cilësisë së ulët ashtu edhe në atë të lartë (p <0,001).Modeli ResNet152 gjithashtu e tejkalon ndjeshëm arkitekturën AlexNet (p = 0,005 dhe p = 0,014 për rastet me cilësi të ulët dhe cilësi të lartë, respektivisht).Modelet rezultuese për secilën nga këto detyra ishin në gjendje të arrinin vlerat AUC prej 0,99 dhe 0,97, përkatësisht, që është dukshëm më e mirë se vlerat përkatëse AUC prej 0,82 dhe 0,78 për indeksin e fuqisë së sinjalit të makinës ose 0,97 dhe 0,94 për AlexNet ..(Fig. 3).Dallimi midis ResNet dhe AUC në fuqinë e sinjalit është më i lartë kur dallohen imazhe me cilësi të lartë, gjë që tregon përfitime shtesë të përdorimit të ResNet për këtë detyrë.
Grafikët tregojnë aftësinë e secilit vlerësues të pavarur për të shënuar dhe krahasuar me fuqinë e sinjalit të raportuar nga makina.(A) Shuma e pikëve që do të vlerësohen përdoret për të krijuar numrin total të pikëve që do të vlerësohen.Imazhet me një rezultat të përgjithshëm shkallëzueshmërie prej 4 caktohen me cilësi të lartë, ndërsa imazheve me një rezultat të përgjithshëm shkallëzueshmërie prej 1 ose më pak u caktohet cilësi e ulët.(B) Intensiteti i sinjalit lidhet me vlerësimet manuale, por imazhet me intensitet të lartë sinjali mund të jenë me cilësi më të dobët.Vija e kuqe me pika tregon pragun e cilësisë së rekomanduar nga prodhuesi bazuar në fuqinë e sinjalit (forca e sinjalit \(\ge\)6).
Mësimi i transferimit të ResNet ofron një përmirësim të konsiderueshëm në identifikimin e cilësisë së imazhit si për rastet e përdorimit me cilësi të ulët ashtu edhe për cilësi të lartë në krahasim me nivelet e sinjalit të raportuar nga makina.(A) Diagrame të thjeshtuara të arkitekturës së arkitekturave të para-trajnuara (i) ResNet152 dhe (ii) AlexNet.(B) Historia e trajnimit dhe kurbat e performancës së marrësit për ResNet152 krahasuar me fuqinë e sinjalit të raportuar të makinës dhe kriteret e cilësisë së ulët AlexNet.(C) Historia e trajnimit të marrësit ResNet152 dhe kthesat e performancës krahasuar me fuqinë e sinjalit të raportuar të makinës dhe kriteret e cilësisë së lartë të AlexNet.
Pas rregullimit të pragut të kufirit të vendimit, saktësia maksimale e parashikimit të modelit ResNet152 është 95.3% për rastin me cilësi të ulët dhe 93.5% për rastin me cilësi të lartë (Tabela 2).Saktësia maksimale e parashikimit të modelit AlexNet është 91.0% për rastin me cilësi të ulët dhe 90.1% për rastin me cilësi të lartë (Tabela 2).Saktësia maksimale e parashikimit të fuqisë së sinjalit është 76,1% për rastin e përdorimit me cilësi të ulët dhe 77,8% për rastin e përdorimit me cilësi të lartë.Sipas kapës së Cohen (\(\kappa\)), marrëveshja midis modelit ResNet152 dhe vlerësuesve është 0.90 për rastin me cilësi të ulët dhe 0.81 për rastin me cilësi të lartë.Kappa AlexNet e Cohen është 0.82 dhe 0.71 për rastet e përdorimit me cilësi të ulët dhe me cilësi të lartë, respektivisht.Kappa e fuqisë së sinjalit të Cohen është 0.52 dhe 0.27 për rastet e përdorimit me cilësi të ulët dhe të lartë, respektivisht.
Vërtetimi i modeleve të njohjes me cilësi të lartë dhe të ulët në imazhe 6\(\x\) të një pllake të sheshtë 6 mm demonstron aftësinë e modelit të trajnuar për të përcaktuar cilësinë e imazhit përmes parametrave të ndryshëm të imazhit.Kur përdorni 6\(\x\) pllaka të cekëta 6 mm për cilësi imazhi, modeli me cilësi të ulët kishte një AUC prej 0,83 (95% CI: 0,69–0,98) dhe modeli me cilësi të lartë kishte një AUC prej 0,85.(95% CI: 0,55–1,00) (Tabela 2).
Inspektimi vizual i hartave të aktivizimit të klasës së shtresës hyrëse tregoi se të gjitha rrjetet nervore të trajnuara përdorën veçoritë e imazhit gjatë klasifikimit të imazhit (Fig. 4A, B).Për 8 imazhe \(\herë \) 8 mm dhe 6 \(\herë \) 6 mm, imazhet e aktivizimit të ResNet ndjekin nga afër vaskulaturën e retinës.Hartat e aktivizimit të AlexNet ndjekin gjithashtu enët e retinës, por me rezolucion më të trashë.
Hartat e aktivizimit të klasave për modelet ResNet152 dhe AlexNet nxjerrin në pah veçoritë që lidhen me cilësinë e imazhit.(A) Harta e aktivizimit të klasës që tregon aktivizimin koherent pas vaskulaturës sipërfaqësore të retinës në 8 imazhe të vërtetimit 8 mm dhe (B) shtrirjen në imazhe më të vogla të vërtetimit 6 \(\herë \) 6 mm.Modeli LQ i trajnuar me kritere të cilësisë së ulët, modeli HQ i trajnuar me kritere të cilësisë së lartë.
Më parë është treguar se cilësia e imazhit mund të ndikojë shumë në çdo kuantifikimin e imazheve OCTA.Përveç kësaj, prania e retinopatisë rrit incidencën e artefakteve të imazhit7,26.Në fakt, në të dhënat tona, në përputhje me studimet e mëparshme, kemi gjetur një lidhje të rëndësishme midis rritjes së moshës dhe ashpërsisë së sëmundjes së retinës dhe përkeqësimit të cilësisë së imazhit (p <0.001, p = 0.017 për moshën dhe statusin DR, përkatësisht; Tabela 1) 27 Prandaj, është kritike të vlerësohet cilësia e imazhit përpara se të kryeni ndonjë analizë sasiore të imazheve OCTA.Shumica e studimeve që analizojnë imazhet OCTA përdorin pragjet e intensitetit të sinjalit të raportuar nga makina për të përjashtuar imazhet me cilësi të ulët.Megjithëse intensiteti i sinjalit është treguar të ndikojë në sasinë e parametrave OCTA, vetëm intensiteti i lartë i sinjalit mund të mos jetë i mjaftueshëm për të përjashtuar imazhet me artefakte imazhi2,3,28,29.Prandaj, është e nevojshme të zhvillohet një metodë më e besueshme e kontrollit të cilësisë së imazhit.Për këtë qëllim, ne vlerësojmë performancën e metodave të mbikqyrura të mësimit të thellë kundrejt fuqisë së sinjalit të raportuar nga makina.
Ne kemi zhvilluar disa modele për vlerësimin e cilësisë së imazhit sepse raste të ndryshme të përdorimit të OCTA mund të kenë kërkesa të ndryshme për cilësinë e imazhit.Për shembull, imazhet duhet të jenë me cilësi më të lartë.Përveç kësaj, parametrat sasiorë specifikë me interes janë gjithashtu të rëndësishëm.Për shembull, zona e zonës avaskulare foveale nuk varet nga turbullira e mediumit joqendror, por ndikon në densitetin e enëve.Ndërsa kërkimi ynë vazhdon të fokusohet në një qasje të përgjithshme për cilësinë e imazhit, jo e lidhur me kërkesat e ndonjë testi të veçantë, por synon të zëvendësojë drejtpërdrejt fuqinë e sinjalit të raportuar nga makina, ne shpresojmë t'u japim përdoruesve një shkallë më të madhe kontrolli në mënyrë që ata mund të zgjedhë metrikën specifike me interes për përdoruesin.zgjidhni një model që korrespondon me shkallën maksimale të objekteve të imazhit që konsiderohen të pranueshme.
Për skena me cilësi të ulët dhe me cilësi të lartë, ne tregojmë performancë të shkëlqyeshme të rrjeteve nervore konvolucionale të thella që mungojnë në lidhje, me AUC prej 0,97 dhe 0,99 dhe modele me cilësi të ulët, respektivisht.Ne demonstrojmë gjithashtu performancën superiore të qasjes sonë të të mësuarit të thellë kur krahasohet me nivelet e sinjalit të raportuara vetëm nga makinat.Lidhjet skip lejojnë rrjetet nervore të mësojnë veçori në nivele të shumta detajesh, duke kapur aspekte më të imta të imazheve (p.sh. kontrasti) si dhe veçori të përgjithshme (p.sh. përqendrimi i imazhit30,31).Meqenëse artefaktet e imazhit që ndikojnë në cilësinë e imazhit ndoshta identifikohen më mirë në një gamë të gjerë, arkitekturat e rrjeteve nervore me lidhje të munguara mund të shfaqin performancë më të mirë se ato pa detyra të përcaktimit të cilësisë së imazhit.
Gjatë testimit të modelit tonë në imazhe OCTA 6\(\×6 mm), vumë re një rënie në performancën e klasifikimit si për modelet me cilësi të lartë ashtu edhe për modelet me cilësi të ulët (Fig. 2), në kontrast me madhësinë e modelit të trajnuar për klasifikim.Krahasuar me modelin ResNet, modeli AlexNet ka një rënie më të madhe.Performanca relativisht më e mirë e ResNet mund të jetë për shkak të aftësisë së lidhjeve të mbetura për të transmetuar informacion në shkallë të shumta, gjë që e bën modelin më të fortë për klasifikimin e imazheve të kapura në shkallë dhe/ose zmadhime të ndryshme.
Disa dallime ndërmjet imazheve 8 \(\×\) 8 mm dhe 6 \(\×\) imazheve 6 mm mund të çojnë në klasifikim të dobët, duke përfshirë një përqindje relativisht të lartë të imazheve që përmbajnë zona avaskulare foveale, ndryshime në dukshmëri, arkadat vaskulare dhe nuk ka nerv optik në imazh 6×6 mm.Pavarësisht kësaj, modeli ynë ResNet me cilësi të lartë ishte në gjendje të arrinte një AUC prej 85% për 6 imazhe \(\x\) 6 mm, një konfigurim për të cilin modeli nuk ishte trajnuar, duke sugjeruar që informacioni i cilësisë së imazhit të kodohet në rrjetin nervor është i përshtatshëm.për një madhësi imazhi ose konfigurim të makinës jashtë trajnimit të saj (Tabela 2).Në mënyrë të sigurtë, hartat e aktivizimit të ResNet-it dhe AlexNet-it prej 8 imazhe 8 mm dhe 6 \(\herë) 6 mm ishin në gjendje të nënvizonin enët e retinës në të dyja rastet, duke sugjeruar që modeli ka informacione të rëndësishme.janë të aplikueshme për klasifikimin e të dy llojeve të imazheve OCTA (Fig. 4).
Lauerman et al.Vlerësimi i cilësisë së imazhit në imazhet OCTA u krye në mënyrë të ngjashme duke përdorur arkitekturën Inception, një tjetër rrjet nervor konvolucionist me kapërcim6,32 duke përdorur teknika të të mësuarit të thellë.Ata gjithashtu e kufizuan studimin në imazhet e pleksusit sipërfaqësor kapilar, por vetëm duke përdorur imazhet më të vogla 3×3 mm nga Optovue AngioVue, megjithëse u përfshinë edhe pacientë me sëmundje të ndryshme korioretinale.Puna jonë bazohet në themelet e tyre, duke përfshirë modele të shumta për të adresuar pragje të ndryshme të cilësisë së imazhit dhe për të vërtetuar rezultatet për imazhe të madhësive të ndryshme.Ne raportojmë gjithashtu metrikën AUC të modeleve të mësimit të makinerive dhe rrisim saktësinë e tyre tashmë mbresëlënëse (90%)6 për modelet me cilësi të ulët (96%) dhe cilësi të lartë (95.7%)6.
Ky trajnim ka disa kufizime.Së pari, imazhet u morën vetëm me një makinë OCTA, duke përfshirë vetëm imazhet e pleksusit sipërfaqësor kapilar në 8\(\herë\)8 mm dhe 6\(\herë\)6 mm.Arsyeja për përjashtimin e imazheve nga shtresat më të thella është se artefaktet e projektimit mund ta bëjnë vlerësimin manual të imazheve më të vështirë dhe ndoshta më pak të qëndrueshëm.Për më tepër, imazhet janë marrë vetëm te pacientët diabetikë, për të cilët OCTA po shfaqet si një mjet i rëndësishëm diagnostikues dhe prognostik33,34.Megjithëse ne ishim në gjendje të testonim modelin tonë në imazhe të madhësive të ndryshme për t'u siguruar që rezultatet ishin të qëndrueshme, ne nuk ishim në gjendje të identifikonim grupe të dhënash të përshtatshme nga qendra të ndryshme, gjë që kufizoi vlerësimin tonë për përgjithësimin e modelit.Edhe pse imazhet janë marrë vetëm nga një qendër, ato janë marrë nga pacientë me prejardhje të ndryshme etnike dhe racore, që është një forcë unike e studimit tonë.Duke përfshirë diversitetin në procesin tonë të trajnimit, ne shpresojmë që rezultatet tona të përgjithësohen në një kuptim më të gjerë dhe se do të shmangim kodimin e paragjykimeve racore në modelet që trajnojmë.
Studimi ynë tregon se rrjetet nervore që anashkalojnë lidhjen mund të trajnohen për të arritur performancë të lartë në përcaktimin e cilësisë së imazhit OCTA.Ne ofrojmë këto modele si mjete për kërkime të mëtejshme.Për shkak se metrika të ndryshme mund të kenë kërkesa të ndryshme për cilësinë e imazhit, një model individual i kontrollit të cilësisë mund të zhvillohet për secilën metrikë duke përdorur strukturën e vendosur këtu.
Hulumtimi i ardhshëm duhet të përfshijë imazhe të madhësive të ndryshme nga thellësi të ndryshme dhe makina të ndryshme OCTA për të marrë një proces vlerësimi të cilësisë së imazhit të të mësuarit të thellë që mund të përgjithësohet në platformat OCTA dhe protokollet e imazhit.Hulumtimi aktual bazohet gjithashtu në qasjet e mbikqyrura të të mësuarit të thellë që kërkojnë vlerësim njerëzor dhe vlerësim të imazhit, të cilat mund të kërkojnë punë intensive dhe kërkojnë kohë për grupe të mëdha të dhënash.Mbetet për t'u parë nëse metodat e mësimit të thellë të pambikëqyrur mund të dallojnë në mënyrë adekuate midis imazheve me cilësi të ulët dhe imazheve me cilësi të lartë.
Ndërsa teknologjia OCTA vazhdon të zhvillohet dhe shpejtësia e skanimit rritet, incidenca e artefakteve të imazhit dhe imazheve me cilësi të dobët mund të ulet.Përmirësimet në softuer, si funksioni i heqjes së objekteve të projektimit, i prezantuar së fundi, mund t'i lehtësojnë gjithashtu këto kufizime.Megjithatë, shumë probleme mbeten pasi imazhi i pacientëve me fiksim të dobët ose turbullirë të konsiderueshme të medias rezulton pa ndryshim në artefakte imazhi.Ndërsa OCTA po përdoret më gjerësisht në provat klinike, nevojitet një shqyrtim i kujdesshëm për të vendosur udhëzime të qarta për nivelet e pranueshme të artefakteve të imazhit për analizën e imazhit.Aplikimi i metodave të të mësuarit të thellë për imazhet OCTA premton shumë dhe nevojiten kërkime të mëtejshme në këtë fushë për të zhvilluar një qasje të fortë për kontrollin e cilësisë së imazhit.
Kodi i përdorur në kërkimin aktual është i disponueshëm në depo octa-qc, https://github.com/rahuldhodapkar/octa-qc.Të dhënat e gjeneruara dhe/ose të analizuara gjatë studimit aktual janë në dispozicion nga autorët përkatës me kërkesë të arsyeshme.
Spaide, RF, Fujimoto, JG & Waheed, NK Artefakte imazhi në angiografinë e koherencës optike.Retina 35, 2163–2180 (2015).
Fenner, BJ et al.Identifikimi i veçorive imazherike që përcaktojnë cilësinë dhe riprodhueshmërinë e matjeve të densitetit të pleksusit kapilar retinës në angiografinë OCT.BR.J. Oftalmol.102, 509–514 (2018).
Lauerman, JL et al.Ndikimi i teknologjisë së gjurmimit të syve në cilësinë e imazhit të angiografisë OCT në degjenerimin makular të lidhur me moshën.Harku i varrit.klinike.Exp.oftalmologjisë.255, 1535–1542 (2017).
Babyuch AS et al.Matjet e densitetit të perfuzionit kapilar OCTA përdoren për të zbuluar dhe vlerësuar isheminë makulare.kirurgjia okulistike.Imazhe me laser të retinës 51, S30–S36 (2020).
Ai, K., Zhang, X., Ren, S. dhe Sun, J. Mësimi i Thellë i Mbetur për Njohjen e Imazheve.Në vitin 2016 në Konferencën IEEE mbi Vizionin Kompjuterik dhe Njohjen e Modeleve (2016).
Lauerman, JL et al.Vlerësimi i automatizuar i cilësisë së imazhit angiografik OCT duke përdorur algoritme të mësimit të thellë.Harku i varrit.klinike.Exp.oftalmologjisë.257, 1641–1648 (2019).
Lauermann, J. et al.Prevalenca e gabimeve të segmentimit dhe artefakteve të lëvizjes në angiografinë OCT varet nga sëmundja e retinës.Harku i varrit.klinike.Exp.oftalmologjisë.256, 1807–1816 (2018).
Pask, Adam et al.Pytorch: Një bibliotekë e domosdoshme, me performancë të lartë të të mësuarit të thellë.Përpunimi i avancuar i informacionit nervor.sistemi.32, 8026–8037 (2019).
Deng, J. et al.ImageNet: Një bazë e të dhënave hierarkike e imazheve në shkallë të gjerë.2009 Konferenca IEEE mbi Vizionin Kompjuterik dhe Njohjen e Modeleve.248–255.(2009).
Krizhevsky A., Sutzkever I. dhe Klasifikimi i Hinton GE Imagenet duke përdorur rrjete nervore konvolucionare të thella.Përpunimi i avancuar i informacionit nervor.sistemi.25, 1 (2012).