Salamat sa pagbisita sa Nature.com.Gumagamit ka ng bersyon ng browser na may limitadong suporta sa CSS.Para sa pinakamagandang karanasan, inirerekomenda namin na gumamit ka ng na-update na browser (o huwag paganahin ang Compatibility Mode sa Internet Explorer).Bilang karagdagan, upang matiyak ang patuloy na suporta, ipinapakita namin ang site na walang mga istilo at JavaScript.
Mga slider na nagpapakita ng tatlong artikulo sa bawat slide.Gamitin ang likod at susunod na mga pindutan upang lumipat sa mga slide, o ang mga pindutan ng slide controller sa dulo upang lumipat sa bawat slide.
Ang optical coherence tomographic angiography (OCTA) ay isang bagong paraan para sa hindi invasive na visualization ng mga retinal vessel.Bagama't ang OCTA ay may maraming promising na klinikal na aplikasyon, ang pagtukoy sa kalidad ng imahe ay nananatiling isang hamon.Bumuo kami ng isang malalim na sistemang nakabatay sa pag-aaral gamit ang ResNet152 neural network classifier na na-pretrained sa ImageNet upang pag-uri-uriin ang mababaw na mga larawan ng capillary plexus mula sa 347 na pag-scan ng 134 na mga pasyente.Ang mga larawan ay manu-manong tinasa bilang totoong katotohanan ng dalawang independiyenteng tagapag-rate para sa isang pinangangasiwaang modelo ng pag-aaral.Dahil ang mga kinakailangan sa kalidad ng imahe ay maaaring mag-iba depende sa mga setting ng klinikal o pananaliksik, dalawang modelo ang sinanay, isa para sa mataas na kalidad na pagkilala ng imahe at ang isa para sa mababang kalidad na pagkilala sa imahe.Ang aming modelo ng neural network ay nagpapakita ng isang mahusay na lugar sa ilalim ng curve (AUC), 95% CI 0.96-0.99, \(\kappa\) = 0.81), na higit na mas mahusay kaysa sa antas ng signal na iniulat ng makina (AUC = 0.82, 95). % CI).0.77–0.86, \(\kappa\) = 0.52 at AUC = 0.78, 95% CI 0.73–0.83, \(\kappa\) = 0.27, ayon sa pagkakabanggit).Ipinapakita ng aming pag-aaral na ang mga pamamaraan ng machine learning ay maaaring gamitin upang bumuo ng nababaluktot at matatag na paraan ng pagkontrol sa kalidad para sa mga OCTA na imahe.
Ang optical coherence tomographic angiography (OCTA) ay isang medyo bagong diskarte batay sa optical coherence tomography (OCT) na maaaring gamitin para sa non-invasive visualization ng retinal microvasculature.Sinusukat ng OCTA ang pagkakaiba sa mga pattern ng pagmuni-muni mula sa paulit-ulit na mga pulso ng liwanag sa parehong lugar ng retina, at ang mga muling pagtatayo ay maaaring kalkulahin upang ipakita ang mga daluyan ng dugo nang walang invasive na paggamit ng mga tina o iba pang contrast agent.Binibigyang-daan din ng OCTA ang depth-resolution na vascular imaging, na nagpapahintulot sa mga clinician na hiwalay na suriin ang mababaw at malalim na mga layer ng vessel, na tumutulong na makilala ang pagkakaiba sa pagitan ng chorioretinal disease.
Bagama't ang diskarteng ito ay nangangako, ang pagkakaiba-iba ng kalidad ng imahe ay nananatiling isang malaking hamon para sa maaasahang pagsusuri ng imahe, na ginagawang mahirap ang interpretasyon ng imahe at pinipigilan ang malawakang klinikal na pag-aampon.Dahil gumagamit ang OCTA ng maraming magkakasunod na OCT scan, mas sensitibo ito sa mga artifact ng imahe kaysa sa karaniwang OCT.Karamihan sa mga komersyal na OCTA platform ay nagbibigay ng sarili nilang sukatan ng kalidad ng imahe na tinatawag na Signal Strength (SS) o minsan Signal Strength Index (SSI).Gayunpaman, hindi ginagarantiyahan ng mga larawang may mataas na halaga ng SS o SSI ang kawalan ng mga artifact ng imahe, na maaaring makaapekto sa anumang kasunod na pagsusuri ng larawan at humantong sa mga maling klinikal na desisyon.Kasama sa mga karaniwang artifact ng larawan na maaaring mangyari sa OCTA imaging ang mga motion artifact, segmentation artifact, media opacity artifact, at projection artifact1,2,3.
Dahil ang mga hakbang na nagmula sa OCTA tulad ng vascular density ay lalong ginagamit sa pagsasaliksik sa pagsasalin, mga klinikal na pagsubok at klinikal na kasanayan, mayroong isang agarang pangangailangan na bumuo ng matatag at maaasahang mga proseso ng kontrol sa kalidad ng imahe upang maalis ang mga artefact ng larawan4.Ang mga laktawan na koneksyon, na kilala rin bilang mga natitirang koneksyon, ay mga projection sa arkitektura ng neural network na nagbibigay-daan sa impormasyon na i-bypass ang mga convolutional layer habang nag-iimbak ng impormasyon sa iba't ibang sukat o resolusyon5.Dahil ang mga artifact ng imahe ay maaaring makaapekto sa maliit at pangkalahatang malakihang pagganap ng imahe, ang mga neural network ng skip-connection ay angkop na i-automate ang gawaing ito sa pagkontrol sa kalidad5.Ang kamakailang nai-publish na trabaho ay nagpakita ng ilang pangako para sa malalim na convolutional neural network na sinanay gamit ang mataas na kalidad na data mula sa mga taong estimator6.
Sa pag-aaral na ito, nagsasanay kami ng isang convolutional neural network na lumalaktaw sa koneksyon upang awtomatikong matukoy ang kalidad ng mga imahe ng OCTA.Bumubuo kami sa nakaraang gawain sa pamamagitan ng pagbuo ng hiwalay na mga modelo para sa pagtukoy ng mataas na kalidad ng mga larawan at mababang kalidad na mga larawan, dahil ang mga kinakailangan sa kalidad ng imahe ay maaaring mag-iba para sa mga partikular na klinikal o pananaliksik na mga sitwasyon.Inihahambing namin ang mga resulta ng mga network na ito sa mga convolutional neural network na walang nawawalang koneksyon upang suriin ang halaga ng pagsasama ng mga feature sa maraming antas ng granularity sa loob ng malalim na pag-aaral.Pagkatapos ay inihambing namin ang aming mga resulta sa lakas ng signal, isang karaniwang tinatanggap na sukatan ng kalidad ng imahe na ibinigay ng mga tagagawa.
Kasama sa aming pag-aaral ang mga pasyenteng may diabetes na dumalo sa Yale Eye Center sa pagitan ng Agosto 11, 2017 at Abril 11, 2019. Ang mga pasyente na may anumang non-diabetic na chorioretinal disease ay hindi kasama.Walang pamantayan sa pagsasama o pagbubukod batay sa edad, kasarian, lahi, kalidad ng larawan, o anumang iba pang salik.
Ang mga imahe ng OCTA ay nakuha gamit ang platform ng AngioPlex sa isang Cirrus HD-OCT 5000 (Carl Zeiss Meditec Inc, Dublin, CA) sa ilalim ng 8\(\times\)8 mm at 6\(\times\)6 mm imaging protocol.Ang may-alam na pahintulot para sa pakikilahok sa pag-aaral ay nakuha mula sa bawat kalahok sa pag-aaral, at inaprubahan ng Yale University Institutional Review Board (IRB) ang paggamit ng may-kaalamang pahintulot na may pandaigdigang litrato para sa lahat ng mga pasyenteng ito.Pagsunod sa mga prinsipyo ng Deklarasyon ng Helsinki.Ang pag-aaral ay inaprubahan ng Yale University IRB.
Sinuri ang mga imahe ng surface plate batay sa naunang inilarawan na Motion Artifact Score (MAS), ang naunang inilarawan na Segmentation Artifact Score (SAS), ang foveal center, ang pagkakaroon ng media opacity, at magandang visualization ng maliliit na capillary gaya ng tinutukoy ng image evaluator.Ang mga imahe ay sinuri ng dalawang independiyenteng evaluator (RD at JW).Ang isang imahe ay may graded na marka na 2 (kwalipikado) kung ang lahat ng sumusunod na pamantayan ay natutugunan: ang larawan ay nakasentro sa fovea (mas mababa sa 100 pixels mula sa gitna ng larawan), MAS ay 1 o 2, SAS ay 1, at ang opacity ng media ay mas mababa sa 1. Makikita sa mga larawang may sukat / 16, at ang maliliit na capillary ay makikita sa mga larawang mas malaki kaysa sa 15/16.Ang isang imahe ay na-rate na 0 (walang rating) kung ang alinman sa mga sumusunod na pamantayan ay natutugunan: ang imahe ay nasa labas ng gitna, kung ang MAS ay 4, kung ang SAS ay 2, o ang average na opacity ay higit sa 1/4 ng larawan, at ang mga maliliit na capillary ay hindi maaaring isaayos ng higit sa 1 larawan /4 upang makilala.Ang lahat ng iba pang mga larawan na hindi nakakatugon sa pamantayan sa pagmamarka 0 o 2 ay namarkahan bilang 1 (clipping).
Sa fig.Ang 1 ay nagpapakita ng mga sample na larawan para sa bawat isa sa mga naka-scale na pagtatantya at mga artifact ng larawan.Ang pagiging maaasahan ng inter-rater ng mga indibidwal na marka ay tinasa ng kappa weighting ni Cohen8.Ang mga indibidwal na marka ng bawat rater ay isinu-summed upang makakuha ng pangkalahatang marka para sa bawat larawan, mula 0 hanggang 4. Ang mga larawang may kabuuang iskor na 4 ay itinuturing na mabuti.Ang mga larawang may kabuuang marka na 0 o 1 ay itinuturing na mababang kalidad.
Isang ResNet152 architecture convolutional neural network (Fig. 3A.i) na paunang sinanay sa mga imahe mula sa ImageNet database ay nabuo gamit ang fast.ai at ang PyTorch framework5, 9, 10, 11. Ang convolutional neural network ay isang network na gumagamit ng natutunan mga filter para sa pag-scan ng mga fragment ng imahe upang pag-aralan ang spatial at lokal na mga tampok.Ang aming sinanay na ResNet ay isang 152-layer na neural network na nailalarawan sa pamamagitan ng mga gaps o "mga natitirang koneksyon" na sabay-sabay na nagpapadala ng impormasyon na may maraming mga resolusyon.Sa pamamagitan ng pag-project ng impormasyon sa iba't ibang mga resolusyon sa network, matututunan ng platform ang mga feature ng mga larawang mababa ang kalidad sa maraming antas ng detalye.Bilang karagdagan sa aming modelo ng ResNet, sinanay din namin ang AlexNet, isang mahusay na pinag-aralan na neural network architecture, nang walang nawawalang mga koneksyon para sa paghahambing (Larawan 3A.ii)12.Kung walang mga nawawalang koneksyon, hindi makukuha ng network na ito ang mga feature sa mas mataas na granularity.
Ang orihinal na 8\(\times\)8mm OCTA13 na set ng larawan ay pinahusay gamit ang horizontal at vertical reflection techniques.Ang buong dataset ay random na nahati sa antas ng imahe sa pagsasanay (51.2%), pagsubok (12.8%), hyperparameter tuning (16%), at validation (20%) na mga dataset gamit ang scikit-learn toolbox python14.Dalawang kaso ang isinaalang-alang, ang isa ay batay sa pag-detect lamang ng pinakamataas na kalidad ng mga larawan (pangkalahatang marka 4) at ang isa pa ay batay sa pag-detect lamang ng pinakamababang kalidad na mga larawan (pangkalahatang marka 0 o 1).Para sa bawat mataas na kalidad at mababang kalidad na kaso ng paggamit, ang neural network ay muling sinasanay nang isang beses sa aming data ng imahe.Sa bawat kaso ng paggamit, ang neural network ay sinanay para sa 10 panahon, lahat maliban sa pinakamataas na bigat ng layer ay na-freeze, at ang mga timbang ng lahat ng mga panloob na parameter ay natutunan para sa 40 mga panahon gamit ang isang discriminative learning rate method na may cross-entropy loss function 15, 16..Ang cross entropy loss function ay isang sukatan ng logarithmic scale ng pagkakaiba sa pagitan ng mga hinulaang label ng network at totoong data.Sa panahon ng pagsasanay, ang gradient descent ay ginagawa sa mga panloob na parameter ng neural network upang mabawasan ang mga pagkalugi.Ang rate ng pagkatuto, rate ng pag-drop, at mga hyperparameter ng pagbabawas ng timbang ay na-tune gamit ang Bayesian optimization na may 2 random na panimulang punto at 10 pag-ulit, at ang AUC sa dataset ay na-tune gamit ang mga hyperparameter bilang target na 17.
Ang mga kinatawan ng mga halimbawa ng 8 × 8 mm OCTA na mga larawan ng mababaw na capillary plexuses ay nakakuha ng 2 (A, B), 1 (C, D), at 0 (E, F).Kasama sa mga larawang artifact na ipinapakita ang mga pagkutitap na linya (mga arrow), mga artifact ng segmentation (mga asterisk), at media opacity (mga arrow).Nasa off-center din ang larawan (E).
Binubuo ang mga curve ng receiver operating characteristics (ROC) para sa lahat ng modelo ng neural network, at ang mga ulat sa lakas ng signal ng engine ay nabuo para sa bawat mababang kalidad at mataas na kalidad na kaso ng paggamit.Ang lugar sa ilalim ng curve (AUC) ay kinakalkula gamit ang pROC R package, at ang 95% na agwat ng kumpiyansa at p-values ​​ay kinakalkula gamit ang DeLong method18,19.Ang pinagsama-samang mga marka ng mga taga-rate ng tao ay ginagamit bilang baseline para sa lahat ng pagkalkula ng ROC.Para sa lakas ng signal na iniulat ng makina, ang AUC ay kinakalkula nang dalawang beses: isang beses para sa mataas na kalidad na Scalability Score cutoff at isang beses para sa mababang kalidad na Scalability Score cutoff.Ang neural network ay inihambing sa lakas ng signal ng AUC na sumasalamin sa sarili nitong mga kondisyon sa pagsasanay at pagsusuri.
Para masubukan pa ang sinanay na modelo ng deep learning sa isang hiwalay na dataset, direktang inilapat ang mataas na kalidad at mababang kalidad na mga modelo sa performance evaluation ng 32 full face 6\(\times\) 6mm surface slab na larawan na nakolekta mula sa Yale University.Ang Mass ng Mata ay nakasentro kasabay ng larawang 8 \(\beses \) 8 mm.Ang 6\(\×\) 6 mm na mga imahe ay manu-manong nasuri ng parehong mga rater (RD at JW) sa parehong paraan tulad ng 8\(\×\) 8 mm na mga imahe, AUC ay kinakalkula pati na rin ang katumpakan at Cohen's kappa .pantay pantay .
Ang ratio ng class imbalance ay 158:189 (\(\rho = 1.19\)) para sa mababang kalidad na modelo at 80:267 (\(\rho = 3.3\)) para sa mataas na kalidad na modelo.Dahil ang ratio ng imbalance ng klase ay mas mababa sa 1:4, walang partikular na pagbabago sa arkitektura ang ginawa upang itama ang kawalan ng balanse ng klase20,21.
Upang mas mailarawan ang proseso ng pag-aaral, nabuo ang mga mapa ng pag-activate ng klase para sa lahat ng apat na sinanay na modelo ng malalim na pag-aaral: mataas na kalidad na modelo ng ResNet152, mababang kalidad na modelo ng ResNet152, mataas na kalidad na modelo ng AlexNet, at mababang kalidad na modelo ng AlexNet.Ang mga mapa ng activation ng klase ay nabuo mula sa mga input convolutional layer ng apat na modelong ito, at ang mga heat maps ay nabuo sa pamamagitan ng pag-overlay ng mga mapa ng activation na may mga source na larawan mula sa 8 × 8 mm at 6 × 6 mm validation sets22, 23.
R bersyon 4.0.3 ay ginamit para sa lahat ng istatistikal na pagkalkula, at ang mga visualization ay ginawa gamit ang ggplot2 graphics tool library.
Nakakolekta kami ng 347 pangharap na larawan ng mababaw na capillary plexus na may sukat na 8 \(\times \)8 mm mula sa 134 na tao.Ang makina ay nag-ulat ng lakas ng signal sa sukat na 0 hanggang 10 para sa lahat ng mga larawan (mean = 6.99 ± 2.29).Sa 347 na mga larawang nakuha, ang ibig sabihin ng edad sa pagsusuri ay 58.7 ± 14.6 taon, at 39.2% ay mula sa mga pasyenteng lalaki.Sa lahat ng mga imahe, 30.8% ay mula sa Caucasians, 32.6% mula sa Blacks, 30.8% mula sa Hispanics, 4% mula sa Asians, at 1.7% mula sa iba pang mga lahi (Talahanayan 1).).Ang pamamahagi ng edad ng mga pasyente na may OCTA ay naiiba nang malaki depende sa kalidad ng imahe (p <0.001).Ang porsyento ng mga larawang may mataas na kalidad sa mga mas batang pasyente na may edad na 18-45 taon ay 33.8% kumpara sa 12.2% ng mga larawang mababa ang kalidad (Talahanayan 1).Ang pamamahagi ng katayuan ng diabetic retinopathy ay nag-iba din nang malaki sa kalidad ng imahe (p <0.017).Sa lahat ng mataas na kalidad na mga imahe, ang porsyento ng mga pasyente na may PDR ay 18.8% kumpara sa 38.8% ng lahat ng mababang kalidad na mga imahe (Talahanayan 1).
Ang mga indibidwal na rating ng lahat ng mga imahe ay nagpakita ng katamtaman hanggang sa malakas na inter-rating na pagiging maaasahan sa pagitan ng mga taong nagbabasa ng mga imahe (Cohen's weighted kappa = 0.79, 95% CI: 0.76-0.82), at walang mga puntos ng imahe kung saan ang mga rater ay nagkakaiba ng higit sa 1 (Fig. 2A)..Malaki ang kaugnayan ng intensity ng signal sa manu-manong pagmamarka (Pearson product moment correlation = 0.58, 95% CI 0.51–0.65, p<0.001), ngunit maraming mga imahe ang natukoy na may mataas na intensity ng signal ngunit mababa ang manu-manong pagmamarka (Fig. 2B).
Sa panahon ng pagsasanay ng mga arkitektura ng ResNet152 at AlexNet, ang pagkawala ng cross-entropy sa pagpapatunay at pagsasanay ay bumabagsak sa 50 epoch (Larawan 3B, C).Ang katumpakan ng pagpapatunay sa huling yugto ng pagsasanay ay higit sa 90% para sa parehong mataas na kalidad at mababang kalidad na mga kaso ng paggamit.
Ipinapakita ng mga curve ng performance ng receiver na ang modelong ResNet152 ay higit na lumalampas sa lakas ng signal na iniulat ng makina sa parehong mababa at mataas na kalidad na mga kaso ng paggamit (p <0.001).Ang modelong ResNet152 ay makabuluhang nahihigitan din ang arkitektura ng AlexNet (p = 0.005 at p = 0.014 para sa mababang kalidad at mataas na kalidad na mga kaso, ayon sa pagkakabanggit).Ang mga nagresultang modelo para sa bawat isa sa mga gawaing ito ay nagawang makamit ang mga halaga ng AUC na 0.99 at 0.97, ayon sa pagkakabanggit, na makabuluhang mas mahusay kaysa sa kaukulang mga halaga ng AUC na 0.82 at 0.78 para sa index ng lakas ng signal ng makina o 0.97 at 0.94 para sa AlexNet ..(Larawan 3).Ang pagkakaiba sa pagitan ng ResNet at AUC sa lakas ng signal ay mas mataas kapag kinikilala ang mataas na kalidad na mga larawan, na nagpapahiwatig ng mga karagdagang benepisyo ng paggamit ng ResNet para sa gawaing ito.
Ipinapakita ng mga graph ang kakayahan ng bawat independiyenteng tagapag-rate na mag-iskor at magkumpara sa lakas ng signal na iniulat ng makina.(A) Ang kabuuan ng mga puntos na susuriin ay ginagamit upang lumikha ng kabuuang bilang ng mga puntos na susuriin.Ang mga larawang may kabuuang marka ng scalability na 4 ay itinalaga sa mataas na kalidad, habang ang mga larawang may kabuuang marka ng scalability na 1 o mas mababa ay itinalaga sa mababang kalidad.(B) Ang intensity ng signal ay nauugnay sa mga manu-manong pagtatantya, ngunit ang mga larawang may mataas na intensity ng signal ay maaaring mas mahina ang kalidad.Isinasaad ng pulang tuldok na linya ang inirerekomendang kalidad ng threshold ng manufacturer batay sa lakas ng signal (lakas ng signal \(\ge\)6).
Nagbibigay ang ResNet transfer learning ng makabuluhang pagpapabuti sa pagkilala sa kalidad ng imahe para sa parehong mababang kalidad at mataas na kalidad na mga kaso ng paggamit kumpara sa mga antas ng signal na iniulat ng machine.(A) Mga pinasimple na diagram ng arkitektura ng mga pre-trained (i) ResNet152 at (ii) mga arkitektura ng AlexNet.(B) Kasaysayan ng pagsasanay at mga curve ng pagganap ng receiver para sa ResNet152 kumpara sa iniulat ng makina na lakas ng signal at pamantayan sa mababang kalidad ng AlexNet.(C) ResNet152 receiver training history at performance curves kumpara sa machine na iniulat na lakas ng signal at AlexNet mataas na kalidad na pamantayan.
Pagkatapos ayusin ang hangganan ng hangganan ng desisyon, ang pinakamataas na katumpakan ng hula ng modelong ResNet152 ay 95.3% para sa mababang kalidad na kaso at 93.5% para sa mataas na kalidad na kaso (Talahanayan 2).Ang pinakamataas na katumpakan ng hula ng modelong AlexNet ay 91.0% para sa mababang kalidad na kaso at 90.1% para sa mataas na kalidad na kaso (Talahanayan 2).Ang maximum na katumpakan ng paghula ng lakas ng signal ay 76.1% para sa mababang kalidad na use case at 77.8% para sa mataas na kalidad na use case.Ayon sa kappa ni Cohen (\(\kappa\)), ang kasunduan sa pagitan ng modelong ResNet152 at ng mga estimator ay 0.90 para sa mababang kalidad na kaso at 0.81 para sa mataas na kalidad na kaso.Ang AlexNet kappa ni Cohen ay 0.82 at 0.71 para sa mababang kalidad at mataas na kalidad na mga kaso ng paggamit, ayon sa pagkakabanggit.Ang lakas ng signal ng Cohen kappa ay 0.52 at 0.27 para sa mababa at mataas na kalidad na mga kaso ng paggamit, ayon sa pagkakabanggit.
Ang pagpapatunay ng mataas at mababang kalidad na mga modelo ng pagkilala sa 6\(\x\) na mga larawan ng isang 6 mm na flat plate ay nagpapakita ng kakayahan ng sinanay na modelo na matukoy ang kalidad ng larawan sa iba't ibang mga parameter ng imaging.Kapag gumagamit ng 6\(\x\) 6 mm shallow slab para sa kalidad ng imaging, ang mababang kalidad na modelo ay may AUC na 0.83 (95% CI: 0.69–0.98) at ang mataas na kalidad na modelo ay may AUC na 0.85.(95% CI: 0.55–1.00) (Talahanayan 2).
Ang visual na inspeksyon ng input layer class activation maps ay nagpakita na ang lahat ng sinanay na neural network ay gumamit ng mga feature ng imahe sa panahon ng pag-uuri ng imahe (Fig. 4A, B).Para sa 8 \(\beses \) 8 mm at 6 \(\beses \) 6 mm na mga imahe, ang ResNet activation images ay malapit na sumusunod sa retinal vasculature.Sinusundan din ng mga mapa ng AlexNet activation ang mga retinal vessel, ngunit may mas magaspang na resolusyon.
Ang mga mapa ng pag-activate ng klase para sa mga modelong ResNet152 at AlexNet ay nagha-highlight ng mga tampok na nauugnay sa kalidad ng imahe.(A) Class activation map na nagpapakita ng magkakaugnay na activation pagkatapos ng mababaw na retinal vasculature sa 8 \(\times \) 8 mm validation na mga imahe at (B) na lawak sa mas maliit na 6 \(\times \) 6 mm validation na imahe.LQ model na sinanay sa mababang kalidad na pamantayan, HQ modelo na sinanay sa mataas na kalidad na pamantayan.
Nauna nang ipinakita na ang kalidad ng imahe ay maaaring makaapekto nang malaki sa anumang dami ng mga imahe ng OCTA.Bilang karagdagan, ang pagkakaroon ng retinopathy ay nagdaragdag sa saklaw ng mga artifact ng imahe7,26.Sa katunayan, sa aming data, na naaayon sa mga nakaraang pag-aaral, natagpuan namin ang isang makabuluhang kaugnayan sa pagitan ng pagtaas ng edad at kalubhaan ng sakit sa retina at pagkasira sa kalidad ng imahe (p <0.001, p = 0.017 para sa edad at katayuan ng DR, ayon sa pagkakabanggit; Talahanayan 1) 27 . Samakatuwid, kritikal na tasahin ang kalidad ng imahe bago magsagawa ng anumang quantitative analysis ng OCTA na mga imahe.Karamihan sa mga pag-aaral na nagsusuri ng mga larawang OCTA ay gumagamit ng mga iniulat ng makina na signal intensity threshold upang maalis ang mga larawang mababa ang kalidad.Bagaman ipinakita ang intensity ng signal na nakakaapekto sa dami ng mga parameter ng OCTA, ang mataas na intensity ng signal lamang ay maaaring hindi sapat upang ibukod ang mga imahe na may mga artifact ng imahe2,3,28,29.Samakatuwid, kinakailangan na bumuo ng isang mas maaasahang paraan ng kontrol sa kalidad ng imahe.Sa layuning ito, sinusuri namin ang pagganap ng mga pinangangasiwaang pamamaraan ng malalim na pag-aaral laban sa lakas ng signal na iniulat ng makina.
Nakagawa kami ng ilang modelo para sa pagsusuri ng kalidad ng larawan dahil maaaring may iba't ibang mga kinakailangan sa kalidad ng larawan ang iba't ibang kaso ng paggamit ng OCTA.Halimbawa, ang mga imahe ay dapat na mas mataas ang kalidad.Bilang karagdagan, ang mga tiyak na quantitative parameter ng interes ay mahalaga din.Halimbawa, ang lugar ng foveal avascular zone ay hindi nakasalalay sa labo ng non-central medium, ngunit nakakaapekto sa density ng mga sisidlan.Habang ang aming pananaliksik ay patuloy na nakatuon sa isang pangkalahatang diskarte sa kalidad ng imahe, hindi nakatali sa mga kinakailangan ng anumang partikular na pagsubok, ngunit nilayon upang direktang palitan ang lakas ng signal na iniulat ng makina, umaasa kaming mabigyan ang mga user ng mas malaking antas ng kontrol upang sila ay maaaring pumili ng partikular na sukatan ng interes sa user.pumili ng modelo na tumutugma sa maximum na antas ng mga artifact ng larawan na itinuturing na katanggap-tanggap.
Para sa mababang kalidad at mataas na kalidad na mga eksena, nagpapakita kami ng mahusay na pagganap ng mga nawawalang koneksyon na malalim na convolutional neural network, na may mga AUC na 0.97 at 0.99 at mababang kalidad na mga modelo, ayon sa pagkakabanggit.Ipinakita rin namin ang mahusay na pagganap ng aming diskarte sa malalim na pag-aaral kung ihahambing sa mga antas ng signal na iniulat lamang ng mga makina.Ang mga laktawan na koneksyon ay nagbibigay-daan sa mga neural network na matuto ng mga feature sa maraming antas ng detalye, pagkuha ng mas pinong aspeto ng mga larawan (hal. contrast) pati na rin ang mga pangkalahatang feature (hal. image centering30,31).Dahil ang mga artifact ng imahe na nakakaapekto sa kalidad ng imahe ay malamang na pinakamahusay na natukoy sa isang malawak na hanay, ang mga arkitektura ng neural network na may mga nawawalang koneksyon ay maaaring magpakita ng mas mahusay na pagganap kaysa sa mga walang mga gawain sa pagtukoy ng kalidad ng imahe.
Kapag sinubukan ang aming modelo sa 6\(\×6mm) na OCTA na mga larawan, napansin namin ang pagbaba sa pagganap ng pag-uuri para sa parehong mataas na kalidad at mababang kalidad na mga modelo (Larawan 2), sa kaibahan sa laki ng modelong sinanay para sa pag-uuri.Kung ikukumpara sa ResNet model, ang AlexNet model ay may mas malaking falloff.Ang medyo mas mahusay na pagganap ng ResNet ay maaaring dahil sa kakayahan ng mga natitirang koneksyon na magpadala ng impormasyon sa maraming mga antas, na ginagawang mas matatag ang modelo para sa pag-uuri ng mga larawang nakunan sa iba't ibang mga kaliskis at/o mga pagpapalaki.
Ang ilang pagkakaiba sa pagitan ng 8 \(\×\) 8 mm na larawan at 6 \(\×\) 6 mm na mga larawan ay maaaring humantong sa hindi magandang klasipikasyon, kabilang ang medyo mataas na proporsyon ng mga larawang naglalaman ng foveal avascular area, mga pagbabago sa visibility, vascular arcade, at walang optic nerve sa larawan 6×6 mm.Sa kabila nito, nagawa ng aming mataas na kalidad na modelo ng ResNet ang isang AUC na 85% para sa 6 \(\x\) 6 mm na mga imahe, isang pagsasaayos kung saan hindi sinanay ang modelo, na nagmumungkahi na ang impormasyon ng kalidad ng imahe ay naka-encode sa neural network ay angkop.para sa isang laki ng imahe o configuration ng makina sa labas ng pagsasanay nito (Talahanayan 2).Nakatitiyak, ang ResNet- at AlexNet-like activation na mga mapa ng 8 \(\times \) 8 mm at 6 \(\times \) 6 mm na mga imahe ay nagawang i-highlight ang mga retinal vessel sa parehong mga kaso, na nagmumungkahi na ang modelo ay may mahalagang impormasyon.ay naaangkop para sa pag-uuri ng parehong uri ng mga larawang OCTA (Larawan 4).
Lauerman et al.Ang pagtatasa ng kalidad ng imahe sa mga imahe ng OCTA ay katulad na isinagawa gamit ang arkitektura ng Inception, isa pang skip-connection convolutional neural network6,32 gamit ang mga deep learning techniques.Nilimitahan din nila ang pag-aaral sa mga larawan ng mababaw na capillary plexus, ngunit ginagamit lamang ang mas maliit na 3 × 3 mm na mga imahe mula sa Optovue AngioVue, kahit na ang mga pasyente na may iba't ibang mga chorioretinal na sakit ay kasama rin.Ang aming trabaho ay bumubuo sa kanilang mga pundasyon, kabilang ang maraming mga modelo upang matugunan ang iba't ibang mga limitasyon ng kalidad ng imahe at patunayan ang mga resulta para sa mga larawang may iba't ibang laki.Iniuulat din namin ang sukatan ng AUC ng mga modelo ng machine learning at pinapataas ang kanilang kahanga-hangang katumpakan (90%)6 para sa parehong mababang kalidad (96%) at mataas na kalidad (95.7%) na mga modelo6.
Ang pagsasanay na ito ay may ilang mga limitasyon.Una, ang mga imahe ay nakuha gamit lamang ang isang OCTA machine, kasama lamang ang mga larawan ng mababaw na capillary plexus sa 8\(\times\)8 mm at 6\(\times\)6 mm.Ang dahilan ng pagbubukod ng mga larawan mula sa mas malalim na mga layer ay ang projection artifact ay maaaring gawing mas mahirap ang manu-manong pagsusuri ng mga larawan at posibleng hindi gaanong pare-pareho.Higit pa rito, ang mga imahe ay nakuha lamang sa mga pasyenteng may diabetes, kung saan ang OCTA ay umuusbong bilang isang mahalagang diagnostic at prognostic tool33,34.Bagama't nasubukan namin ang aming modelo sa mga larawan ng iba't ibang laki upang matiyak na matatag ang mga resulta, hindi namin natukoy ang mga angkop na dataset mula sa iba't ibang mga sentro, na naglimita sa aming pagtatasa sa pagiging pangkalahatan ng modelo.Kahit na ang mga imahe ay nakuha mula sa isang sentro lamang, nakuha ang mga ito mula sa mga pasyente ng iba't ibang etniko at lahi, na isang natatanging lakas ng aming pag-aaral.Sa pamamagitan ng pagsasama ng pagkakaiba-iba sa aming proseso ng pagsasanay, umaasa kaming magiging pangkalahatan ang aming mga resulta sa mas malawak na kahulugan, at maiiwasan namin ang pag-encode ng pagkiling sa lahi sa mga modelong aming sinasanay.
Ang aming pag-aaral ay nagpapakita na ang koneksyon-skipping neural network ay maaaring sanayin upang makamit ang mataas na pagganap sa pagtukoy ng kalidad ng imahe ng OCTA.Ibinibigay namin ang mga modelong ito bilang mga tool para sa karagdagang pananaliksik.Dahil maaaring may iba't ibang mga kinakailangan sa kalidad ng larawan ang iba't ibang sukatan, maaaring bumuo ng indibidwal na modelo ng kontrol sa kalidad para sa bawat sukatan gamit ang istrukturang itinatag dito.
Ang hinaharap na pananaliksik ay dapat magsama ng mga larawan ng iba't ibang laki mula sa iba't ibang depth at iba't ibang OCTA machine upang makakuha ng malalim na pag-aaral na proseso ng pagsusuri ng kalidad ng imahe na maaaring gawing pangkalahatan sa mga OCTA platform at imaging protocol.Ang kasalukuyang pananaliksik ay nakabatay din sa pinangangasiwaang malalim na mga diskarte sa pag-aaral na nangangailangan ng pagsusuri ng tao at pagsusuri ng imahe, na maaaring maging masinsinang paggawa at pag-ubos ng oras para sa malalaking dataset.Ito ay nananatiling makita kung ang hindi pinangangasiwaang malalim na mga pamamaraan sa pag-aaral ay maaaring sapat na makilala sa pagitan ng mga larawang mababa ang kalidad at mga larawang may mataas na kalidad.
Habang patuloy na umuunlad ang teknolohiya ng OCTA at tumataas ang bilis ng pag-scan, maaaring bumaba ang saklaw ng mga artifact ng larawan at hindi magandang kalidad ng mga larawan.Ang mga pagpapahusay sa software, tulad ng kamakailang ipinakilala na tampok na pag-alis ng projection artifact, ay maaari ding magpagaan sa mga limitasyong ito.Gayunpaman, maraming mga problema ang nananatili habang ang imaging ng mga pasyente na may mahinang pag-aayos o makabuluhang media labo ay palaging nagreresulta sa mga artifact ng imahe.Habang ang OCTA ay nagiging mas malawak na ginagamit sa mga klinikal na pagsubok, kailangan ang maingat na pagsasaalang-alang upang magtatag ng malinaw na mga alituntunin para sa mga katanggap-tanggap na antas ng artifact ng imahe para sa pagsusuri ng imahe.Ang paggamit ng mga malalim na pamamaraan ng pag-aaral sa mga imahe ng OCTA ay may malaking pangako at kailangan ng karagdagang pananaliksik sa lugar na ito upang bumuo ng isang matatag na diskarte sa kontrol ng kalidad ng imahe.
Ang code na ginamit sa kasalukuyang pananaliksik ay available sa octa-qc repository, https://github.com/rahuldhodapkar/octa-qc.Ang mga dataset na nabuo at/o nasuri sa kasalukuyang pag-aaral ay makukuha mula sa kani-kanilang mga may-akda sa makatwirang kahilingan.
Spaide, RF, Fujimoto, JG & Waheed, NK Image artifact sa optical coherence angiography.Retina 35, 2163–2180 (2015).
Fenner, BJ et al.Pagkilala sa mga tampok ng imaging na tumutukoy sa kalidad at muling paggawa ng mga pagsukat ng density ng retinal capillary plexus sa OCT angiography.BR.J. Ophthalmol.102, 509–514 (2018).
Lauerman, JL et al.Impluwensya ng teknolohiya sa pagsubaybay sa mata sa kalidad ng imahe ng OCT angiography sa macular degeneration na may kaugnayan sa edad.Libingan arko.klinikal.Exp.ophthalmology.255, 1535–1542 (2017).
Babyuch AS et al.Ang OCTA capillary perfusion density measurements ay ginagamit upang makita at suriin ang macular ischemia.ophthalmic surgery.Retinal Laser Imaging 51, S30–S36 (2020).
He, K., Zhang, X., Ren, S., at Sun, J. Deep Residual Learning para sa Image Recognition.Noong 2016 sa IEEE Conference on Computer Vision and Pattern Recognition (2016).
Lauerman, JL et al.Automated OCT angiographic na pagtatasa ng kalidad ng imahe gamit ang mga algorithm ng malalim na pag-aaral.Libingan arko.klinikal.Exp.ophthalmology.257, 1641–1648 (2019).
Lauermann, J. et al.Ang pagkalat ng mga error sa segmentation at mga artifact ng paggalaw sa OCT angiography ay nakasalalay sa sakit ng retina.Libingan arko.klinikal.Exp.ophthalmology.256, 1807–1816 (2018).
Pask, Adam et al.Pytorch: Isang Imperative, High-Performance Deep Learning Library.Advanced na pagproseso ng neural na impormasyon.sistema.32, 8026–8037 (2019).
Deng, J. et al.ImageNet: Isang Malaking Hierarchical Image Database.2009 IEEE Conference sa Computer Vision at Pattern Recognition.248–255.(2009).
Krizhevsky A., Sutzkever I. at Hinton GE Imagenet na pag-uuri gamit ang malalim na convolutional neural network.Advanced na pagproseso ng neural na impormasyon.sistema.25, 1 (2012).