Terima kasih kerana melawat Nature.com.Anda menggunakan versi penyemak imbas dengan sokongan CSS terhad.Untuk pengalaman terbaik, kami mengesyorkan agar anda menggunakan penyemak imbas yang dikemas kini (atau lumpuhkan Mod Keserasian dalam Internet Explorer).Di samping itu, untuk memastikan sokongan berterusan, kami menunjukkan tapak tanpa gaya dan JavaScript.
Peluncur menunjukkan tiga artikel setiap slaid.Gunakan butang belakang dan seterusnya untuk bergerak melalui slaid, atau butang pengawal slaid di hujung untuk bergerak melalui setiap slaid.
Angiografi tomografi koheren optik (OCTA) ialah kaedah baharu untuk visualisasi bukan invasif saluran retina.Walaupun OCTA mempunyai banyak aplikasi klinikal yang menjanjikan, menentukan kualiti imej kekal sebagai cabaran.Kami membangunkan sistem berasaskan pembelajaran mendalam menggunakan pengelas rangkaian saraf ResNet152 yang telah dilatih dengan ImageNet untuk mengklasifikasikan imej plexus kapilari cetek daripada 347 imbasan 134 pesakit.Imej-imej itu juga dinilai secara manual sebagai kebenaran sebenar oleh dua penilai bebas untuk model pembelajaran yang diselia.Oleh kerana keperluan kualiti imej mungkin berbeza-beza bergantung pada tetapan klinikal atau penyelidikan, dua model telah dilatih, satu untuk pengecaman imej berkualiti tinggi dan satu lagi untuk pengecaman imej berkualiti rendah.Model rangkaian saraf kami menunjukkan kawasan yang sangat baik di bawah lengkung (AUC), 95% CI 0.96-0.99, \(\kappa\) = 0.81), yang jauh lebih baik daripada tahap isyarat yang dilaporkan oleh mesin (AUC = 0.82, 95). % CI).0.77–0.86, \(\kappa\) = 0.52 dan AUC = 0.78, masing-masing 95% CI 0.73–0.83, \(\kappa\) = 0.27).Kajian kami menunjukkan bahawa kaedah pembelajaran mesin boleh digunakan untuk membangunkan kaedah kawalan kualiti yang fleksibel dan mantap untuk imej OCTA.
Angiografi tomografi koheren optik (OCTA) ialah teknik yang agak baru berdasarkan tomografi koheren optik (OCT) yang boleh digunakan untuk visualisasi bukan invasif mikrovaskular retina.OCTA mengukur perbezaan dalam corak pantulan daripada denyutan cahaya berulang di kawasan retina yang sama, dan pembinaan semula kemudiannya boleh dikira untuk mendedahkan saluran darah tanpa penggunaan pewarna atau agen kontras lain yang invasif.OCTA juga membolehkan pengimejan vaskular resolusi kedalaman, membolehkan doktor memeriksa secara berasingan lapisan saluran dangkal dan dalam, membantu membezakan antara penyakit chorioretinal.
Walaupun teknik ini menjanjikan, variasi kualiti imej kekal sebagai cabaran utama untuk analisis imej yang boleh dipercayai, menjadikan tafsiran imej sukar dan menghalang penggunaan klinikal yang meluas.Oleh kerana OCTA menggunakan berbilang imbasan OCT berturut-turut, ia lebih sensitif kepada artifak imej berbanding OCT standard.Kebanyakan platform OCTA komersial menyediakan metrik kualiti imej mereka sendiri yang dipanggil Kekuatan Isyarat (SS) atau kadangkala Indeks Kekuatan Isyarat (SSI).Walau bagaimanapun, imej dengan nilai SS atau SSI yang tinggi tidak menjamin ketiadaan artifak imej, yang boleh menjejaskan sebarang analisis imej seterusnya dan membawa kepada keputusan klinikal yang salah.Artifak imej biasa yang boleh berlaku dalam pengimejan OCTA termasuk artifak gerakan, artifak pembahagian, artifak kelegapan media dan artifak unjuran1,2,3.
Memandangkan langkah-langkah yang diperolehi OCTA seperti ketumpatan vaskular semakin digunakan dalam penyelidikan translasi, ujian klinikal dan amalan klinikal, terdapat keperluan mendesak untuk membangunkan proses kawalan kualiti imej yang mantap dan boleh dipercayai untuk menghapuskan artifak imej4.Langkau sambungan, juga dikenali sebagai sambungan baki, ialah unjuran dalam seni bina rangkaian saraf yang membenarkan maklumat memintas lapisan konvolusi sambil menyimpan maklumat pada skala atau resolusi yang berbeza5.Oleh kerana artifak imej boleh menjejaskan prestasi imej berskala kecil dan umum, rangkaian saraf sambungan langkau sangat sesuai untuk mengautomasikan tugas kawalan kualiti ini5.Kerja yang diterbitkan baru-baru ini telah menunjukkan beberapa janji untuk rangkaian neural convolutional dalam yang dilatih menggunakan data berkualiti tinggi daripada penganggar manusia6.
Dalam kajian ini, kami melatih rangkaian neural konvolusi yang melangkau sambungan untuk menentukan kualiti imej OCTA secara automatik.Kami membina kerja sebelumnya dengan membangunkan model berasingan untuk mengenal pasti imej berkualiti tinggi dan imej berkualiti rendah, kerana keperluan kualiti imej mungkin berbeza untuk senario klinikal atau penyelidikan tertentu.Kami membandingkan hasil rangkaian ini dengan rangkaian neural konvolusi tanpa kehilangan sambungan untuk menilai nilai termasuk ciri pada pelbagai peringkat butiran dalam pembelajaran mendalam.Kami kemudian membandingkan keputusan kami dengan kekuatan isyarat, ukuran kualiti imej yang diterima umum yang disediakan oleh pengeluar.
Kajian kami termasuk pesakit diabetes yang menghadiri Pusat Mata Yale antara 11 Ogos 2017 dan 11 April 2019. Pesakit yang mempunyai sebarang penyakit chorioretinal bukan diabetes dikecualikan.Tiada kriteria kemasukan atau pengecualian berdasarkan umur, jantina, bangsa, kualiti imej atau sebarang faktor lain.
Imej OCTA diperoleh menggunakan platform AngioPlex pada Cirrus HD-OCT 5000 (Carl Zeiss Meditec Inc, Dublin, CA) di bawah 8\(\times\)8 mm dan 6\(\times\)6 mm protokol pengimejan.Persetujuan termaklum untuk penyertaan dalam kajian itu diperoleh daripada setiap peserta kajian, dan Lembaga Kajian Institusi Universiti Yale (LHDN) meluluskan penggunaan persetujuan termaklum dengan fotografi global untuk semua pesakit ini.Mengikuti prinsip Deklarasi Helsinki.Kajian itu telah diluluskan oleh LHDN Universiti Yale.
Imej plat permukaan dinilai berdasarkan Skor Artifak Gerakan (MAS) yang diterangkan sebelum ini, Skor Artifak Segmentasi (SAS), pusat foveal, kehadiran kelegapan media, dan visualisasi kapilari kecil yang baik seperti yang ditentukan oleh penilai imej.Imej telah dianalisis oleh dua penilai bebas (RD dan JW).Imej mempunyai skor gred 2 (layak) jika semua kriteria berikut dipenuhi: imej berpusat di fovea (kurang daripada 100 piksel dari tengah imej), MAS ialah 1 atau 2, SAS ialah 1, dan kelegapan media kurang daripada 1. Hadir pada imej bersaiz / 16, dan kapilari kecil dilihat dalam imej lebih besar daripada 15/16.Imej diberi penarafan 0 (tiada penilaian) jika mana-mana kriteria berikut dipenuhi: imej berada di luar tengah, jika MAS ialah 4, jika SAS ialah 2, atau kelegapan purata lebih besar daripada 1/4 imej, dan kapilari kecil tidak boleh dilaraskan lebih daripada 1 imej /4 untuk membezakan.Semua imej lain yang tidak memenuhi kriteria pemarkahan 0 atau 2 diberi markah sebagai 1 (keratan).
Pada rajah.1 menunjukkan imej sampel untuk setiap anggaran berskala dan artifak imej.Kebolehpercayaan antara penilai skor individu dinilai oleh pemberat kappa Cohen8.Markah individu bagi setiap penilai dijumlahkan untuk mendapatkan skor keseluruhan bagi setiap imej, antara 0 hingga 4. Imej dengan jumlah skor 4 dianggap baik.Imej dengan jumlah skor 0 atau 1 dianggap berkualiti rendah.
Rangkaian saraf konvolusi seni bina ResNet152 (Rajah 3A.i) pra-latihan pada imej daripada pangkalan data ImageNet telah dijana menggunakan fast.ai dan rangka kerja PyTorch5, 9, 10, 11. Rangkaian saraf konvolusi ialah rangkaian yang menggunakan yang dipelajari penapis untuk mengimbas serpihan imej untuk mengkaji ciri spatial dan tempatan.ResNet terlatih kami ialah rangkaian saraf 152 lapisan yang dicirikan oleh jurang atau "sambungan sisa" yang menghantar maklumat secara serentak dengan pelbagai resolusi.Dengan menayangkan maklumat pada resolusi yang berbeza melalui rangkaian, platform boleh mempelajari ciri imej berkualiti rendah pada pelbagai peringkat perincian.Sebagai tambahan kepada model ResNet kami, kami juga melatih AlexNet, seni bina rangkaian saraf yang dikaji dengan baik, tanpa kehilangan sambungan untuk perbandingan (Rajah 3A.ii)12.Tanpa sambungan yang hilang, rangkaian ini tidak akan dapat menangkap ciri pada butiran yang lebih tinggi.
Set imej asal 8\(\times\)8mm OCTA13 telah dipertingkatkan menggunakan teknik pantulan mendatar dan menegak.Set data penuh kemudiannya dibahagikan secara rawak pada tahap imej kepada latihan (51.2%), ujian (12.8%), penalaan hiperparameter (16%) dan set data pengesahan (20%) menggunakan kotak alat scikit-learn python14.Dua kes telah dipertimbangkan, satu berdasarkan pengesanan hanya imej kualiti tertinggi (skor keseluruhan 4) dan satu lagi berdasarkan pengesanan hanya imej kualiti terendah (skor keseluruhan 0 atau 1).Untuk setiap kes penggunaan berkualiti tinggi dan berkualiti rendah, rangkaian saraf dilatih semula sekali pada data imej kami.Dalam setiap kes penggunaan, rangkaian saraf telah dilatih selama 10 zaman, semua kecuali berat lapisan tertinggi dibekukan, dan pemberat semua parameter dalaman dipelajari selama 40 zaman menggunakan kaedah kadar pembelajaran diskriminatif dengan fungsi kehilangan entropi silang 15, 16..Fungsi kehilangan entropi silang ialah ukuran skala logaritma percanggahan antara label rangkaian yang diramalkan dan data sebenar.Semasa latihan, penurunan kecerunan dilakukan pada parameter dalaman rangkaian saraf untuk meminimumkan kerugian.Kadar pembelajaran, kadar keciciran dan hiperparameter pengurangan berat telah ditala menggunakan pengoptimuman Bayesian dengan 2 titik permulaan rawak dan 10 lelaran, dan AUC pada dataset telah ditala menggunakan hiperparameter sebagai sasaran 17.
Contoh perwakilan imej OCTA 8 × 8 mm bagi plexus kapilari cetek mendapat markah 2 (A, B), 1 (C, D), dan 0 (E, F).Artifak imej yang ditunjukkan termasuk garisan berkelip (anak panah), artifak pembahagian (asteris) dan kelegapan media (anak panah).Imej (E) juga berada di luar tengah.
Lengkung ciri pengendalian penerima (ROC) kemudian dijana untuk semua model rangkaian saraf, dan laporan kekuatan isyarat enjin dijana untuk setiap kes penggunaan berkualiti rendah dan berkualiti tinggi.Kawasan di bawah lengkung (AUC) dikira menggunakan pakej pROC R, dan 95% selang keyakinan dan nilai-p dikira menggunakan kaedah DeLong18,19.Skor kumulatif penilai manusia digunakan sebagai garis dasar untuk semua pengiraan ROC.Untuk kekuatan isyarat yang dilaporkan oleh mesin, AUC dikira dua kali: sekali untuk pemotongan Skor Kebolehskalaan berkualiti tinggi dan sekali untuk pemotongan Skor Kebolehskalaan kualiti rendah.Rangkaian saraf dibandingkan dengan kekuatan isyarat AUC yang mencerminkan keadaan latihan dan penilaiannya sendiri.
Untuk menguji lagi model pembelajaran mendalam yang terlatih pada set data berasingan, model berkualiti tinggi dan kualiti rendah telah digunakan secara langsung pada penilaian prestasi 32 imej papak permukaan 6\(\times\) muka penuh 6mm yang dikumpul daripada Universiti Yale.Jisim Mata dipusatkan pada masa yang sama dengan imej 8 \(\kali \) 8 mm.Imej 6\(\×\) 6 mm dinilai secara manual oleh penilai yang sama (RD dan JW) dengan cara yang sama seperti imej 8\(\×\) 8 mm, AUC dikira serta ketepatan dan kappa Cohen .sama-sama.
Nisbah ketidakseimbangan kelas ialah 158:189 (\(\rho = 1.19\)) untuk model kualiti rendah dan 80:267 (\(\rho = 3.3\)) untuk model berkualiti tinggi.Oleh kerana nisbah ketidakseimbangan kelas kurang daripada 1:4, tiada perubahan seni bina khusus telah dibuat untuk membetulkan ketidakseimbangan kelas20,21.
Untuk menggambarkan proses pembelajaran dengan lebih baik, peta pengaktifan kelas telah dijana untuk keempat-empat model pembelajaran mendalam terlatih: model ResNet152 berkualiti tinggi, model ResNet152 berkualiti rendah, model AlexNet berkualiti tinggi dan model AlexNet berkualiti rendah.Peta pengaktifan kelas dijana daripada lapisan konvolusi input bagi empat model ini, dan peta haba dihasilkan dengan menindih peta pengaktifan dengan imej sumber daripada set pengesahan 8 × 8 mm dan 6 × 6 mm22, 23.
R versi 4.0.3 telah digunakan untuk semua pengiraan statistik dan visualisasi telah dibuat menggunakan perpustakaan alat grafik ggplot2.
Kami mengumpul 347 imej hadapan plexus kapilari cetek berukuran 8 \(\kali \)8 mm daripada 134 orang.Mesin melaporkan kekuatan isyarat pada skala 0 hingga 10 untuk semua imej (min = 6.99 ± 2.29).Daripada 347 imej yang diperoleh, purata umur semasa peperiksaan ialah 58.7 ± 14.6 tahun, dan 39.2% adalah daripada pesakit lelaki.Daripada semua imej, 30.8% adalah dari Caucasians, 32.6% dari Kulit Hitam, 30.8% dari Hispanik, 4% dari Asia, dan 1.7% dari kaum lain (Jadual 1).).Taburan umur pesakit dengan OCTA berbeza dengan ketara bergantung pada kualiti imej (p <0.001).Peratusan imej berkualiti tinggi dalam pesakit muda berumur 18-45 tahun adalah 33.8% berbanding 12.2% imej berkualiti rendah (Jadual 1).Taburan status retinopati diabetik juga berbeza dengan ketara dalam kualiti imej (p < 0.017).Di antara semua imej berkualiti tinggi, peratusan pesakit dengan PDR adalah 18.8% berbanding 38.8% daripada semua imej berkualiti rendah (Jadual 1).
Penarafan individu bagi semua imej menunjukkan kebolehpercayaan antara penilaian yang sederhana hingga kuat antara orang yang membaca imej (kappa berwajaran Cohen = 0.79, 95% CI: 0.76-0.82), dan tiada titik imej di mana penilai berbeza lebih daripada 1 (Rajah 1). 2A)..Keamatan isyarat berkorelasi dengan ketara dengan pemarkahan manual (korelasi momen produk Pearson = 0.58, 95% CI 0.51–0.65, p<0.001), tetapi banyak imej dikenal pasti mempunyai keamatan isyarat yang tinggi tetapi pemarkahan manual yang rendah (Gamb. 2B).
Semasa latihan seni bina ResNet152 dan AlexNet, kehilangan entropi silang pada pengesahan dan latihan jatuh melebihi 50 zaman (Rajah 3B, C).Ketepatan pengesahan dalam zaman latihan akhir adalah melebihi 90% untuk kedua-dua kes penggunaan berkualiti tinggi dan berkualiti rendah.
Keluk prestasi penerima menunjukkan bahawa model ResNet152 dengan ketara mengatasi kuasa isyarat yang dilaporkan oleh mesin dalam kedua-dua kes penggunaan berkualiti rendah dan tinggi (p < 0.001).Model ResNet152 juga mengatasi prestasi seni bina AlexNet dengan ketara (p = 0.005 dan p = 0.014 untuk kes berkualiti rendah dan berkualiti tinggi, masing-masing).Model yang terhasil untuk setiap tugasan ini dapat mencapai nilai AUC masing-masing 0.99 dan 0.97, yang jauh lebih baik daripada nilai AUC yang sepadan iaitu 0.82 dan 0.78 untuk indeks kekuatan isyarat mesin atau 0.97 dan 0.94 untuk AlexNet ..(Gamb. 3).Perbezaan antara ResNet dan AUC dalam kekuatan isyarat adalah lebih tinggi apabila mengenali imej berkualiti tinggi, menunjukkan faedah tambahan menggunakan ResNet untuk tugas ini.
Graf menunjukkan keupayaan setiap penilai bebas untuk menjaringkan dan membandingkan dengan kekuatan isyarat yang dilaporkan oleh mesin.(A) Jumlah mata yang akan dinilai digunakan untuk mencipta jumlah mata yang akan dinilai.Imej dengan skor kebolehskalaan keseluruhan 4 diberikan kualiti tinggi, manakala imej dengan skor kebolehskalaan keseluruhan 1 atau kurang diberikan kualiti rendah.(B) Keamatan isyarat berkorelasi dengan anggaran manual, tetapi imej dengan keamatan isyarat yang tinggi mungkin berkualiti rendah.Garis putus-putus merah menunjukkan ambang kualiti disyorkan pengeluar berdasarkan kekuatan isyarat (kekuatan isyarat \(\ge\)6).
Pembelajaran pemindahan ResNet memberikan peningkatan ketara dalam pengenalan kualiti imej untuk kedua-dua kes penggunaan berkualiti rendah dan berkualiti tinggi berbanding tahap isyarat yang dilaporkan oleh mesin.(A) Gambar rajah seni bina ringkas bagi seni bina pra-latihan (i) ResNet152 dan (ii) AlexNet.(B) Sejarah latihan dan keluk prestasi penerima untuk ResNet152 berbanding dengan kekuatan isyarat mesin yang dilaporkan dan kriteria kualiti rendah AlexNet.(C) Sejarah latihan dan keluk prestasi penerima ResNet152 berbanding dengan kekuatan isyarat yang dilaporkan mesin dan kriteria kualiti tinggi AlexNet.
Selepas melaraskan ambang sempadan keputusan, ketepatan ramalan maksimum model ResNet152 ialah 95.3% untuk kes kualiti rendah dan 93.5% untuk kes berkualiti tinggi (Jadual 2).Ketepatan ramalan maksimum model AlexNet ialah 91.0% untuk kes kualiti rendah dan 90.1% untuk kes berkualiti tinggi (Jadual 2).Ketepatan ramalan kekuatan isyarat maksimum ialah 76.1% untuk kes penggunaan berkualiti rendah dan 77.8% untuk kes penggunaan berkualiti tinggi.Menurut kappa Cohen (\(\kappa\)), perjanjian antara model ResNet152 dan penganggar ialah 0.90 untuk kes kualiti rendah dan 0.81 untuk kes berkualiti tinggi.AlexNet kappa Cohen ialah 0.82 dan 0.71 untuk kes penggunaan berkualiti rendah dan berkualiti tinggi, masing-masing.Kappa kekuatan isyarat Cohen ialah 0.52 dan 0.27 untuk kes penggunaan berkualiti rendah dan tinggi, masing-masing.
Pengesahan model pengecaman kualiti tinggi dan rendah pada imej 6\(\x\) pada plat rata 6 mm menunjukkan keupayaan model terlatih untuk menentukan kualiti imej merentas pelbagai parameter pengimejan.Apabila menggunakan papak cetek 6\(\x\) 6 mm untuk kualiti pengimejan, model kualiti rendah mempunyai AUC 0.83 (95% CI: 0.69–0.98) dan model berkualiti tinggi mempunyai AUC 0.85.(95% CI: 0.55–1.00) (Jadual 2).
Pemeriksaan visual peta pengaktifan kelas lapisan input menunjukkan bahawa semua rangkaian saraf terlatih menggunakan ciri imej semasa pengelasan imej (Rajah 4A, B).Untuk 8 \(\times \) 8 mm dan 6 \(\times \) 6 mm imej, imej pengaktifan ResNet mengikut rapat vaskular retina.Peta pengaktifan AlexNet juga mengikuti saluran retina, tetapi dengan resolusi yang lebih kasar.
Peta pengaktifan kelas untuk model ResNet152 dan AlexNet menyerlahkan ciri yang berkaitan dengan kualiti imej.(A) Peta pengaktifan kelas menunjukkan pengaktifan koheren selepas vaskular retina cetek pada 8 \(\times \) imej pengesahan 8 mm dan (B) takat pada imej pengesahan 6 \(\times \) 6 mm yang lebih kecil.Model LQ dilatih pada kriteria kualiti rendah, model HQ dilatih pada kriteria kualiti tinggi.
Sebelum ini telah ditunjukkan bahawa kualiti imej boleh mempengaruhi mana-mana kuantifikasi imej OCTA.Di samping itu, kehadiran retinopati meningkatkan kejadian artifak imej7,26.Malah, dalam data kami, selaras dengan kajian terdahulu, kami mendapati hubungan yang signifikan antara peningkatan umur dan keterukan penyakit retina dan kemerosotan dalam kualiti imej (p <0.001, p = 0.017 untuk umur dan status DR, masing-masing; Jadual 1) 27 . Oleh itu, adalah penting untuk menilai kualiti imej sebelum melakukan sebarang analisis kuantitatif imej OCTA.Kebanyakan kajian yang menganalisis imej OCTA menggunakan ambang keamatan isyarat yang dilaporkan oleh mesin untuk menolak imej berkualiti rendah.Walaupun keamatan isyarat telah ditunjukkan mempengaruhi kuantifikasi parameter OCTA, keamatan isyarat yang tinggi sahaja mungkin tidak mencukupi untuk menolak imej dengan artifak imej2,3,28,29.Oleh itu, adalah perlu untuk membangunkan kaedah kawalan kualiti imej yang lebih dipercayai.Untuk tujuan ini, kami menilai prestasi kaedah pembelajaran mendalam yang diselia berbanding kekuatan isyarat yang dilaporkan oleh mesin.
Kami telah membangunkan beberapa model untuk menilai kualiti imej kerana kes penggunaan OCTA yang berbeza mungkin mempunyai keperluan kualiti imej yang berbeza.Sebagai contoh, imej mestilah berkualiti tinggi.Di samping itu, parameter kuantitatif minat khusus juga penting.Sebagai contoh, kawasan zon avaskular foveal tidak bergantung pada kekeruhan medium bukan pusat, tetapi mempengaruhi ketumpatan vesel.Walaupun penyelidikan kami terus menumpukan pada pendekatan umum kepada kualiti imej, tidak terikat dengan keperluan mana-mana ujian tertentu, tetapi bertujuan untuk menggantikan secara langsung kekuatan isyarat yang dilaporkan oleh mesin, kami berharap dapat memberikan pengguna tahap kawalan yang lebih tinggi supaya mereka boleh memilih metrik khusus yang menarik minat pengguna.pilih model yang sepadan dengan tahap maksimum artifak imej yang dianggap boleh diterima.
Untuk adegan berkualiti rendah dan berkualiti tinggi, kami menunjukkan prestasi cemerlang rangkaian saraf konvolusi dalam yang tiada sambungan, dengan AUC masing-masing 0.97 dan 0.99 dan model berkualiti rendah.Kami juga menunjukkan prestasi unggul pendekatan pembelajaran mendalam kami jika dibandingkan dengan tahap isyarat yang dilaporkan hanya oleh mesin.Langkau sambungan membolehkan rangkaian saraf mempelajari ciri pada pelbagai peringkat perincian, menangkap aspek imej yang lebih halus (cth kontras) serta ciri umum (cth pemusatan imej30,31).Memandangkan artifak imej yang mempengaruhi kualiti imej mungkin paling baik dikenal pasti dalam julat yang luas, seni bina rangkaian saraf dengan sambungan yang hilang mungkin mempamerkan prestasi yang lebih baik daripada yang tanpa tugas penentuan kualiti imej.
Apabila menguji model kami pada imej OCTA 6\(\×6mm), kami mendapati penurunan dalam prestasi pengelasan untuk kedua-dua model berkualiti tinggi dan berkualiti rendah (Rajah 2), berbeza dengan saiz model yang dilatih untuk pengelasan.Berbanding dengan model ResNet, model AlexNet mempunyai kejatuhan yang lebih besar.Prestasi ResNet yang agak lebih baik mungkin disebabkan oleh keupayaan sambungan baki untuk menghantar maklumat pada pelbagai skala, yang menjadikan model lebih teguh untuk mengklasifikasikan imej yang ditangkap pada skala dan/atau pembesaran yang berbeza.
Beberapa perbezaan antara imej 8 \(\×\) 8 mm dan 6 \(\×\) 6 mm boleh menyebabkan pengelasan yang lemah, termasuk perkadaran imej yang agak tinggi yang mengandungi kawasan avascular foveal, perubahan dalam keterlihatan, arked vaskular dan tiada saraf optik pada imej 6×6 mm.Walaupun begitu, model ResNet berkualiti tinggi kami mampu mencapai AUC sebanyak 85% untuk imej 6 \(\x\) 6 mm, konfigurasi yang model itu tidak dilatih, menunjukkan bahawa maklumat kualiti imej dikodkan dalam rangkaian saraf adalah sesuai.untuk satu saiz imej atau konfigurasi mesin di luar latihannya (Jadual 2).Secara meyakinkan, peta pengaktifan seperti ResNet dan AlexNet sebanyak 8 \(\times \) 8 mm dan 6 \(\times \) 6 mm imej dapat menyerlahkan saluran retina dalam kedua-dua kes, menunjukkan bahawa model itu mempunyai maklumat penting.terpakai untuk mengklasifikasikan kedua-dua jenis imej OCTA (Rajah 4).
Lauerman et al.Penilaian kualiti imej pada imej OCTA juga dilakukan menggunakan seni bina Inception, satu lagi rangkaian neural convolutional sambungan langkau6,32 menggunakan teknik pembelajaran mendalam.Mereka juga mengehadkan kajian kepada imej plexus kapilari cetek, tetapi hanya menggunakan imej 3 × 3 mm yang lebih kecil dari Optovue AngioVue, walaupun pesakit dengan pelbagai penyakit chorioretinal juga disertakan.Kerja kami dibina di atas asas mereka, termasuk berbilang model untuk menangani pelbagai ambang kualiti imej dan mengesahkan keputusan untuk imej dengan saiz yang berbeza.Kami juga melaporkan metrik AUC model pembelajaran mesin dan meningkatkan ketepatannya yang sudah mengagumkan (90%)6 untuk kedua-dua model berkualiti rendah (96%) dan berkualiti tinggi (95.7%)6.
Latihan ini mempunyai beberapa batasan.Pertama, imej diperoleh dengan hanya satu mesin OCTA, termasuk hanya imej plexus kapilari cetek pada 8\(\times\)8 mm dan 6\(\times\)6 mm.Sebab untuk mengecualikan imej daripada lapisan yang lebih dalam ialah artifak unjuran boleh menjadikan penilaian manual imej lebih sukar dan mungkin kurang konsisten.Tambahan pula, imej hanya diperoleh pada pesakit diabetes, yang mana OCTA muncul sebagai alat diagnostik dan prognostik yang penting33,34.Walaupun kami dapat menguji model kami pada imej dengan saiz yang berbeza untuk memastikan hasilnya mantap, kami tidak dapat mengenal pasti set data yang sesuai dari pusat yang berbeza, yang mengehadkan penilaian kami tentang kebolehgeneralisasian model.Walaupun imej itu diperoleh dari hanya satu pusat, ia diperoleh daripada pesakit yang berbeza latar belakang etnik dan kaum, yang merupakan kekuatan unik kajian kami.Dengan memasukkan kepelbagaian dalam proses latihan kami, kami berharap keputusan kami akan digeneralisasikan dalam erti kata yang lebih luas dan kami akan mengelakkan pengekodan berat sebelah kaum dalam model yang kami latih.
Kajian kami menunjukkan bahawa rangkaian neural yang melangkau sambungan boleh dilatih untuk mencapai prestasi tinggi dalam menentukan kualiti imej OCTA.Kami menyediakan model ini sebagai alat untuk penyelidikan lanjut.Oleh kerana metrik yang berbeza mungkin mempunyai keperluan kualiti imej yang berbeza, model kawalan kualiti individu boleh dibangunkan untuk setiap metrik menggunakan struktur yang ditetapkan di sini.
Penyelidikan masa depan harus memasukkan imej dengan saiz yang berbeza dari kedalaman yang berbeza dan mesin OCTA yang berbeza untuk mendapatkan proses penilaian kualiti imej pembelajaran mendalam yang boleh digeneralisasikan kepada platform OCTA dan protokol pengimejan.Penyelidikan semasa juga berdasarkan pendekatan pembelajaran mendalam yang diselia yang memerlukan penilaian manusia dan penilaian imej, yang boleh menjadi intensif buruh dan memakan masa untuk set data yang besar.Masih dapat dilihat sama ada kaedah pembelajaran mendalam tanpa pengawasan dapat membezakan dengan secukupnya antara imej berkualiti rendah dan imej berkualiti tinggi.
Apabila teknologi OCTA terus berkembang dan kelajuan pengimbasan meningkat, kejadian artifak imej dan imej berkualiti rendah mungkin berkurangan.Penambahbaikan dalam perisian, seperti ciri penyingkiran artifak unjuran baru-baru ini, juga boleh mengurangkan had ini.Walau bagaimanapun, banyak masalah kekal kerana pengimejan pesakit dengan penetapan yang lemah atau kekeruhan media yang ketara selalu menghasilkan artifak imej.Memandangkan OCTA semakin digunakan secara meluas dalam ujian klinikal, pertimbangan yang teliti diperlukan untuk mewujudkan garis panduan yang jelas untuk tahap artifak imej yang boleh diterima untuk analisis imej.Aplikasi kaedah pembelajaran mendalam untuk imej OCTA sangat menjanjikan dan penyelidikan lanjut diperlukan dalam bidang ini untuk membangunkan pendekatan yang mantap terhadap kawalan kualiti imej.
Kod yang digunakan dalam penyelidikan semasa tersedia dalam repositori octa-qc, https://github.com/rahuldhodapkar/octa-qc.Set data yang dijana dan/atau dianalisis semasa kajian semasa tersedia daripada pengarang masing-masing atas permintaan yang munasabah.
Spaide, RF, Fujimoto, JG & Waheed, NK Artifak imej dalam angiografi koheren optik.Retina 35, 2163–2180 (2015).
Fenner, BJ et al.Pengenalpastian ciri pengimejan yang menentukan kualiti dan kebolehulangan ukuran ketumpatan plexus kapilari retina dalam angiografi OCT.BR.J. Oftalmol.102, 509–514 (2018).
Lauerman, JL et al.Pengaruh teknologi penjejakan mata pada kualiti imej angiografi OCT dalam degenerasi makula yang berkaitan dengan usia.Gerbang kubur.klinikal.Exp.oftalmologi.255, 1535–1542 (2017).
Babyuch AS et al.Pengukuran ketumpatan perfusi kapilari OCTA digunakan untuk mengesan dan menilai iskemia makula.pembedahan oftalmik.Pengimejan Laser Retina 51, S30–S36 (2020).
He, K., Zhang, X., Ren, S., dan Sun, J. Pembelajaran Sisa Dalam untuk Pengecaman Imej.Pada tahun 2016 di Persidangan IEEE mengenai Visi Komputer dan Pengecaman Corak (2016).
Lauerman, JL et al.Penilaian kualiti imej angiografi OCT automatik menggunakan algoritma pembelajaran mendalam.Gerbang kubur.klinikal.Exp.oftalmologi.257, 1641–1648 (2019).
Lauermann, J. et al.Kelaziman kesilapan segmentasi dan artifak gerakan dalam angiografi OCT bergantung kepada penyakit retina.Gerbang kubur.klinikal.Exp.oftalmologi.256, 1807–1816 (2018).
Pask, Adam et al.Pytorch: Perpustakaan Pembelajaran Mendalam yang Penting dan Berprestasi Tinggi.Pemprosesan lanjutan maklumat saraf.sistem.32, 8026–8037 (2019).
Deng, J. et al.ImageNet: Pangkalan Data Imej Hierarki Berskala Besar.Persidangan IEEE 2009 mengenai Penglihatan Komputer dan Pengecaman Corak.248–255.(2009).
Krizhevsky A., Sutzkever I. dan Hinton GE Imagenet klasifikasi menggunakan rangkaian neural convolutional dalam.Pemprosesan lanjutan maklumat saraf.sistem.25, 1 (2012).