Благодарим ви, че посетихте Nature.com.Използвате версия на браузър с ограничена поддръжка на CSS.За най-добро изживяване ви препоръчваме да използвате актуализиран браузър (или да деактивирате режима на съвместимост в Internet Explorer).В допълнение, за да осигурим постоянна поддръжка, ние показваме сайта без стилове и JavaScript.
Плъзгачи, показващи три статии на слайд.Използвайте бутоните за връщане назад и напред, за да се движите през слайдовете, или бутоните за управление на плъзгачите в края, за да се движите през всеки слайд.
Оптична кохерентна томографска ангиография (OCTA) е нов метод за неинвазивна визуализация на съдовете на ретината.Въпреки че OCTA има много обещаващи клинични приложения, определянето на качеството на изображението остава предизвикателство.Разработихме система, базирана на задълбочено обучение, използвайки класификатора на невронни мрежи ResNet152, предварително обучен с ImageNet, за класифициране на повърхностни изображения на капилярен плексус от 347 сканирания на 134 пациенти.Изображенията също бяха ръчно оценени като истинска истина от двама независими оценители за контролиран модел на обучение.Тъй като изискванията за качество на изображението може да варират в зависимост от клиничните или изследователските настройки, бяха обучени два модела, единият за разпознаване на изображения с високо качество, а другият за разпознаване на изображения с ниско качество.Нашият модел на невронна мрежа показва отлична площ под кривата (AUC), 95% CI 0,96-0,99, \(\kappa\) = 0,81), което е значително по-добро от нивото на сигнала, отчетено от машината (AUC = 0,82, 95 % CI).0,77–0,86, \(\kappa\) = 0,52 и AUC = 0,78, 95% CI 0,73–0,83, \(\kappa\) = 0,27, съответно).Нашето проучване показва, че методите за машинно обучение могат да се използват за разработване на гъвкави и стабилни методи за контрол на качеството за OCTA изображения.
Оптична кохерентна томографска ангиография (OCTA) е сравнително нова техника, базирана на оптична кохерентна томография (OCT), която може да се използва за неинвазивна визуализация на микроваскулатурата на ретината.OCTA измерва разликата в моделите на отражение от повтарящи се светлинни импулси в една и съща област на ретината и реконструкциите могат да бъдат изчислени, за да разкрият кръвоносните съдове без инвазивното използване на багрила или други контрастни вещества.OCTA също така дава възможност за изобразяване на кръвоносни съдове с разделителна способност в дълбочина, което позволява на клиницистите да изследват поотделно повърхностните и дълбоките слоеве на съдовете, което помага да се разграничат хориоретиналните заболявания.
Въпреки че тази техника е обещаваща, вариацията в качеството на изображението остава основно предизвикателство за надежден анализ на изображението, което затруднява интерпретацията на изображението и предотвратява широкото клинично приемане.Тъй като OCTA използва множество последователни OCT сканирания, той е по-чувствителен към артефакти на изображението от стандартния OCT.Повечето комерсиални OCTA платформи предоставят собствен показател за качество на изображението, наречен Сила на сигнала (SS) или понякога Индекс на силата на сигнала (SSI).Обаче изображения с висока стойност на SS или SSI не гарантират липсата на артефакти на изображението, което може да повлияе на последващ анализ на изображението и да доведе до неправилни клинични решения.Често срещаните артефакти на изображението, които могат да се появят при OCTA изображения, включват артефакти на движение, артефакти на сегментиране, артефакти на непрозрачност на медиите и артефакти на проекция1,2,3.
Тъй като измерванията, получени от OCTA, като съдова плътност, все повече се използват в транслационни изследвания, клинични изпитвания и клинична практика, има спешна нужда от разработване на стабилни и надеждни процеси за контрол на качеството на изображението, за да се елиминират артефактите на изображението4.Прескачащите връзки, известни също като остатъчни връзки, са проекции в архитектурата на невронната мрежа, които позволяват на информацията да заобикаля конволюционните слоеве, докато съхранява информация в различни мащаби или разделителни способности5.Тъй като артефактите на изображението могат да повлияят на производителността на изображения в малък и общ мащаб, невронните мрежи с прескачане на връзката са много подходящи за автоматизиране на тази задача за контрол на качеството5.Наскоро публикувана работа показа известно обещание за дълбоки конволюционни невронни мрежи, обучени с помощта на висококачествени данни от човешки оценители6.
В това проучване ние обучаваме конволюционна невронна мрежа, пропускаща връзка, за автоматично определяне на качеството на OCTA изображения.Ние надграждаме предишна работа, като разработваме отделни модели за идентифициране на висококачествени изображения и нискокачествени изображения, тъй като изискванията за качество на изображенията може да се различават за конкретни клинични или изследователски сценарии.Ние сравняваме резултатите от тези мрежи с конволюционни невронни мрежи, без да пропускаме връзки, за да оценим стойността на включването на функции на множество нива на детайлност в рамките на дълбокото обучение.След това сравнихме нашите резултати със силата на сигнала, общоприета мярка за качество на изображението, предоставена от производителите.
Нашето проучване включва пациенти с диабет, които са посещавали Yale Eye Center между 11 август 2017 г. и 11 април 2019 г. Пациентите с недиабетно хориоретинално заболяване бяха изключени.Нямаше критерии за включване или изключване въз основа на възраст, пол, раса, качество на изображението или друг фактор.
OCTA изображенията бяха получени с помощта на платформата AngioPlex на Cirrus HD-OCT 5000 (Carl Zeiss Meditec Inc, Дъблин, Калифорния) под 8\(\times\)8 mm и 6\(\times\)6 mm протоколи за изображения.Информирано съгласие за участие в проучването беше получено от всеки участник в проучването и Институционалният съвет за преглед на университета Йейл (IRB) одобри използването на информирано съгласие с глобална фотография за всички тези пациенти.Следвайки принципите на Декларацията от Хелзинки.Проучването е одобрено от IRB на Йейлския университет.
Изображенията на повърхностните плочи бяха оценени въз основа на описаната по-рано оценка на артефакта на движение (MAS), описаната по-рано оценка на артефакта на сегментиране (SAS), фовеалния център, наличието на непрозрачност на медиите и добра визуализация на малки капиляри, както е определено от оценителя на изображението.Изображенията бяха анализирани от двама независими оценители (RD и JW).Едно изображение има оценена оценка 2 (допустимо), ако са изпълнени всички следните критерии: изображението е центрирано във фовеята (на по-малко от 100 пиксела от центъра на изображението), MAS е 1 или 2, SAS е 1 и непрозрачността на медията е по-малка от 1. Присъства на изображения с размер / 16, а малки капиляри се виждат на изображения, по-големи от 15/16.Едно изображение се оценява с 0 (без оценка), ако някой от следните критерии е изпълнен: изображението е извън центъра, ако MAS е 4, ако SAS е 2 или средната непрозрачност е по-голяма от 1/4 от изображението и малките капиляри не могат да се коригират повече от 1 изображение /4 за разграничаване.Всички други изображения, които не отговарят на критериите за точкуване 0 или 2, се оценяват като 1 (изрезка).
На фиг.1 показва примерни изображения за всяка от мащабираните оценки и артефакти на изображението.Междуоценителната надеждност на индивидуалните резултати беше оценена чрез капа тегло на Коен8.Индивидуалните оценки на всеки оценител се сумират, за да се получи общ резултат за всяко изображение, вариращ от 0 до 4. Изображения с общ резултат 4 се считат за добри.Изображения с общ резултат 0 или 1 се считат за ниско качество.
Конволюционна невронна мрежа с архитектура ResNet152 (фиг. 3A.i), предварително обучена върху изображения от базата данни ImageNet, беше генерирана с помощта на fast.ai и рамката PyTorch5, 9, 10, 11. Конволюционната невронна мрежа е мрежа, която използва наученото филтри за сканиране на фрагменти от изображения за изследване на пространствени и локални характеристики.Нашият обучен ResNet е 152-слойна невронна мрежа, характеризираща се с пропуски или „остатъчни връзки“, които едновременно предават информация с множество резолюции.Чрез прожектиране на информация с различни разделителни способности по мрежата, платформата може да научи характеристиките на изображения с ниско качество на множество нива на детайлност.В допълнение към нашия модел ResNet, ние обучихме и AlexNet, добре проучена архитектура на невронна мрежа, без да пропускаме връзки за сравнение (Фигура 3A.ii)12.Без липсващи връзки тази мрежа няма да може да улови функции с по-висока детайлност.
Оригиналният набор от изображения 8\(\times\)8 mm OCTA13 е подобрен с помощта на техники за хоризонтално и вертикално отражение.След това пълният набор от данни беше произволно разделен на ниво изображение на набори от данни за обучение (51,2%), тестване (12,8%), настройка на хиперпараметри (16%) и валидиране (20%), използвайки кутията с инструменти scikit-learn python14.Бяха разгледани два случая, единият базиран на откриване само на изображения с най-високо качество (общ резултат 4), а другият на базата на откриване само на изображения с най-ниско качество (общ резултат 0 или 1).За всеки висококачествен и нискокачествен случай на използване, невронната мрежа се преквалифицира веднъж върху нашите данни за изображения.Във всеки случай на използване, невронната мрежа беше обучена за 10 епохи, всички тегла на слоя с изключение на най-високите бяха замразени и теглата на всички вътрешни параметри бяха научени за 40 епохи, като се използва метод за дискриминативна скорост на обучение с функция за загуба на кръстосана ентропия 15, 16..Функцията за загуба на кръстосана ентропия е мярка за логаритмичния мащаб на несъответствието между прогнозираните мрежови етикети и реалните данни.По време на обучението се извършва градиентно спускане на вътрешните параметри на невронната мрежа, за да се минимизират загубите.Степента на обучение, скоростта на отпадане и хиперпараметрите за намаляване на теглото бяха настроени с помощта на байесова оптимизация с 2 произволни начални точки и 10 итерации, а AUC на набора от данни беше настроен с помощта на хиперпараметрите като цел от 17.
Представителни примери за 8 × 8 mm OCTA изображения на повърхностни капилярни плексуси отбелязаха 2 (A, B), 1 (C, D) и 0 (E, F).Показаните артефакти на изображението включват трептящи линии (стрелки), артефакти на сегментиране (звездички) и непрозрачност на медията (стрелки).Изображение (E) също е извън центъра.
След това кривите на работните характеристики на приемника (ROC) се генерират за всички модели на невронни мрежи и отчетите за силата на сигнала на двигателя се генерират за всеки случай на употреба с ниско и високо качество.Площта под кривата (AUC) беше изчислена с помощта на пакета pROC R и 95% доверителни интервали и p-стойности бяха изчислени с помощта на метода на DeLong18,19.Кумулативните резултати на човешките оценители се използват като базова линия за всички изчисления на ROC.За силата на сигнала, отчетена от машината, AUC беше изчислена два пъти: веднъж за висококачествената граница на оценката за скалируемост и веднъж за нискокачествената граница на скалируемостта.Невронната мрежа се сравнява със силата на AUC сигнала, отразяваща нейните собствени условия за обучение и оценка.
За по-нататъшно тестване на обучения модел за задълбочено обучение върху отделен набор от данни, висококачествени и нискокачествени модели бяха директно приложени към оценката на производителността на 32 пълнолицеви 6\(\times\) 6mm повърхностни изображения на плочи, събрани от Йейлския университет.Масата на окото е центрирана едновременно с изображението 8 \(\times \) 8 mm.Изображенията 6\(\×\) 6 mm бяха ръчно оценени от същите оценители (RD и JW) по същия начин като изображенията 8\(\×\) 8 mm, AUC беше изчислена, както и точността и капа на Коен .по равно .
Съотношението на дисбаланс на класа е 158:189 (\(\rho = 1,19\)) за модела с ниско качество и 80:267 (\(\rho = 3,3\)) за модела с високо качество.Тъй като съотношението на дисбаланс на класа е по-малко от 1:4, не са направени специфични архитектурни промени за коригиране на дисбаланса на класа20,21.
За по-добро визуализиране на процеса на обучение бяха генерирани карти за активиране на класове за всичките четири обучени модела на дълбоко обучение: висококачествен модел ResNet152, нискокачествен модел ResNet152, висококачествен модел AlexNet и нискокачествен модел AlexNet.Картите за активиране на класа се генерират от входните конволюционни слоеве на тези четири модела, а топлинните карти се генерират чрез наслагване на карти за активиране с изходни изображения от комплектите за валидиране 8 × 8 mm и 6 × 6 mm22, 23.
R версия 4.0.3 беше използвана за всички статистически изчисления, а визуализациите бяха създадени с помощта на библиотеката с графични инструменти ggplot2.
Събрахме 347 фронтални изображения на повърхностния капилярен плексус с размери 8 \(\times \)8 mm от 134 души.Машината отчете сила на сигнала по скала от 0 до 10 за всички изображения (средно = 6,99 ± 2,29).От получените 347 изображения средната възраст при изследване е 58,7 ± 14,6 години, а 39,2% са от пациенти от мъжки пол.От всички изображения 30,8% са от кавказци, 32,6% от чернокожи, 30,8% от испанци, 4% от азиатци и 1,7% от други раси (Таблица 1).).Възрастовото разпределение на пациентите с OCTA се различава значително в зависимост от качеството на изображението (p < 0.001).Процентът на изображения с високо качество при по-млади пациенти на възраст 18-45 години е 33,8% в сравнение с 12,2% на изображения с ниско качество (Таблица 1).Разпределението на статуса на диабетна ретинопатия също варира значително в качеството на изображението (p <0,017).Сред всички изображения с високо качество, процентът на пациентите с PDR е 18,8% в сравнение с 38,8% от всички изображения с ниско качество (Таблица 1).
Индивидуалните оценки на всички изображения показват умерена до силна надеждност на междуоценките между хората, които четат изображенията (претеглена капа на Коен = 0,79, 95% CI: 0,76-0,82) и няма точки на изображението, където оценителите да се различават с повече от 1 (фиг. 2А)..Интензитетът на сигнала корелира значително с ръчното точкуване (корелация на момента на продукта на Pearson = 0,58, 95% CI 0,51–0,65, p<0,001), но много изображения бяха идентифицирани като имащи висок интензитет на сигнала, но ниско ръчно оценяване (фиг. .2B).
По време на обучението на архитектурите ResNet152 и AlexNet, загубата на кръстосана ентропия при валидиране и обучение пада над 50 епохи (Фигура 3B,C).Точността на валидиране в крайната епоха на обучение е над 90% както за висококачествени, така и за нискокачествени случаи на употреба.
Кривите на производителност на приемника показват, че моделът ResNet152 значително превъзхожда мощността на сигнала, отчетена от машината, както при ниско, така и при висококачествени случаи на използване (p <0,001).Моделът ResNet152 също значително превъзхожда архитектурата AlexNet (p = 0,005 и p = 0,014 за случаи с ниско и високо качество, съответно).Получените модели за всяка от тези задачи успяха да постигнат стойности на AUC съответно от 0,99 и 0,97, което е значително по-добро от съответните стойности на AUC от 0,82 и 0,78 за индекса на силата на сигнала на машината или 0,97 и 0,94 за AlexNet ..(фиг. 3).Разликата между ResNet и AUC в силата на сигнала е по-висока при разпознаване на висококачествени изображения, което показва допълнителни предимства от използването на ResNet за тази задача.
Графиките показват способността на всеки независим оценител да оценява и сравнява със силата на сигнала, отчетена от машината.(A) Сумата от точките, които трябва да бъдат оценени, се използва за създаване на общия брой точки, които трябва да бъдат оценени.На изображения с обща оценка за мащабируемост 4 се присвоява високо качество, докато на изображения с обща оценка за мащабируемост 1 или по-малко се определя ниско качество.(B) Интензитетът на сигнала корелира с ръчните оценки, но изображенията с висок интензитет на сигнала може да са с по-лошо качество.Червената пунктирана линия показва препоръчания от производителя праг на качество въз основа на силата на сигнала (сила на сигнала \(\ge\)6).
Обучението за трансфер на ResNet осигурява значително подобрение в идентификацията на качеството на изображението както за нискокачествени, така и за висококачествени случаи на използване в сравнение с машинно докладваните нива на сигнала.(A) Опростени архитектурни диаграми на предварително обучени (i) ResNet152 и (ii) AlexNet архитектури.(B) История на обучението и криви на ефективността на приемника за ResNet152 в сравнение с докладваната от машината сила на сигнала и критериите за ниско качество на AlexNet.(C) История на обучението на приемника ResNet152 и криви на производителност в сравнение с отчетената от машината сила на сигнала и критериите за високо качество на AlexNet.
След коригиране на прага на границата на решение, максималната точност на прогнозиране на модела ResNet152 е 95,3% за случая с ниско качество и 93,5% за случая с високо качество (Таблица 2).Максималната точност на прогнозиране на модела AlexNet е 91,0% за случая с ниско качество и 90,1% за случая с високо качество (Таблица 2).Максималната точност на прогнозиране на силата на сигнала е 76,1% за случая с ниско качество и 77,8% за случая с високо качество.Според капа на Коен (\(\kappa\)), съгласието между модела ResNet152 и оценителите е 0,90 за случая с ниско качество и 0,81 за случая с високо качество.AlexNet kappa на Cohen е съответно 0,82 и 0,71 за случаи на използване с ниско и високо качество.Капа силата на сигнала на Коен е 0,52 и 0,27 съответно за случаите на употреба с ниско и високо качество.
Валидирането на модели за разпознаване с високо и ниско качество върху 6\(\x\) изображения на 6 mm плоска плоча демонстрира способността на обучения модел да определя качеството на изображението при различни параметри на изображението.При използване на 6\(\x\) 6 mm плитки плочи за качество на изображението, моделът с ниско качество имаше AUC от 0,83 (95% CI: 0,69–0,98), а моделът с високо качество имаше AUC от 0,85.(95% CI: 0,55–1,00) (Таблица 2).
Визуалната проверка на картите за активиране на класа на входния слой показа, че всички обучени невронни мрежи са използвали характеристики на изображението по време на класификацията на изображението (фиг. 4A, B).За 8 \(\times \) 8 mm и 6 \(\times \) 6 mm изображения изображенията за активиране на ResNet следват плътно васкулатурата на ретината.Картите за активиране на AlexNet също следват съдовете на ретината, но с по-груба резолюция.
Картите за активиране на класове за моделите ResNet152 и AlexNet подчертават функции, свързани с качеството на изображението.(A) Карта на активиране на клас, показваща кохерентно активиране след повърхностна васкулатура на ретината върху 8 \(\times \) 8 mm изображения за валидиране и (B) степен на по-малки 6 \(\times \) 6 mm изображения за валидиране.LQ модел, обучен на ниски критерии за качество, HQ модел, обучен на високи критерии за качество.
По-рано беше показано, че качеството на изображението може значително да повлияе на всяко количествено определяне на OCTA изображения.В допълнение, наличието на ретинопатия увеличава честотата на артефакти на изображението7,26.Всъщност, в нашите данни, в съответствие с предишни проучвания, ние открихме значителна връзка между увеличаване на възрастта и тежестта на заболяването на ретината и влошаване на качеството на изображението (p <0,001, p = 0,017 съответно за възраст и статус на DR; Таблица 1) 27 Следователно е изключително важно да се оцени качеството на изображението, преди да се извърши количествен анализ на OCTA изображения.Повечето проучвания, анализиращи OCTA изображения, използват машинно докладвани прагове на интензитета на сигнала, за да изключат изображения с ниско качество.Въпреки че е доказано, че интензитетът на сигнала влияе върху количественото определяне на OCTA параметрите, високият интензитет на сигнала сам по себе си може да не е достатъчен, за да изключи изображения с артефакти на изображението 2,3,28,29.Следователно е необходимо да се разработи по-надежден метод за контрол на качеството на изображението.За тази цел ние оценяваме ефективността на контролираните методи за дълбоко обучение спрямо силата на сигнала, отчетена от машината.
Разработихме няколко модела за оценка на качеството на изображението, тъй като различните случаи на използване на OCTA може да имат различни изисквания за качество на изображението.Например изображенията трябва да са с по-високо качество.Освен това специфичните количествени параметри, които представляват интерес, също са важни.Например, площта на фовеалната аваскуларна зона не зависи от мътността на нецентралната среда, но влияе върху плътността на съдовете.Въпреки че нашето изследване продължава да се фокусира върху общ подход към качеството на изображението, който не е обвързан с изискванията на конкретен тест, но има за цел директно да замени силата на сигнала, отчетен от машината, ние се надяваме да дадем на потребителите по-голяма степен на контрол, така че да може да избере конкретния показател, който представлява интерес за потребителя.изберете модел, който отговаря на максималната степен на артефакти на изображението, считани за приемливи.
За сцени с ниско и високо качество ние показваме отлична производителност на дълбоки конволюционни невронни мрежи с липсваща връзка, с AUC от 0,97 и 0,99 и модели с ниско качество, съответно.Ние също така демонстрираме превъзходната производителност на нашия подход за дълбоко обучение в сравнение с нивата на сигнала, докладвани само от машини.Прескачащите връзки позволяват на невронните мрежи да научават функции на множество нива на детайлност, улавяйки по-фини аспекти на изображенията (напр. контраст), както и общи характеристики (напр. центриране на изображението30,31).Тъй като артефактите на изображението, които влияят на качеството на изображението, вероятно се идентифицират най-добре в широк диапазон, архитектурите на невронни мрежи с липсващи връзки може да покажат по-добра производителност от тези без задачи за определяне на качеството на изображението.
Когато тествахме нашия модел върху 6\(\×6mm) OCTA изображения, забелязахме намаляване на производителността на класификация както за висококачествени, така и за нискокачествени модели (фиг. 2), за разлика от размера на модела, обучен за класификация.В сравнение с модела ResNet, моделът AlexNet има по-голям спад.Относително по-добрата производителност на ResNet може да се дължи на способността на остатъчните връзки да предават информация в множество мащаби, което прави модела по-стабилен за класифициране на изображения, заснети в различни мащаби и/или увеличения.
Някои разлики между 8 \(\×\) 8 mm изображения и 6 \(\×\) 6 mm изображения могат да доведат до лоша класификация, включително относително висок дял изображения, съдържащи фовеални аваскуларни области, промени във видимостта, съдови аркади и без зрителен нерв на изображението 6×6 мм.Въпреки това нашият висококачествен ResNet модел успя да постигне AUC от 85% за 6 \(\x\) 6 mm изображения, конфигурация, за която моделът не беше обучен, което предполага, че информацията за качеството на изображението, кодирана в невронната мрежа е подходящ.за един размер на изображението или конфигурация на машината извън нейното обучение (Таблица 2).Успокояващо, карти за активиране, подобни на ResNet и AlexNet, от 8 \(\times \) 8 mm и 6 \(\times \) 6 mm изображения успяха да подчертаят съдовете на ретината и в двата случая, което предполага, че моделът има важна информация.са приложими за класифициране на двата вида OCTA изображения (фиг. 4).
Lauerman и др.Оценката на качеството на изображението на OCTA изображения беше извършена по подобен начин с помощта на архитектурата Inception, друга конволюционна невронна мрежа с прескачане на връзката6,32, използваща техники за дълбоко обучение.Те също така ограничават изследването до изображения на повърхностния капилярен плексус, но само с помощта на по-малките 3 × 3 mm изображения от Optovue AngioVue, въпреки че са включени и пациенти с различни хориоретинални заболявания.Нашата работа се основава на техните основи, включително множество модели за справяне с различни прагове за качество на изображението и валидиране на резултатите за изображения с различни размери.Ние също така отчитаме показателя AUC на моделите за машинно обучение и увеличаваме тяхната вече впечатляваща точност (90%)6 както за нискокачествени (96%), така и за висококачествени (95,7%) модели6.
Това обучение има няколко ограничения.Първо, изображенията са получени само с една OCTA машина, включително само изображения на повърхностния капилярен плексус при 8\(\times\)8 mm и 6\(\times\)6 mm.Причината за изключване на изображения от по-дълбоки слоеве е, че проекционните артефакти могат да направят ръчната оценка на изображенията по-трудна и вероятно по-малко последователна.Освен това, изображения са получени само при пациенти с диабет, за които OCTA се очертава като важен диагностичен и прогностичен инструмент33,34.Въпреки че успяхме да тестваме нашия модел върху изображения с различни размери, за да се уверим, че резултатите са надеждни, не успяхме да идентифицираме подходящи набори от данни от различни центрове, което ограничи оценката ни за обобщаемостта на модела.Въпреки че изображенията са получени само от един център, те са получени от пациенти с различен етнически и расов произход, което е уникална сила на нашето изследване.Чрез включването на разнообразието в нашия процес на обучение се надяваме, че нашите резултати ще бъдат обобщени в по-широк смисъл и че ще избегнем кодирането на расови пристрастия в моделите, които обучаваме.
Нашето проучване показва, че невронните мрежи, прескачащи връзката, могат да бъдат обучени да постигнат висока производителност при определяне на качеството на OCTA изображението.Предоставяме тези модели като инструменти за по-нататъшни изследвания.Тъй като различните показатели могат да имат различни изисквания за качество на изображението, може да се разработи индивидуален модел за контрол на качеството за всеки показател, като се използва структурата, установена тук.
Бъдещите изследвания трябва да включват изображения с различни размери от различни дълбочини и различни OCTA машини, за да се получи дълбок процес на оценка на качеството на изображението, който може да се обобщи до OCTA платформи и протоколи за изображения.Настоящите изследвания също се основават на подходи за контролирано задълбочено обучение, които изискват човешка оценка и оценка на изображението, което може да бъде трудоемко и времеемко за големи набори от данни.Остава да се види дали методите за дълбоко обучение без надзор могат адекватно да разграничат изображенията с ниско качество и изображенията с високо качество.
Тъй като технологията OCTA продължава да се развива и скоростите на сканиране се увеличават, честотата на артефакти на изображението и изображения с лошо качество може да намалее.Подобренията в софтуера, като наскоро въведената функция за премахване на артефакти на проекцията, също могат да облекчат тези ограничения.Въпреки това остават много проблеми, тъй като изобразяването на пациенти с лоша фиксация или значителна мътност на медията неизменно води до артефакти на изображението.Тъй като OCTA става все по-широко използван в клиничните изпитвания, е необходимо внимателно обмисляне, за да се установят ясни насоки за приемливи нива на артефакт на изображението за анализ на изображението.Прилагането на методи за задълбочено обучение към OCTA изображения има голямо обещание и са необходими допълнителни изследвания в тази област, за да се разработи стабилен подход за контрол на качеството на изображението.
Кодът, използван в настоящото изследване, е достъпен в хранилището на octa-qc, https://github.com/rahuldhodapkar/octa-qc.Наборите от данни, генерирани и/или анализирани по време на настоящото проучване, са достъпни от съответните автори при разумно искане.
Spaide, RF, Fujimoto, JG & Waheed, NK Артефакти на изображението в оптична кохерентна ангиография.Retina 35, 2163–2180 (2015).
Fenner, BJ и др.Идентифициране на образни характеристики, които определят качеството и възпроизводимостта на измерванията на плътността на капилярния плексус на ретината при OCT ангиография.БР.J. Ophthalmol.102, 509–514 (2018).
Lauerman, JL и др.Влияние на технологията за проследяване на очите върху качеството на изображението при OCT ангиография при свързана с възрастта дегенерация на макулата.Надгробна арка.клинични.Exp.офталмология.255, 1535–1542 (2017).
Babyuch AS и др.OCTA измерванията на плътността на капилярната перфузия се използват за откриване и оценка на макулна исхемия.офталмологична хирургия.Лазерно изобразяване на ретината 51, S30–S36 (2020).
He, K., Zhang, X., Ren, S. и Sun, J. Дълбоко остатъчно обучение за разпознаване на изображения.През 2016 г. на IEEE Conference on Computer Vision and Pattern Recognition (2016).
Lauerman, JL и др.Автоматизирана OCT ангиографска оценка на качеството на изображението с помощта на алгоритми за дълбоко обучение.Надгробна арка.клинични.Exp.офталмология.257, 1641–1648 (2019).
Lauermann, J. et al.Разпространението на грешки в сегментацията и артефакти на движение при OCT ангиография зависи от заболяването на ретината.Надгробна арка.клинични.Exp.офталмология.256, 1807–1816 (2018).
Паск, Адам и др.Pytorch: Императивна, високопроизводителна библиотека за дълбоко обучение.Усъвършенствана обработка на невронна информация.система.32, 8026–8037 (2019).
Deng, J. et al.ImageNet: Широкомащабна йерархична база данни с изображения.2009 IEEE Конференция за компютърно зрение и разпознаване на образи.248–255.(2009).
Krizhevsky A., Sutzkever I. и Hinton GE Imagenet класификация с помощта на дълбоки конволюционни невронни мрежи.Усъвършенствана обработка на невронна информация.система.25, 1 (2012).