Studierfenster - Studierfenster

StudierFenster
Логотип Studierfenster
Логотип Studierfenster
Разработчики)Технологический университет Граца, Медицинский университет Граца
изначальный выпуск2018; 2 года назад (2018)
Написано вC, C ++, Python, JavaScript, HTML
Операционная системаКроссплатформенность
(Windows, Mac OS X, Linux)
Доступно ванглийский
ТипОбработка изображений, научная визуализация, медицинская визуализация, объемный рендеринг, Интерактивная визуализация
ЛицензияGPL, CC-BY-SA
Интернет сайтStudierfenster.tugraz.в
Сегментация опухоли головного мозга под Studierfenster.
Покраска расслоения аорты под Studierfenster.

Studierfenster[1][2] это бесплатный некоммерческий Открытая наука клиент-серверная онлайн-платформа обработки медицинских изображений (MIP). Он предлагает такие возможности, как просмотр медицинских данных (Компьютерная томография (CT), Магнитно-резонансная томография (МРТ) и др.) В двухмерном (2D) и трехмерном пространстве (3D) непосредственно в стандартном веб-браузер, например Google Chrome, Mozilla Firefox, Safari или Microsoft Edge. Другие функции - это расчет медицинских показателей (Счет в кости[3] и Расстояние Хаусдорфа[4]), ручное пошаговое выделение структур на медицинских изображениях (сегментация[5][6]), ручное размещение (анатомических) ориентиров в данных медицинских изображений, просмотр медицинских данных в Виртуальная реальность (VR) и реконструкция лица и регистрация медицинских данных для Дополненная реальность (AR).[7]

Другими особенностями Studierfenster являются автоматический дизайн черепного имплантата с нейронная сеть,[8][9] роспись Расслоение аорты[10] с Генеративная состязательная сеть (GAN)[11][12] и автоматическое определение ориентира аорты с Глубокое обучение[13] в сканировании компьютерной томографии и ангиографии (КТА).

Studierfenster в настоящее время размещен на сервере в Технологический университет Граца (TU Graz)[14] в Штирии, Австрия.

История

Studierfenster (SF) был инициирован в рамках двух бакалаврских диссертаций в рамках программы Summer Bachelor (SB) Института компьютерной графики и зрения (ICG) Технологического университета Граца, Австрия, в сотрудничестве с Медицинским университетом Граца (MedUni Graz). , Австрия, в 2018/2019 гг.[15][16]

Название Studierfenster (или StudierFenster) на немецком языке и может быть переведено на StudyWindow, при этом под Window здесь понимается окно браузера. Слово Studierfenster - это адаптация слова Studierstube (кабинет), которое было проектом дополненной реальности в Венский технологический университет в Австрии.[17][18]

Архитектура

Архитектура Studierfenster.

Studierfenster настраивается как распределенное приложение по модели клиент-сервер. Клиентская часть (интерфейс) состоит из языка гипертекстовой разметки (HTML) и JavaScript. Интерфейс также использует библиотеку веб-графики (WebGL), которая является интерфейсом прикладного программирования (API) Javascript, происходящим от спецификации Open Graphics Library (OpenGL) ES 2.0, на которую он все еще очень похож. В отличие от OpenGL, WebGL позволяет отображать 2D и 3D графику в веб-браузерах. Это позволяет использовать графические функции, известные из автономных программ, непосредственно в веб-приложениях, поддерживаемые вычислительной мощностью графического процессора (GPU) на стороне клиента.

На стороне сервера (back-end) клиентские запросы обрабатываются через C, C ++ и Python.[19] Он взаимодействует с общими библиотеками с открытым исходным кодом и программными инструментами, такими как Insight Toolkit (ITK),[20] набор средств визуализации (VTK ),[21] X Toolkit (XTK)[22] и Slice: Drop.[23] Связь с сервером обрабатывается запросами AJAX.[24] были нужны.

Studierfenster нанимает Колба сервер. По совпадению, Flask был создан Армином Ронахером, выпускником Грацского технологического университета в Австрии.[25]

Функции

Браузер Dicom

Браузер Studierfenster DICOM

Это позволяет на стороне клиента анализировать локальную папку с помощью DICOM (Цифровые изображения и коммуникации в медицине[26][27]) файлы. После этого всю папку можно преобразовать в сжатые файлы .Nrrd (почти необработанные растровые данные) и загрузить как один файл .zip.

Nrrd - это библиотека и формат файла для представления и обработки n-мерных растр данные. Он предназначен для поддержки научной визуализации и (медицинской) обработка изображений Приложения.[28] С помощью «Dicom Browser» Studierfenster можно выбрать определенные исследования или серии и только преобразовать их.

Конвертер файлов

«Конвертер файлов» преобразует файл медицинского тома (например, несжатый файл .Nrrd) в сжатый / двоичный файл .Nrrd. После преобразования сжатый файл .Nrrd можно загрузить и использовать с «Medical 3D Viewer» для 2D- и 3D-визуализации и дальнейшей обработки изображений.

Модуль метрик

Модуль Studierfenster Metrics

Это позволяет вычислить коэффициент схожести игральных костей (DSC) и расстояние Хаусдорфа (HD) между двумя масками сегментации (в формате .nrrd) в стандартном веб-браузере.

Результирующая таблица имеет семь столбцов: имена файлов для обоих файлов, используемых в вычислении, вычисленное DSC, вычисленное HD, вычисленное направленное HD для обоих направлений и информация о том, использовалось ли при вычислении расстояние между изображениями. Таблица может быть отсортирована, доступна для поиска и может быть экспортирована в виде простой копии, экспорта в Excel, файла со значениями, разделенными запятыми (CSV) или в формате переносимого документа (PDF).

Модуль Metrics был использован для сравнения ручных анатомических сегментов опухолей головного мозга.[29]

VR Viewer

Виртуальная реальность под Studierfenster.

VR Viewer (или Medical VR Viewer) позволяет просматривать (медицинские) данные в Виртуальная реальность (VR) с такими устройствами, как Google Cardboard или HTC Vive (через приложение WebVR).[30] Для просмотра данных в VR их необходимо преобразовать в формат VTI (.vti), что можно сделать с помощью открытого многоплатформенного приложения для анализа данных и визуализации ParaView.[31]

Критики

Studierfenster не является сертифицированным медицинским продуктом, его можно использовать только в образовательных, исследовательских и информационных целях.

Рекомендации

  1. ^ "Studierfenster". Получено 23 апреля, 2020.
  2. ^ Вебер, Максимилиан (17 октября 2019 г.). «Клиент-серверная онлайн-среда для расчета оценок медицинской сегментации». 2019 41-я ежегодная международная конференция общества инженеров IEEE в медицине и биологии (EMBC). 2019. С. 3463–3467. Дои:10.1109 / EMBC.2019.8856481. ISBN  978-1-5386-1311-5. PMID  31946624. S2CID  199373900.
  3. ^ Дайс, Ли Р. (1945). «Меры величины экологической ассоциации между видами». Экология. 26 (3): 297–302. Дои:10.2307/1932409. JSTOR  1932409.
  4. ^ Рокафеллар, Р. Тиррелл; Мокрый, Роджер Джей-Би (2005). Вариационный анализ. Springer-Verlag. п. 117. ISBN  3-540-62772-3.
  5. ^ Линда Г. Шапиро и Джордж К. Стокман (2001): «Компьютерное зрение», стр. 279–325, Нью-Джерси, Прентис-Холл, ISBN  0-13-030796-3
  6. ^ Баргоут, Лорен и Лоуренс В. Ли. «Система обработки перцептивной информации». Заявка на патент США 10/618 543, поданная Paravue Inc., 11 июля 2003 г.
  7. ^ Гсакснер, Кристина; Пепе, Антонио; Валлнер, Юрген; Шмальштиг, Дитер; Эггер, янв (2019). Шен, Дингган; Лю, Тяньминь; Питерс, Терри М .; Staib, Lawrence H .; Эссерт, Кэролайн; Чжоу, Шон; Яп, Пью-Тиан; Хан, Али (ред.). «Безмаркерная регистрация изображения к лицу для непривязанной дополненной реальности в хирургии головы и шеи». Вычисление медицинских изображений и компьютерное вмешательство - MICCAI 2019. Конспект лекций по информатике. Чам: Издательство Springer International. 11768: 236–244. Дои:10.1007/978-3-030-32254-0_27. ISBN  978-3-030-32254-0.
  8. ^ Ли, Цзяньнин. «Глубокое обучение для реконструкции дефектов черепа». Магистерская работа, Институт компьютерной графики и зрения, Технологический университет Граца, Австрия, стр. 1-68, январь 2020 г..
  9. ^ Ли, Цзяньнин; Пепе, Антонио; Гсакснер, Кристина; Эггер, янв (2020). «Онлайн-платформа для автоматического восстановления дефектов черепа и дизайна черепных имплантатов». arXiv:2006.00980 [Physics.med-ph ].
  10. ^ Пепе, Антонио; Ли, Цзяньнин; Рольф-Писсарчик, Мальте; Гсакснер, Кристина; Чен, Сяоцзюнь; Holzapfel, Gerhard A .; Эггер, янв (2020). «Обнаружение, сегментация, моделирование и визуализация расслоений аорты: обзор». Анализ медицинских изображений: 101773. Дои:10.1016 / j.media.2020.101773.
  11. ^ Прутч, Александр. «Дизайн и разработка веб-инструмента для рисования рассеченной аорты на изображениях ангиографии» (PDF). Получено 25 апреля, 2020.
  12. ^ Гудфеллоу, Ян; Пуже-Абади, Жан; Мирза, Мехди; Сюй, Бинг; Вард-Фарли, Дэвид; Озаир, Шерджил; Курвиль, Аарон; Бенжио, Йошуа (2014). Генеративные состязательные сети (PDF). Труды Международной конференции по системам обработки нейронной информации (NIPS 2014). С. 2672–2680.
  13. ^ Шмидхубер, Дж. (2015). «Глубокое обучение в нейронных сетях: обзор». Нейронные сети. 61: 85–117. arXiv:1404.7828. Дои:10.1016 / j.neunet.2014.09.003. PMID  25462637. S2CID  11715509.
  14. ^ «Технологический университет Граца (TU Graz)». Получено 28 апреля, 2020.
  15. ^ Вебер, Максимилиан (13 декабря 2018 г.). Онлайн-среда на основе клиент / сервер для расчета оценок сегментации (Бакалаврская диссертация). Австрия: Институт компьютерной графики и зрения, Технологический университет Граца. С. 1–40.
  16. ^ Дикий, Дэниел; Вебер, Максимилиан; Эггер, янв (2019). «Клиент-серверная онлайн-среда для ручной сегментации медицинских изображений». arXiv:1904.08610 [cs.CV ].
  17. ^ "Studierstube" (PDF). Получено 26 апреля, 2020.
  18. ^ Салавари, Жолт; Шмальштиг, Дитер; Фурманн, Антон; Гервотц, Майкл (1998). «Studierstube: среда для совместной работы в дополненной реальности». Виртуальная реальность, Том 3. Конспект лекций по информатике. Издательство Springer International. 3: 37–48. Дои:10.1007 / BF01409796. S2CID  1122975.
  19. ^ «Питон». Получено 29 апреля, 2020.
  20. ^ «Набор инструментов Insight (ITK)». Получено 27 апреля, 2020.
  21. ^ «ВТК - инструментарий визуализации». Получено 27 апреля, 2020.
  22. ^ «X Toolkit: WebGL ™ для научной визуализации». 25 апреля 2020 г.. Получено 27 апреля, 2020.
  23. ^ "Slice: Drop". Получено 27 апреля, 2020.
  24. ^ «Ajax - руководства для веб-разработчиков». Веб-документы MDN. В архиве с оригинала 28 февраля 2018 г.. Получено 27 февраля, 2018.
  25. ^ "Армин Ронахер". Получено 26 апреля, 2020.
  26. ^ «1 Сфера и область применения». dicom.nema.org.
  27. ^ Брошюра DICOM, nema.org.
  28. ^ Аха-Фернандес, Сантьяго; де Луис Гарсия, Родриго; Тао, Дачэн; Ли, Сюэлун (2009). Тензоры в обработке изображений и компьютерном зрении. Достижения в области компьютерного зрения и распознавания образов. Springer Science & Business Media. ISBN  9781848822993.
  29. ^ Бхандари, Абхишта; Коппен, Джаррад; Агзарян, Марк (2020). «Сверточные нейронные сети для сегментации опухолей головного мозга». Взгляд на визуализацию. Конспект лекций по информатике. Springer Open. 11:77 (1): 77. Дои:10.1186 / s13244-020-00869-4. ЧВК  7280397. PMID  32514649.
  30. ^ Эггер, янв (12 марта 2017 г.). «Интеграция HTC Vive MeVisLab через OpenVR для медицинских приложений». PLOS ONE. 12 (3): e0173972. arXiv:1703.07575. Bibcode:2017PLoSO..1273972E. Дои:10.1371 / journal.pone.0173972. ЧВК  5360258. PMID  28323840.
  31. ^ "ParaView". Получено 24 мая, 2020.

внешняя ссылка