Последовательная временная амплифицированная микроскопия - Serial time-encoded amplified microscopy

Последовательная временная усиленная визуализация / микроскопия или же растянутые кодированные во времени усиленные изображения / микроскопия ' (ПАР) - это быстрый метод оптического изображения в реальном времени, который обеспечивает частоту кадров в МГц, выдержку ~ 100 пс и оптическое усиление изображения ~ 30 дБ (× 1000). STEAM, основанный на технике Photonic Time Stretch, удерживает мировые рекорды в Скорость затвора и частота кадров в непрерывной визуализации в реальном времени. STEAM использует Photonic Time Stretch с внутренним рамановским усилением для реализации оптического усиления изображения, чтобы обойти фундаментальный компромисс между чувствительностью и скоростью, который влияет практически на все оптические системы визуализации и считывания. В этом методе используется однопиксельная фотоприемник, устраняя необходимость в матрице детекторов и ограничениях времени считывания. Избегая этой проблемы и используя оптическое усиление изображения для значительного повышения чувствительности при высокой скорости получения изображения, скорость затвора STEAM как минимум в 1000 раз выше, чем у современных CCD[1] и CMOS[2] камеры. Его частота кадров в 1000 раз выше, чем у самых быстрых камер CCD, и в 10-100 раз выше, чем у самых быстрых камер CMOS.

История

Система объединила фотонное растяжение во времени с внутренним рамановским усилением - технологию, разработанную ранее для создания фемтосекундного однократного дигитайзера в реальном времени.[3] и однократный стимулированный рамановский спектрометр [4] с концепцией спектрального кодирования. Первой демонстрацией была одномерная версия.[5] а позже - двухмерная версия.[6] Недавно был создан виброметр с быстрой визуализацией, расширив систему до интерферометрической конфигурации.[7] Затем технология была расширена для получения количественных фазовых изображений с растяжением во времени (TS-QPI ) для классификации клеток крови без этикеток и в сочетании с искусственным интеллектом (AI) для классификации раковых клеток в крови с точностью более 96%.[8] Система измерила 16 биофизических параметров клеток одновременно за один снимок и выполнила гиперпространственную классификацию с использованием глубокой нейронной сети (DNN). Результаты сравнивались с другими алгоритмами классификации машинного обучения, такими как логистическая регрессия и наивный байесовский алгоритм, с наивысшей точностью, полученной с помощью глубокого обучения.

Фон

Технология быстрой оптической визуализации в реальном времени незаменима для изучения динамических событий, таких как ударные волны, лазерный синтез, химическая динамика в живых клетках, нервная активность, лазерная хирургия, микрофлюидика и МЭМС. Обычные техники обычного CCD и CMOS камеры не подходят для захвата быстрых динамических процессов с высокой чувствительностью и скоростью; существуют технологические ограничения - требуется время, чтобы считывать данные с матрицы датчиков, и существует фундаментальный компромисс между чувствительностью и скоростью: при высокой частоте кадров в каждом кадре собирается меньше фотонов, и эта проблема затрагивает почти все оптические изображения. системы.

В полоса камеры, используемый для диагностики при лазерном синтезе, излучении плазмы и горении, работает только в пакетном режиме (выдача всего несколько кадров) и требует синхронизации камеры с регистрируемым событием. Поэтому он не может фиксировать случайные или временные события в биологических системах. Стробоскопы выполняют дополнительную роль: они могут фиксировать динамику быстрых событий, но только если событие повторяется, например, вращения, вибрации и колебания. Они не могут фиксировать неповторяющиеся случайные события, которые происходят только один раз или не происходят через регулярные промежутки времени.

Принцип действия

Основной принцип состоит из двух этапов, выполняемых оптически. На первом этапе спектр широкополосного оптического импульса преобразуется пространственным диспергатором в радугу, освещающую цель. Здесь радужный импульс состоит из множества субимпульсов разных цветов (частот), что указывает на то, что разные частотные компоненты (цвета) радужного импульса падают на разные пространственные координаты объекта. Следовательно, пространственная информация (изображение) объекта кодируется в спектр результирующего отраженного или переданного импульса радуги. Отраженный или переданный в кодировке изображения импульс радуги возвращается к тому же пространственному диспергатору или попадает в другой пространственный диспергатор для объединения цветов радуги обратно в единый импульс. Здесь выдержка или время экспозиции STEAM соответствуют временной ширине радужного импульса. На втором этапе спектр преобразуется в последовательный временной сигнал, растянутый во времени с использованием дисперсионное преобразование Фурье чтобы замедлить его, чтобы его можно было оцифровать в реальном времени. Растяжение по времени происходит внутри дисперсионного волокна, которое накачивается для создания внутреннего рамановского усиления. Здесь изображение оптически усилено вынужденное комбинационное рассеяние для преодоления уровня теплового шума детектора. Усиленный растянутый во времени последовательный поток изображений обнаруживается однопиксельным фотодетектором, и изображение восстанавливается в цифровой области. Последующие импульсы захватывают повторяющиеся кадры, поэтому частота следования лазерных импульсов соответствует частоте кадров STEAM. Второй известен как аналого-цифровой преобразователь с растяжением во времени, иначе известный как область записи с растяжением во времени (TiSER).

Усиленное дисперсионное преобразование Фурье

Одновременное растяжение и усиление также известно как усиленное растяжение во времени. дисперсионное преобразование Фурье (TS-DFT).[9][10] Технология увеличения во времени была разработана ранее для демонстрации аналого-цифрового преобразования с фемтосекундной частотой дискретизации в реальном времени. [3] и продемонстрировать спектроскопию стимулированного комбинационного рассеяния за один снимок с миллионами кадров в секунду.[4] Усиленный временной интервал - это процесс, в котором спектр оптического импульса отображается большой групповой скоростью. разброс в замедленную временную форму волны и одновременно усиленную процессом вынужденное комбинационное рассеяние. Следовательно, оптический спектр может быть захвачен однопиксельным фотоприемник и оцифровываются в реальном времени. Импульсы повторяются для повторяющихся измерений оптического спектра. ДПФ с усилением во времени состоит из дисперсионного волокна, накачиваемого лазерами, и мультиплексоров с разделением по длине волны, которые вводят лазеры в дисперсионное волокно и из него. Усиленное дисперсионное преобразование Фурье изначально было разработано для сверхширокополосные аналого-цифровые преобразователи и также использовался для высокой пропускной способности в реальном времени спектроскопия. Разрешение имидж-сканера STEAM в основном определяется дифракционным пределом, частотой дискретизации внутреннего дигитайзера и пространственными диспергаторами.[11]

Количественное фазовое изображение с растяжением во времени

См. Полное описание на www.nature.com/articles/srep21471.
Система количественного фазового изображения с растяжением во времени - это микроскоп с искусственным интеллектом, который включает конвейер анализа больших данных для машинного зрения и обучения. Лицензирование изображений CC BY 4.0 -

Количественная фазовая визуализация с растяжением во времени (TS-QPI) представляет собой метод визуализации, основанный на технологии растяжения во времени для одновременного измерения пространственных профилей фазы и интенсивности.[12][13][14][15] Разработанный в Калифорнийском университете в Лос-Анджелесе, он привел к созданию микроскопа искусственного интеллекта, растянутого во времени.[12]

Растянутые во времени изображения

При растянутом во времени изображении пространственная информация объекта кодируется в спектр из лазерные импульсы в пределах длительности импульса суб-наносекунды. Каждый импульс представляет один кадр камера затем растягивается во времени, чтобы его можно было оцифрованный в реальном времени с помощью электронного аналого-цифровой преобразователь (АЦП). Сверхбыстрый импульсное освещение замораживает движение высокоскоростных ячеек или частиц в потоке для получения изображений без размытия. Чувствительность обнаружения снижается из-за небольшого количества фотоны собираются в течение сверхкороткого времени затвора (ширина оптического импульса) и падения пиковой оптической мощности в результате растяжения во времени.[16] Эти проблемы решаются при визуализации с растяжением во времени за счет реализации низкого коэффициента шума. Рамановский усилитель внутри диспергирующего устройства, которое выполняет растяжение во времени. Более того, преобразование с деформированным растяжением можно использовать при формировании изображений с растяжением во времени для достижения оптического сжатия изображения и неоднородного пространственного разрешения по полю зрения.

в последовательный версия камеры с растяжкой во времени, визуализация сочетается с спектральная интерферометрия измерять количественная фаза[17][18] и изображения интенсивности в реальном времени и с высокой пропускной способностью. Интегрированная с микрофлюидным каналом, система когерентной визуализации с растяжением во времени измеряет как количественный оптический фазовый сдвиг, так и потерю отдельных клеток в качестве высокоскоростного проточного цитометра для визуализации, регистрируя миллионы линейных изображений в секунду при скорости потока до нескольких метров в секунду. , достигая пропускной способности до ста тысяч ячеек в секунду. Количественную фазовую визуализацию с растяжением во времени можно комбинировать с машинным обучением для получения очень точной классификации клеток без меток.

Приложения

Этот метод полезен для широкого круга научных, промышленных и биомедицинских приложений, требующих высокой скорости затвора и частоты кадров. Одномерная версия может использоваться для измерения смещения,[нужна цитата ] считывание штрих-кода,[нужна цитата ] и скрининг крови;[19] двумерная версия для наблюдения в реальном времени, диагностики и оценки ударных волн, микрожидкостного потока,[20] нейронная активность, МЭМС,[21] и динамика лазерной абляции.[нужна цитата ] Трехмерная версия полезна для определения дальности,[нужна цитата ] метрология размеров,[нужна цитата ] поверхностная виброметрия и велосиметрия.[22]

Сжатие изображения в оптической области

Иллюстрация преобразования деформированного растяжения в изображении.
Сжатие изображения путем преобразования деформированного растяжения.

Большие данные не только открывают возможности, но и создают проблемы для биомедицинских и научных инструментов, блоки сбора и обработки которых перегружены потоком данных. Необходимость сжимать огромные объемы данных в реальном времени вызвала интерес к неравномерным преобразованиям растяжения - операциям, которые изменяют форму данных в соответствии с их разреженностью.

Недавно исследователи из Калифорнийского университета в Лос-Анджелесе продемонстрировали сжатие изображений, выполняемое в оптической области и в реальном времени.[23] Используя нелинейную дисперсию групповой задержки и построение изображений с растяжением во времени, они смогли оптически деформировать изображение, так что богатые информацией части отбираются с более высокой плотностью выборки, чем разреженные области. Это было сделано путем реструктуризации изображения перед оптико-электрическим преобразованием с последующим использованием однородного электронного пробоотборника. Реконструкция неравномерно растянутого изображения демонстрирует, что разрешение выше там, где информация богатая, и ниже, когда информация намного меньше и относительно не важна. Богатая информацией область в центре хорошо сохраняется при сохранении той же частоты дискретизации по сравнению с однородным случаем без понижающей дискретизации. Было продемонстрировано сжатие изображения со скоростью 36 миллионов кадров в секунду в реальном времени.

Смотрите также

Рекомендации

  1. ^ Дж. Р. Джейнесик (2001). Научные устройства с зарядовой связью. SPIE Press. ISBN  9780819436986.
  2. ^ Х. Циммерманн (2000). Интегрированная кремниевая оптоэлектроника. Springer. ISBN  978-3540666622.
  3. ^ а б Chou, J .; Boyraz, O .; Solli, D .; Джалали, Б. (2007). «Фемтосекундный однократный дигитайзер реального времени». Письма по прикладной физике. 91 (16): 161105–1–161105–3. Bibcode:2007АпФЛ..91п1105С. Дои:10.1063/1.2799741 - через Researchgate.net.
  4. ^ а б Solli, D.R .; Boyraz, O .; Джалали, Б. (2008). «Усиленное преобразование длины волны во время для спектроскопии в реальном времени». Природа Фотоника. 2 (1): 48–51. Bibcode:2008НаФо ... 2 ... 48С. Дои:10.1038 / nphoton.2007.253. S2CID  8991606.
  5. ^ К. Года; К. К. Циа и Б. Джалали (2008). «Визуализация с усиленным дисперсионным преобразованием Фурье для сверхбыстрого определения смещения и считывания штрих-кода». Письма по прикладной физике. 93 (13): 131109. arXiv:0807.4967. Bibcode:2008АпФЛ..93м1109Г. Дои:10.1063/1.2992064. S2CID  34751462.
  6. ^ К. Года; К. К. Циа и Б. Джалали (2009). «Последовательная кодированная во времени усиленная визуализация для наблюдения в реальном времени быстрых динамических явлений». Природа. 458 (7242): 1145–9. Bibcode:2009 Натур.458.1145Г. Дои:10.1038 / природа07980. PMID  19407796. S2CID  4415762.
  7. ^ А. Маджубфар; К. Года; А. Аязи; А. Фард; С. Х. Ким и Б. Джалали (2011). «Высокоскоростной визуализирующий виброметр и велосиметр с нанометровым разрешением». Письма по прикладной физике. 98 (10): 101107. Bibcode:2011ApPhL..98j1107M. Дои:10.1063/1.3563707.
  8. ^ Chen, C.L .; Mahjoubfar, A .; Хвост.; Blaby, I .; Хуанг, А .; Niazi, K .; Джалали, Б. (2016). «Глубокое обучение по классификации клеток без меток». Научные отчеты. 6: 21471. Bibcode:2016НатСР ... 621471C. Дои:10.1038 / srep21471. ЧВК  4791545. PMID  26975219.
  9. ^ К. Года; Д. Р. Солли; К. К. Циа и Б. Джалали (2009). «Теория усиленного дисперсионного преобразования Фурье». Физический обзор A. 80 (4): 043821. Bibcode:2009PhRvA..80d3821G. Дои:10.1103 / PhysRevA.80.043821. HDL:10722/91330.
  10. ^ К. Года и Б. Джалали (2010). «Коэффициент шума усиленного дисперсионного преобразования Фурье». Физический обзор A. 82 (3): 033827. Bibcode:2010PhRvA..82c3827G. Дои:10.1103 / PhysRevA.82.033827.
  11. ^ Циа К. К., Года К., Кейпвелл Д., Джалали Б. (2010). «Характеристики последовательного усиленного микроскопа с временной кодировкой». Оптика Экспресс. 18 (10): 10016–28. Bibcode:2010OExpr..1810016T. Дои:10.1364 / oe.18.010016. HDL:10722/91333. PMID  20588855.CS1 maint: несколько имен: список авторов (связь)
  12. ^ а б Чен, Клэр Лифан; Махджубфар, Ата; Тай, Ли-Чиа; Blaby, Ян К .; Хуанг, Аллен; Ниази, Кайван Реза; Джалали, Бахрам (2016). «Глубокое обучение по классификации клеток без меток». Научные отчеты. 6: 21471. Bibcode:2016НатСР ... 621471C. Дои:10.1038 / srep21471. ЧВК  4791545. PMID  26975219.опубликовано под лицензией CC BY 4.0
  13. ^ Мишо, Сара (5 апреля 2016 г.). «Использование больших данных для визуализации клеток». Новости оптики и фотоники. Оптическое общество. Получено 8 июля 2016.
  14. ^ «Фотонная микроскопия с растяжением во времени в сочетании с искусственным интеллектом выявляет раковые клетки в крови». Мед Гаджет. 15 апреля 2016 г.. Получено 8 июля 2016.
  15. ^ Чен, Клэр Лифан; Махджубфар, Ата; Джалали, Бахрам (23 апреля 2015 г.). «Сжатие оптических данных при визуализации с растяжением во времени». PLOS ONE. 10 (4): e0125106. Дои:10.1371 / journal.pone.0125106. ЧВК  4408077. PMID  25906244.
  16. ^ Махджубфар, Ата; Чуркин, Дмитрий В .; Барланд, Стефан; Бродерик, Нил; Турицын, Сергей К .; Джалали, Бахрам (2017). «Растяжка времени и ее приложения». Природа Фотоника. 11 (6): 341–351. Bibcode:2017НаФо..11..341M. Дои:10.1038 / nphoton.2017.76.
  17. ^ Г. Попеску, "Количественная фазовая визуализация клеток и тканей". McGraw Hill Professional (2011)
  18. ^ Лау, Энди К. С .; Вонг, Теренс Т. У .; Хо, Кеннет К. Й .; Тан, Мэтью Т. Х .; Chan, Antony C.S .; Вэй, Сяомин; Лам, Эдмунд Й .; Шум, Хо Чунг; Wong, Kenneth K. Y .; Циа, Кевин К. (2014). «Интерферометрическая микроскопия с растяжением во времени для ... количественной визуализации клеток и тканей» (PDF). Журнал биомедицинской оптики. Бесплатная загрузка PDF. 19 (7): 076001. Bibcode:2014JBO .... 19g6001L. Дои:10.1117 / 1.JBO.19.7.076001. HDL:10722/200609. PMID  24983913.
  19. ^ Чен К., Маджубфар А., Тай Л., Блаби И., Хуанг А., Ниази К., Джалали Б. (2016). «Глубокое обучение по классификации клеток без меток». Научные отчеты. 6: 21471. Bibcode:2016НатСР ... 621471C. Дои:10.1038 / srep21471. ЧВК  4791545. PMID  26975219.CS1 maint: несколько имен: список авторов (связь)
  20. ^ Д. Ди Карло (2009). «Инерционная микрофлюидика». Лаборатория на чипе. 9 (21): 3038–46. Дои:10,1039 / b912547g. PMID  19823716.
  21. ^ Т. Р. Сюй (2008). МЭМС и микросистемы: проектирование, производство и наноразмерная инженерия. Вайли. ISBN  978-0470083017.
  22. ^ Махджубфар А., Года К., Аязи А., Фард А., Ким С., Джалали Б. (2011). «Высокоскоростной визуализирующий виброметр и велосиметр с нанометровым разрешением». Письма по прикладной физике. 98 (10): 101107. Bibcode:2011ApPhL..98j1107M. Дои:10.1063/1.3563707.CS1 maint: несколько имен: список авторов (связь)
  23. ^ CL Chen; Маджубфар; Б. Джалали (2015). «Сжатие оптических данных при визуализации с растяжением во времени». PLOS ONE. 10 (4): 1371. Дои:10.1371 / journal.pone.0125106. ЧВК  4408077. PMID  25906244.