Микроскопия светового поля - Light field microscopy

Свет поле микроскопия (LFM) представляет собой метод получения трехмерных (3D) микроскопических изображений без сканирования, основанный на теории световое поле. Этот метод позволяет получать большие объемные изображения менее чем за секунду (~ 10 Гц) ([~ 0,1–1 мм]³) с пространственным разрешением ~ 1 мкм в условиях слабого рассеяния и полупрозрачности, чего не удалось добиться другими методами. Как и в традиционных рендеринг светового поля, существует два этапа получения изображения LFM: захват и обработка светового поля. В большинстве настроек микролинза массив используется для захвата светового поля. Что касается обработки, она может быть основана на двух видах представлений о распространении света: лучевая оптика рисунок^[1] и волновая оптика рисунок.^[2] Лаборатория компьютерной графики Стэнфордского университета опубликовала свой первый прототип LFM в 2006 году.^[1] и с тех пор работает на передовой.

Генерация светового поля

Лучевая параметризация микроскопии светового поля. (А) Параметризация светового поля без релейной линзы. Плоскость объекта сопрягается с плоскостью решетки микролинз через цель, а плоскость объектива сопрягается с плоскостью датчика через микролинзы: промежуточное изображение двух точек находится на плоскости матрицы микролинз, причем одна микролинза соответствует одной точке; каждое частичное изображение за соответствующей микролинзой включает в себя изображение объектива. (В) Параметризация светового поля с помощью релейной системы. Сопряжение между точками фокальной плоскости и миролинзами все еще сохраняется; однако частичное изображение за каждой микролинзой включает только часть объектива. В обеих системах луч параметризуется как комбинация 2D-координаты микролинзы, через которую проходит луч, и 2D-координаты пикселя фрагмента изображения, на который он падает.

Световое поле - это совокупность всех лучей, текущих через некоторое свободное пространство, где каждый луч может быть параметризован четырьмя переменными.^[3] Во многих случаях две 2D-координаты обозначаются как ${ displaystyle (s, t)}$ & ${ Displaystyle (и, v)}$ –На двух параллельных плоскостях, с которыми пересекаются лучи, применяются для параметризации. Соответственно, интенсивность светового поля 4D можно описать как скалярную функцию: ${ textstyle L_ {f} (s, t, u, v)}$ , куда ${ displaystyle f}$ расстояние между двумя плоскостями.

LFM может быть построен на традиционной установке широкопольного флуоресцентного микроскопа и стандартного CCD камера или же sCMOS.^[1] Световое поле создается путем размещения массива микролинз в промежуточной плоскости изображения цель (или задняя фокальная плоскость опционального релейного объектива) и дополнительно фиксируется путем размещения датчика камеры в задней фокальной плоскости микролинз. В результате координаты микролинз ${ displaystyle (s, t)}$ сопрягаются с линзами на предметной плоскости (если добавляются дополнительные релейные линзы, то на передней фокальной плоскости объектива) ${ displaystyle (s ', t')}$ ; координаты пикселей за каждой микролинзой ${ Displaystyle (и, v)}$ сопряжены с теми, которые находятся на объективной плоскости ${ Displaystyle (и ', v')}$ . Для единообразия и удобства будем называть плоскость ${ displaystyle (s ', t')}$ исходная плоскость фокусировки в этой статье. Соответственно, ${ displaystyle f}$ - фокусное расстояние микролинз (то есть расстояние между плоскостью матрицы микролинз и плоскостью сенсора).

Кроме того, апертуры и фокусное расстояние каждой линзы, а также размеры датчика и матрицы микролинз должны быть правильно выбраны, чтобы гарантировать, что нет ни перекрытия, ни пустых областей между соседними частями изображения за соответствующими микролинзами.

Реализация по картинке лучевой оптики

Этот раздел в основном знакомит с работой Левоя. и другие., 2006.^[1]

Перспективные виды под разными углами

Из-за упомянутых выше сопряженных отношений любой определенный пиксель ${ displaystyle (u_ {j}, v_ {j})}$ за определенной микролинзой ${ displaystyle (s_ {i}, t_ {i})}$ соответствует лучу, проходящему через точку ${ displaystyle (s_ {i} ', t_ {i}')}$ в направлении ${ Displaystyle (и_ {j} ', v_ {j}')}$ . Следовательно, извлекая пиксель ${ displaystyle (u_ {j}, v_ {j})}$ из всех подизображений и их сшивания получается перспективный вид под определенным углом: ${ textstyle L_ {f} (:,:, u_ {j}, v_ {j})}$ . В этом сценарии пространственное разрешение определяется количеством микролинз; угловое разрешение определяется количеством пикселей за каждой микролинзой.

Томографические изображения на основе синтетической перефокусировки

Шаг 1. Цифровая переориентация

Цифровой перефокус светового поля. Предположим, что исходное изображение было сфокусировано на плоскости, которая сопряжена с плоскостью матрицы микролинз, поэтому изображение должно быть синтезировано путем суммирования пикселей за каждой микролинзой, чтобы сформировать цифровую фокусировку на этой плоскости. Теперь мы хотим перефокусироваться на другую плоскость, сопряженная плоскость которой αж от плоскости датчика, визуализируя лучи, определенные между плоскостью матрицы микролинз и плоскостью датчика. Чтобы получить интенсивность каждой точки на плоскости перефокусировки, мы суммируем лучи, обратные выносные линии которых заканчиваются в этой точке. Этот рисунок является демонстрацией одномерного синтетического перефокусировки, а другое измерение может быть независимо перефокусировано тем же математическим способом. Этот рисунок является модификацией рисунка 1 в Ren Ng 2005.^[4]

Синтетическая фокусировка использует захваченное световое поле для вычисления фокусировки фотографии на любом произвольном участке. Путем простого суммирования всех пикселей в каждом фрагменте изображения за микролинзой (что эквивалентно сбору всего излучения, приходящего под разными углами и попадающего в одно и то же положение), изображение фокусируется точно в плоскости, которая сопряжена с плоскостью массива микролинз:

${ displaystyle E_ {f} (s, t) = {1 over f ^ {2}} iint L_ {f} (s, t, u, v) cos ^ {4} phi ~ dudv}$ ,

куда ${ displaystyle phi}$ - угол между лучом и нормалью плоскости сенсора, а ${ textstyle phi = arctan ({ sqrt {u ^ {2} + v ^ {2}}} / f)}$ если начало системы координат каждого фрагмента изображения расположено на главной оптической оси соответствующей микролинзы. Теперь можно определить новую функцию для поглощения эффективного проекционного фактора. ${ Displaystyle соз ^ {4} phi}$ в интенсивность светового поля ${ displaystyle L_ {f}}$ и получить фактическую коллекцию яркости каждого пикселя: ${ displaystyle { bar {L}} _ {f} = L_ {f} cos ^ {4} phi}$ .

Чтобы сфокусироваться на какой-либо другой плоскости, помимо передней фокальной плоскости объектива, скажем, плоскости, сопряженная плоскость которой ${ displaystyle f '= alpha f}$ от плоскости датчика, сопряженная плоскость может быть перемещена из ${ displaystyle f}$ к ${ displaystyle alpha f}$ и повторно параметризуйте его световое поле обратно к исходному на ${ displaystyle f}$ :

${ displaystyle { bar {L}} _ { alpha f} (s, t, u, v) = { bar {L}} _ {f} (u + (su) / alpha, v + (tv) / альфа, и, v)}$ .

Таким образом, перефокусированную фотографию можно рассчитать по следующей формуле:

${ displaystyle E _ { alpha f} (s, t) = {1 over alpha ^ {2} f ^ {2}} iint { bar {L}} _ {f} (u (1-1 / alpha) + s / alpha, v (1-1 / alpha) + t / alpha, u, v) ~ dudv}$ .

Следовательно, создается стек фокуса, чтобы резюмировать мгновенное трехмерное изображение пространства объекта. Кроме того, синтетически возможны наклонные или даже изогнутые фокальные плоскости.^[5] Кроме того, любое восстановленное 2D-изображение, сфокусированное на произвольной глубине, соответствует 2D-срезу 4-мерного светового поля в Область Фурье, где сложность алгоритма может быть уменьшена с ${ Displaystyle О (п ^ {4})}$ к ${ Displaystyle О (п ^ {2} журнал п)}$ .^[4]

Шаг 2: измерение функции рассеяния точки

Однако из-за дифракции и расфокусировки стек фокуса ${ displaystyle FS}$ отличается от реального распределения интенсивности вокселей ${ displaystyle V}$ , что очень желательно. Вместо, ${ displaystyle FS}$ это свертка ${ displaystyle V}$ и функция рассеяния точки (PSF):

 ${ displaystyle V * PSF = FS.}$

Таким образом, трехмерная форма PSF должна быть измерена, чтобы вычесть ее эффект и получить чистую интенсивность вокселей. Это измерение можно легко выполнить, поместив флуоресцентный шарик в центр исходной плоскости фокусировки и записав его световое поле, на основе которого определяется трехмерная форма PSF путем синтетической фокусировки на различной глубине. Учитывая, что PSF получен с той же настройкой LFM и процедурой цифровой перефокусировки, что и стек фокуса, это измерение правильно отражает угловой диапазон лучей, захваченных объективом (включая любое падение интенсивности); следовательно, этот синтетический PSF фактически лишен шума и аберраций. Форму PSF можно считать идентичной везде в пределах желаемого. поле зрения (FOV); следовательно, можно избежать многократных измерений.

Шаг 3: 3D деконволюция

В области Фурье фактическая интенсивность вокселей очень просто связана с фокальным стеком и PSF:

${ displaystyle { mathcal {F}} (V) = { frac {{ mathcal {F}} (FS)} {{ mathcal {F}} (PSF)}}}$ ,

куда ${ displaystyle { mathcal {F}}}$ является оператором преобразование Фурье. Однако может оказаться невозможным напрямую решить приведенное выше уравнение, учитывая тот факт, что апертура имеет ограниченный размер, в результате чего PSF оказывается ограниченный диапазон (т.е. его преобразование Фурье имеет нули). Вместо этого итерационный алгоритм называется ограниченная итеративная деконволюция в пространственной области здесь гораздо практичнее:^[6]

${ Displaystyle bigtriangleup ^ {(k + 1)} ~ leftarrow ~ FS-V ^ {(k)} * PSF}$ ;
${ Displaystyle V ^ {(к + 1)} ~ leftarrow ~ max (V ^ {(k)} + bigtriangleup ^ {(k + 1)}, 0)}$ .

Эта идея основана на ограниченном градиентном спуске: оценке ${ displaystyle V}$ улучшается итеративно путем вычисления разницы между фактическим стеком фокуса ${ displaystyle FS}$ и предполагаемый стек фокуса ${ textstyle V * PSF}$ и исправление ${ displaystyle V}$ с текущей разницей ( ${ displaystyle V}$ ограничено быть неотрицательным).

Реализация из картины волновой оптики

Хотя на основе лучевой оптики пленоптическая камера продемонстрировал хорошие характеристики в макроскопическом мире, дифракция накладывает ограничения на реконструкцию LFM, оставаясь при этом на языке лучевой оптики. Следовательно, может быть гораздо удобнее перейти на волновую оптику. (Этот раздел в основном представляет работы Брокстона и другие., 2013.^[2])

Дискретность пространства

Интересующий FOV сегментирован на ${ displaystyle N_ {v}}$ воксели, каждый с меткой ${ textstyle i}$ . Таким образом, все поле зрения может быть дискретно представлено вектором ${ displaystyle mathbf {g}}$ с размером ${ displaystyle N_ {v} times 1}$ . Аналогично ${ displaystyle N_ {p} times 1}$ вектор ${ displaystyle mathbf {f}}$ представляет собой сенсорную плоскость, где каждый элемент ${ displaystyle mathrm {f} _ {j}}$ обозначает один пиксель датчика. При условии некогерентного распространения между разными вокселями передача светового поля из пространства объекта на датчик может быть линейно связана с ${ displaystyle N_ {p} times N_ {v}}$ Матрица измерений, в которую заложена информация PSF:

 ${ displaystyle mathbf {f} = mathrm {H} ~ mathbf {g}.}$

В сценарии лучевой оптики фокальный стек создается путем синтетической фокусировки лучей, а затем применяется деконволюция с синтезированным PSF для уменьшения размытия, вызванного волновой природой света. С другой стороны, в волновой оптике матрица измерений ${ displaystyle mathrm {H}}$ - описание пропускания светового поля - вычисляется непосредственно на основе распространения волн. В отличие от переходных оптических микроскопов, форма ФРТ которых инвариантна (например, Воздушный узор ) относительно положения излучателя, излучатель в каждом вокселе генерирует уникальный шаблон на датчике LFM. Другими словами, каждый столбец в ${ displaystyle mathrm {H}}$ отчетливо. В следующих разделах будет подробно рассмотрен расчет всей матрицы измерений.

Оптический импульсный отклик

Оптический импульсный отклик ${ textstyle ч ( mathbf {x}, mathbf {p})}$ - напряженность электрического поля в 2D-позиции ${ displaystyle mathbf {x} in mathbb {R ^ {2}}}$ на плоскости датчика, когда изотропный точечный источник единичной амплитуды размещается в некоторой трехмерной позиции ${ Displaystyle mathbf {p} in mathbb {R ^ {3}}}$ в FOV. Распространение электрического поля состоит из трех этапов: переход от точечного источника к плоскости собственного изображения (т. Е. Плоскости массива микролинз), прохождение через массив микролинз и распространение на плоскость датчика.

Шаг 1: распространение через цель

Для объектива с круглой апертурой волновой фронт в плоскости исходного изображения ${ Displaystyle mathbf {x} = (x_ {1}, x_ {2})}$ инициирован эмиттером в ${ textstyle mathbf {p} = (p_ {1}, p_ {2}, p_ {3})}$ можно вычислить с помощью скалярной теории Дебая:^[7]

${ Displaystyle U_ {я} ( mathbf {x}, mathbf {p}) = { frac { mathrm {M}} {f_ {obj} ^ {2} lambda ^ {2}}} exp { biggl (} - { frac {iu} {4 sin ^ {2} ( alpha / 2)}} { biggr)} int _ {0} ^ { alpha} d theta ~ P ( theta) exp { biggl (} - { frac {iu sin ^ {2} ( theta / 2)} {2 sin ^ {2} ( alpha / 2)}} { biggr)} J_ {0} { biggl (} { frac { sin theta} { sin alpha}} nu { biggr)} sin theta}$ ,

куда ${ displaystyle f_ {obj}}$ - фокусное расстояние объектива; ${ Displaystyle mathrm {M}}$ это его увеличение. ${ displaystyle lambda}$ это длина волны. ${ Displaystyle альфа = arcsin ( mathrm {NA} / п)}$ это половина угла числовая апертура ( ${ displaystyle n}$ - показатель преломления образца). ${ Displaystyle Р ( тета)}$ - функция аподизации микроскопа ( ${ Displaystyle P ( theta) = { sqrt { cos theta}}}$ для объективов с поправкой на синус Аббе). ${ Displaystyle J_ {0} ( cdot)}$ это нулевой порядок Функция Бесселя первого вида. ${ displaystyle nu}$ и ${ displaystyle u}$ - нормированные радиальные и осевые оптические координаты соответственно:

${ displaystyle nu Thickapprox k { sqrt {(x_ {1} -p_ {1}) ^ {2} + (x_ {2} -p_ {2}) ^ {2}}} sin alpha}$

${ Displaystyle и Thickapprox 4kp_ {3} sin ^ {2} ( alpha / 2)}$ ,

куда ${ Displaystyle к = 2 пи п / лямбда}$ - волновое число.

Шаг 2: фокусировка через массив микролинз

Каждую микролинзу можно рассматривать как фазовую маску:

${ displaystyle phi ( mathbf {x}) = exp { biggl (} { frac {-ik} {2f}} | Delta mathbf {x} | _ {2} ^ {2} { biggr)}}$ ,

куда ${ textstyle f}$ - фокусное расстояние микролинз и ${ displaystyle Delta mathbf {x} = mathbf {x} - mathbf {x} _ { mu lens}}$ вектор, указывающий из центра микролинзы в точку ${ displaystyle mathbf {x}}$ на микролинзе. Стоит отметить, что ${ textstyle phi ( mathbf {x})}$ не равно нулю, только когда ${ displaystyle mathbf {x}}$ расположен в зоне эффективного пропускания микролинзы.

Таким образом, передаточная функция всего массива микролинз может быть представлена как ${ displaystyle phi ( mathbf {x})}$ запутанный с помощью функции двухмерной расчески:

${ Displaystyle Phi ( mathbf {x}) = phi ( mathbf {x}) * mathrm {comb} ( mathbf {x} / d)}$ ,

куда ${ displaystyle d}$ шаг (скажем, размер) микролинз.

Шаг 3: Распространение ближнего поля к датчику

Распространение волнового фронта с расстоянием ${ displaystyle f}$ от плоскости собственного изображения до плоскости датчика можно вычислить с помощью Дифракция Френеля интеграл:

${ displaystyle E ( mathbf {x}) | _ {z = f} = { frac {e ^ {ikf}} {я lambda f}} iint E ( mathbf {x} ') | _ { z = 0} exp { biggl (} { frac {ik} {2f}} | mathbf {x} - mathbf {x} ' | _ {2} ^ {2} { biggr)} г mathbf {x} '}$ ,

куда ${ textstyle E ( mathbf {x} ') | _ {z = 0} = U_ {i} ( mathbf {x}', mathbf {p}) Phi ( mathbf {x} ')}$ - фронт волны, непосредственно проходящий через исходную плоскость изображения.

Следовательно, весь оптический импульсный отклик можно выразить в виде свертки:

${ Displaystyle час ( mathbf {x}, mathbf {p}) = { biggl (} U_ {i} ( mathbf {x}, mathbf {p}) Phi ( mathbf {x}) { biggr)} * { biggl (} { frac {e ^ {ikf}} {i lambda f}} e ^ {{ frac {ik} {2f}} mathbf { |} mathbf {x } | _ {2} ^ {2}} { biggr)}}$ .

Вычисление матрицы измерений

Получив оптическую импульсную характеристику, любой элемент ${ displaystyle h_ {ij}}$ в матрице измерений ${ displaystyle mathrm {H}}$ можно рассчитать как:

${ displaystyle h_ {ij} = int _ { alpha _ {j}} int _ { beta _ {i}} w_ {i} ( mathbf {p}) | h ( mathbf {x}, mathbf {p}) | ^ {2} d mathbf {p} d mathbf {x}}$ ,

куда ${ displaystyle alpha _ {j}}$ это площадь для пикселя ${ displaystyle j}$ и ${ displaystyle beta _ {я}}$ это объем для вокселя ${ displaystyle i}$ . Весовой фильтр ${ textstyle w_ {я} ( mathbf {p})}$ добавлен, чтобы соответствовать тому факту, что PSF вносит больший вклад в центре вокселя, чем на краях. Линейный интеграл суперпозиции основан на предположении, что флуорофоры в каждом бесконечно малом объеме ${ textstyle d mathbf {p}}$ испытывают бессвязный, стохастический процесс излучения, учитывая их быстрые случайные колебания.

Решение обратной задачи

Шумный характер измерений

Опять же, из-за ограниченной полосы пропускания фотон дробовой шум, и огромной размерности матрицы, невозможно напрямую решить обратную задачу как: ${ textstyle mathbf {g} = mathrm {H} ^ {- 1} mathbf {f}}$ . Вместо этого стохастическая связь между дискретным световым полем и полем обзора больше напоминает:

${ displaystyle { hat { mathbf {f}}}} sim mathrm {Pois} ( mathrm {H} ~ { mathbf {g} + mathbf {b})}$ ,

куда ${ displaystyle mathbf {b}}$ - фоновая флуоресценция, измеренная до визуализации; ${ Displaystyle mathrm {Pois} ( cdot)}$ - шум Пуассона. Следовательно, ${ textstyle { hat { mathbf {f}}}}$ теперь становится случайным вектором со значениями, распределенными Possion в единицах фотоэлектронов e⁻.

Оценка максимального правдоподобия

Основываясь на идее максимизации вероятности измеренного светового поля ${ textstyle { hat { mathbf {f}}}}$ учитывая конкретный FOV ${ textstyle mathbf {g}}$ и фон ${ textstyle mathbf {b}}$ , итерационная схема Ричардсона-Люси обеспечивает здесь эффективный алгоритм трехмерной деконволюции:

${ displaystyle mathbf {g} ^ {(k + 1)} = mathrm {diag} ( mathrm {H} ^ {T} mathbf {1}) ^ {- 1} mathrm {diag} ( mathrm {H} ^ {T} mathrm {diag} ( mathrm {H} mathbf {g} ^ {(k)} + mathbf {b}) ^ {- 1} mathbf {f}) mathbf {g} ^ {(k)}}$ .

где оператор ${ displaystyle mathrm {diag} ( cdot)}$ остается диагональными аргументами матрицы и обнуляет ее недиагональные элементы.

Приложения

Световая микроскопия для функциональной нейронной визуализации

Начиная с начальной работы в Стэнфордском университете по применению световой микроскопии для визуализация кальция в личинке данио (Данио Рерио),^[8] в ряде статей микроскопия светового поля применяется для функциональной нейронной визуализации, включая измерение динамической активности нейронов во всем мозге. C. elegans,^[9] изображение всего мозга у личинок рыбок данио,^[9]^[10] изображения датчиков активности кальция и напряжения через мозг плодовых мушек (Дрозофила) при частоте до 200 Гц,^[11] и быстрое отображение объемов 1 мм x 1 мм x 0,75 мм в гиппокампе мышей, перемещающихся в виртуальной среде.^[12] Эта область применения - быстро развивающаяся область на стыке вычислительной оптики и нейробиологии.^[13]