microscopía de campo de luz

La microscopía de campo de luz ( LFM ) es un método de imagen microscópica tridimensional (3D) sin escaneo basado en la teoría del campo de luz . Esta técnica permite la obtención de imágenes volumétricas grandes ([~0,1 a 1 mm] ³ ) en fracciones de segundo (~10 Hz) con una resolución espacial de ~1 μm en condiciones de baja dispersión y semitransparencia, algo que nunca se ha logrado con otros métodos. Al igual que en la renderización de campo de luz tradicional , la obtención de imágenes LFM consta de dos pasos: captura y procesamiento del campo de luz. En la mayoría de las configuraciones, se utiliza una matriz de microlentes para capturar el campo de luz. En cuanto al procesamiento, puede basarse en dos tipos de representaciones de la propagación de la luz: la imagen de óptica geométrica ^[¹^] y la imagen de óptica ondulatoria . ^[²^] El Laboratorio de Gráficos por Computadora de la Universidad de Stanford publicó su primer prototipo de LFM en 2006 ^[¹^] y desde entonces ha estado trabajando a la vanguardia.

generación de campo de luz

Un campo de luz es una colección de todos los rayos que fluyen a través de un espacio libre, donde cada rayo puede ser parametrizado con cuatro variables. ^{[ 3 ]} En muchos casos, dos coordenadas 2D, denotadas como $(s,t)$ & $(u,v)$ –Se aplican dos planos paralelos con los que se intersecan los rayos para la parametrización. En consecuencia, la intensidad del campo de luz 4D se puede describir como una función escalar: ${\textstyle L_{f}(s,t,u,v)}$ , dónde $f$ es la distancia entre dos planos.

LFM se puede construir sobre la configuración tradicional de un microscopio de fluorescencia de campo amplio y una cámara CCD estándar o sCMOS . ^{[ 1 ]} Se genera un campo de luz colocando una matriz de microlentes en el plano de imagen intermedio del objetivo (o el plano focal posterior de una lente de retransmisión opcional ) y se captura colocando el sensor de la cámara en el plano focal posterior de las microlentes. Como resultado, las coordenadas de las microlentes $(s,t)$ conjugadas con las del plano del objeto (si se añaden lentes de retransmisión adicionales, entonces en el plano focal frontal del objetivo) $(s',t')$ ; las coordenadas de los píxeles detrás de cada microlente $(u,v)$ conjugados con aquellos en el plano objetivo $(u',v')$ Para uniformidad y conveniencia, llamaremos al avión $(s',t')$ el plano focal original en este artículo. Correspondientemente, $f$ es la distancia focal de las microlentes (es decir, la distancia entre el plano de la matriz de microlentes y el plano del sensor).

Además, la apertura y la distancia focal de cada lente, así como las dimensiones del sensor y del conjunto de microlentes, deben elegirse adecuadamente para garantizar que no haya ni superposición ni áreas vacías entre las subimágenes adyacentes detrás de las microlentes correspondientes.

Realización a partir de la imagen de la óptica geométrica

Esta sección introduce principalmente el trabajo de Levoy et al ., 2006. ^{[ 1 ]}

Vistas en perspectiva desde distintos ángulos

Debido a las relaciones conjugadas mencionadas anteriormente, cualquier píxel determinado $(u_{j},v_{j})$ detrás de cierta microlente $(s_{i},t_{i})$ corresponde al rayo que pasa por el punto $(s_{i}',t_{i}')$ hacia la dirección $(u_{j}',v_{j}')$ Por lo tanto, al extraer el píxel $(u_{j},v_{j})$ A partir de todas las subimágenes y uniéndolas, se obtiene una vista en perspectiva desde un ángulo determinado: ${\textstyle L_ {f}(:,:,u_ {j},v_ {j})}$ En este escenario, la resolución espacial está determinada por el número de microlentes; la resolución angular está determinada por el número de píxeles detrás de cada microlente.

Imágenes tomográficas basadas en reenfoque sintético

Paso 1: Reorientación digital

**Reenfoque digital del campo de luz** . Supongamos que la imagen original se ha enfocado en el plano conjugado con el plano de la matriz de microlentes; por lo tanto, la imagen debe sintetizarse sumando los píxeles detrás de cada microlente para realizar un enfoque digital en este plano. Ahora, queremos reenfocar en otro plano cuyo plano conjugado se encuentra a una distancia α f del plano del sensor, renderizando los rayos definidos entre el plano de la matriz de microlentes y el plano del sensor. Para obtener la intensidad de cada punto en el plano de reenfoque, sumamos los rayos cuyas líneas de extensión inversas terminan en este punto. Esta figura muestra un reenfoque sintético unidimensional, y la otra dimensión puede reenfocarse independientemente de la misma manera matemática. Esta figura es una modificación de la Fig. 1 en Ren Ng 2005. ^{[ 4 ]}

El enfoque sintético utiliza el campo de luz capturado para calcular el enfoque de la fotografía en cualquier sección arbitraria. Al sumar todos los píxeles de cada subimagen detrás de la microlente (equivalente a recolectar toda la radiación proveniente de diferentes ángulos que incide en la misma posición), la imagen se enfoca exactamente en el plano conjugado con el plano de la matriz de microlentes.

$E_{f}(s,t)={1 \over f^{2}}\iint L_{f}(s,t,u,v)\cos ^{4}\phi ~dudv$ ,

dónde $\phi$ es el ángulo entre el rayo y la normal del plano del sensor, y ${\textstyle \phi =\arctan({\sqrt {u^{2}+v^{2}}}/f)}$ si el origen del sistema de coordenadas de cada subimagen se encuentra en el eje óptico principal de la microlente correspondiente. Ahora, se puede definir una nueva función para absorber el factor de proyección efectivo. $\cos ^{4}\phi$ en la intensidad del campo de luz $L_{f}$ y obtener la colección de radiancia real de cada píxel: ${\bar {L}}_{f}=L_{f}\cos ^{4}\phi$ .

Para enfocar en algún otro plano además del plano focal frontal del objetivo, digamos, el plano cuyo plano conjugado es $f'=\alpha f$ lejos del plano del sensor, el plano conjugado se puede mover desde $f$ a $\alpha f$ y reparametrizar su campo de luz de vuelta al original en $f$ :

${\bar {L}}_{\alpha f}(s,t,u,v)={\bar {L}}_{f}(u+(su)/\alpha ,v+(tv)/\alpha ,u,v)$ .

De este modo, la fotografía reenfocada se puede calcular con la siguiente fórmula:

$E_{\alpha f}(s,t)={1 \over \alpha ^{2}f^{2}}\iint {\bar {L}}_{f}(u(1-1/\alpha )+s/\alpha ,v(1-1/\alpha )+t/\alpha ,u,v)~dudv$ .

En consecuencia, se genera una pila focal para recapitular la imagen 3D instantánea del espacio del objeto. Además, también es posible sintéticamente obtener planos focales inclinados o incluso curvos. ^{[ 5 ]} Además, cualquier imagen 2D reconstruida enfocada a una profundidad arbitraria corresponde a una sección 2D de un campo de luz 4D en el dominio de Fourier , donde la complejidad del algoritmo se puede reducir de $O(n^{4})$ a $O(n^{2}\log n)$ . ^{[ 4 ]}

Paso 2: Medición de la función de dispersión de puntos

Sin embargo, debido a la difracción y al desenfoque, la pila focal $FS$ difiere de la distribución de intensidad real de los vóxeles $V$ , lo cual es realmente deseado. En cambio, $FS$ es una convolución de $V$ y una función de dispersión de puntos (PSF):

 $V*PSF=FS.$

Por lo tanto, es necesario medir la forma 3D de la PSF para restar su efecto y obtener la intensidad neta de los vóxeles. Esta medición se puede realizar fácilmente colocando una microesfera fluorescente en el centro del plano focal original y registrando su campo de luz, a partir del cual se determina la forma 3D de la PSF mediante el enfoque sintético a diferentes profundidades. Dado que la PSF se adquiere con la misma configuración LFM y el mismo procedimiento de reenfoque digital que la pila focal, esta medición refleja correctamente el rango angular de los rayos capturados por el objetivo (incluida cualquier disminución de intensidad); por lo tanto, esta PSF sintética está libre de ruido y aberraciones. La forma de la PSF puede considerarse idéntica en todo el campo de visión (FOV) deseado; por consiguiente, se pueden evitar múltiples mediciones.

Paso 3: Deconvolución 3D

En el dominio de Fourier, la intensidad real de los vóxeles tiene una relación muy simple con la pila focal y la PSF:

${\mathcal {F}}(V)={\frac {{\mathcal {F}}(FS)}{{\mathcal {F}}(PSF)}}$ ,

dónde ${\mathcal {F}}$ es el operador de la transformada de Fourier . Sin embargo, puede que no sea posible resolver directamente la ecuación anterior, dado que la apertura es de tamaño limitado, lo que resulta en que la PSF sea de banda limitada (es decir, su transformada de Fourier tiene ceros). En cambio, un algoritmo iterativo llamado deconvolución iterativa restringida en el dominio espacial es mucho más práctico aquí: ^{[ 6 ]}

$\bigtriangleup ^{(k+1)}~\leftarrow ~FS-V^{(k)}*PSF$ ;
$V^{(k+1)}~\leftarrow ~\max(V^{(k)}+\bigtriangleup ^{(k+1)},0)$ .

Esta idea se basa en el descenso de gradiente restringido : la estimación de $V$ Se mejora iterativamente calculando la diferencia entre la pila focal real. $FS$ y la pila focal estimada ${\textstyle V*PSF}$ y corrigiendo $V$ con la diferencia actual ( $V$ está restringido a ser no negativo).

Fotografía de sección de Fourier

La fórmula de $E_{\alpha f}(s,t)$ puede reescribirse adoptando el concepto del Teorema de Proyección-Corte de Fourier . ^{[ 4 ]} Debido al operador de fotografía ${\mathcal {P}}_{\alpha }[{\bar {L_{f}}}](s,t)=E_{\alpha f}(s,t)$ Puede considerarse como un corte seguido de una proyección; el resultado debería ser proporcional a una sección bidimensional dilatada de la transformada de Fourier tetradimensional de un campo de luz. Precisamente, se puede generar una imagen reenfocada a partir del espectro de Fourier tetradimensional de un campo de luz extrayendo una sección bidimensional, aplicando una transformada bidimensional inversa y escalándola. Antes de la demostración, introducimos algunos operadores:

Operador de proyección integral: ${\mathcal {I}}_{M}^{N}[f](x_{1},...,x_{M})=\int {f(x_{1},...,x_{N})dx_{M+1}...dx_{N}}$
Operador de corte: ${\mathcal {S}}_{M}^{N}[f](x_{1},...,x_{M})=f(x_{1},...,x_{M},0,...,0)$
Cambio de base en fotografía : Deje ${\mathcal {B}}_{\alpha }$ denota un operador para un cambio de base de una función de 4 dimensiones de modo que ${\mathcal {B}}[f](\mathrm {x} )=f({\mathcal {B}}^{-1}\mathrm {x} )$ , con ${\mathcal {B}}_{\alpha }={\begin{bmatrix}\alpha &0&1-\alpha &0\\0&\alpha &0&1-\alpha \\0&0&1&0\\0&0&0&1\end{bmatrix}}$ .
Operador de transformada de Fourier : Sea ${\mathcal {F}}^{N}$ denota el operador de transformada de Fourier N-dimensional.

Según estas definiciones, podemos reescribir ${\mathcal {P}}_{\alpha }[{\bar {L_{f}}}](s,t)={1 \over \alpha ^{2}f^{2}}\iint {\bar {L}}_{f}(u(1-1/\alpha )+s/\alpha ,v(1-1/\alpha )+t/\alpha ,u,v)~dudv\equiv {\frac {1}{\alpha ^{2}f^{2}}}{\mathcal {I}}_{2}^{4}\circ {\mathcal {B}}_{\alpha }[L_{f}]$ .

Según el teorema generalizado de la sección de Fourier, ^{[ 4 ]} tenemos

${\mathcal {F}}^{M}\circ {\mathcal {I}}_{M}^{N}\circ {\mathcal {B}}\equiv {\mathcal {S}}_{M}^{N}\circ {\frac {{\mathcal {B}}^{-T}}{|{\mathcal {B}}^{-T}|}}\circ {\mathcal {F}}^{N}$ ,

y por lo tanto el operador de fotografía tiene la forma

${\mathcal {P}}_{\alpha }[{\bar {L_{f}}}](s,t)\equiv {\frac {1}{f^{2}}}{\mathcal {F}}^{-2}\circ {\mathcal {S}}_{2}^{4}\circ {\mathcal {B}}_{\alpha }^{-T}\circ {\mathcal {F}}^{4}$ .

Según la fórmula, sabemos que una fotografía es la transformada de Fourier bidimensional inversa de una sección bidimensional dilatada en la transformada de Fourier tetradimensional del campo de luz.

Fotografía de secciones de Fourier discretas

Si lo único que tenemos disponible son muestras del campo de luz, en lugar de usar el teorema de corte de Fourier para la señal continua mencionado anteriormente, adoptamos el teorema de corte de Fourier discreto, que es una generalización de la transformada de Radon discreta , para calcular la imagen reenfoqueada. ^{[ 7 ]}

Supongamos que un campo de luz ${\bar {L}}_{f}$ es periódico con períodos $T_{s},T_{t},T_{u},T_{v}$ y se define en el hipercubo $H=[-T_{s}/2,T_{s}/2]\times [-T_{t}/2,T_{t}/2]\times [-T_{u}/2,T_{u}/2]\times [-T_{v}/2,T_{v}/2]$ . Además, supongamos que hay $N_{s}\times N_{t}\times N_{u}\times N_{v}$ muestras conocidas del campo de luz $({\hat {s}}\Delta s,{\hat {t}}\Delta t,{\hat {u}}\Delta u,{\hat {v}}\Delta v)$ , dónde ${\hat {s}},{\hat {t}},{\hat {u}},{\hat {v}}\in \mathbb {Z}$ y $\Delta s,\Delta t,\Delta u,\Delta v={\frac {T_{s}}{N_{s}}},{\frac {T_{t}}{N_{t}}},{\frac {T_{u}}{N_{u}}},{\frac {T_{v}}{N_{v}}}$ , respectivamente. Entonces, podemos definir ${\bar {L}}_{f}^{d}$ utilizando interpolación trigonométrica con estos puntos de muestra:

${\bar {L}}_{f}^{d}({\hat {s}},{\hat {t}},{\hat {u}},{\hat {v}})=\sum _{\omega _{\hat {s}}}\sum _{\omega _{\hat {t}}}\sum _{\omega _{\hat {u}}}\sum _{\omega _{\hat {v}}}{\mathcal {\bar {L}}}_{f}^{d}(\omega _{\hat {s}},\omega _{\hat {t}},\omega _{\hat {u}},\omega _{\hat {v}})e^{2\pi i({\hat {s}}\omega _{\hat {s}}+{\hat {t}}\omega _{\hat {t}}+{\hat {u}}\omega _{\hat {u}}+{\hat {v}}\omega _{\hat {v}})}$ ,

dónde

${\mathcal {\bar {L}}}_{f}^{d}(\omega _{\hat {s}},\omega _{\hat {t}},\omega _{\hat {u}},\omega _{\hat {v}})=\sum _{\hat {s}}\sum _{\hat {t}}\sum _{\hat {u}}\sum _{\hat {v}}{\bar {L}}_{f}^{d}({\hat {s}},{\hat {t}},{\hat {u}},{\hat {v}})e^{2\pi i({\hat {s}}\omega _{\hat {s}}+{\hat {t}}\omega _{\hat {t}}+{\hat {u}}\omega _{\hat {u}}+{\hat {v}}\omega _{\hat {v}})}$ .

Nótese que, por simplicidad, se han omitido los factores constantes.

Para calcular su fotografía reenfocada, reemplazamos la integral infinita en la fórmula de ${\mathcal {P}}_{\alpha }$ con suma cuyos límites son $[-T_{u}/2,T_{u}/2]$ y $[-T_{v}/2,T_{v}/2]$ . Eso es,

${\mathcal {P}}_{\alpha }^{d}[{\bar {L_{f}^{d}}}]({\hat {s}},{\hat {t}})={1 \over \alpha ^{2}f^{2}}\sum _{-N_{u}/2}^{N_{u}/2}\sum _{-N_{v}/2}^{N_{v}/2}{\bar {L}}_{f}^{d}({\hat {u}}\Delta u(1-1/\alpha )+{\hat {s}}\Delta s/\alpha ,{\hat {v}}\Delta v(1-1/\alpha )+{\hat {t}}\Delta t/\alpha ,{\hat {u}}\Delta u,{\hat {v}}\Delta v)$ .

Entonces, según indica el teorema de la sección discreta de Fourier, podemos representar la fotografía utilizando una sección de Fourier:

${\mathcal {P}}_{\alpha }^{d}[{\bar {L_{f}^{d}}}]({\hat {s}},{\hat {t}})=\sum _{-N_{u}/2}^{N_{u}/2}\sum _{-N_{v}/2}^{N_{v}/2}{e^{2\pi i({\hat {s}}\omega _{\hat {s}}+{\hat {t}}\omega _{\hat {t}})}{\mathcal {\bar {L}}}_{f}^{d}}{(\alpha \omega _{\hat {s}},\alpha \omega _{\hat {t}},(1-\alpha )\omega _{\hat {s}},(1-\alpha )\omega _{\hat {t}})}$

Realización a partir de la imagen de la óptica ondulatoria

Aunque la cámara plenóptica basada en óptica geométrica ha demostrado un rendimiento favorable en el mundo macroscópico, la difracción limita la reconstrucción LFM al mantener la terminología de la óptica geométrica. Por lo tanto, puede ser mucho más conveniente recurrir a la óptica ondulatoria. (Esta sección presenta principalmente el trabajo de Broxton et al ., 2013. ^{[ 2 ]} )

Discretización del espacio

El campo de visión de interés se segmenta en $N_{v}$ vóxeles, cada uno con una etiqueta ${\textstyle i}$ Por lo tanto, todo el campo de visión se puede representar discretamente con un vector. $\mathbf {g}$ con una dimensión de $N_{v}\times 1$ . De manera similar, un $N_{p}\times 1$ vector $\mathbf {f}$ representa el plano del sensor, donde cada elemento $\mathrm {f} _{j}$ denota un píxel del sensor. Bajo la condición de propagación incoherente entre diferentes vóxeles, la transmisión del campo de luz desde el espacio del objeto al sensor puede vincularse linealmente mediante un $N_{p}\times N_{v}$ matriz de medición, en la que se incorpora la información de la PSF:

 $\mathbf {f} =\mathrm {H} ~\mathbf {g} .$

En el escenario de la óptica geométrica, se genera una pila focal mediante el enfoque sintético de rayos, y luego se aplica la deconvolución con una PSF sintetizada para disminuir el desenfoque causado por la naturaleza ondulatoria de la luz. En el caso de la óptica ondulatoria, por otro lado, la matriz de medición $\mathrm {H}$ –que describe la transmisión del campo de luz– se calcula directamente en función de la propagación de ondas. A diferencia de los microscopios ópticos transicionales cuya forma de la PSF es invariante (por ejemplo, patrón de Airy ) con respecto a la posición del emisor, un emisor en cada vóxel genera un patrón único en el sensor de un LFM. En otras palabras, cada columna en $\mathrm {H}$ es distinto. En las siguientes secciones, se analizará en detalle el cálculo de toda la matriz de medición.

respuesta al impulso óptico

La respuesta al impulso óptico ${\textstyle h(\mathbf {x} ,\mathbf {p} )}$ es la intensidad de un campo eléctrico en una posición 2D $\mathbf {x} \in \mathbb {R^{2}}$ en el plano del sensor cuando una fuente puntual isotrópica de amplitud unitaria se coloca en alguna posición 3D $\mathbf {p} \in \mathbb {R^{3}}$ en el campo de visión. Hay tres pasos a lo largo de la propagación del campo eléctrico: viajar desde una fuente puntual hasta el plano de imagen nativo (es decir, el plano de la matriz de microlentes), pasar a través de la matriz de microlentes y propagarse hasta el plano del sensor.

Paso 1: Propagación a través de un objetivo

Para un objetivo con apertura circular, el frente de onda en el plano de imagen nativo $\mathbf {x} =(x_{1},x_{2})$ iniciado desde un emisor en ${\textstyle \mathbf {p} =(p_{1},p_{2},p_{3})}$ se puede calcular utilizando la teoría escalar de Debye: ^{[ 8 ]}

$U_{i}(\mathbf {x} ,\mathbf {p} )={\frac {\mathrm {M} }{f_{obj}^{2}\lambda ^{2}}}\exp {\biggl (}-{\frac {iu}{4\sin ^{2}(\alpha /2)}}{\biggr )}\int _{0}^{\alpha }d\theta ~P(\theta )\exp {\biggl (}-{\frac {iu\sin ^{2}(\theta /2)}{2\sin ^{2}(\alpha /2)}}{\biggr )}J_{0}{\biggl (}{\frac {\sin \theta }{\sin \alpha }}\nu {\biggr )}\sin \theta$ ,

dónde $f_{obj}$ es la distancia focal del objetivo; $\mathrm {M}$ es su magnificación. $\lambda$ es la longitud de onda. $\alpha =\arcsin(\mathrm {NA} /n)$ es el semiángulo de la apertura numérica ( $n$ es el índice de refracción de la muestra). $P(\theta )$ es la función de apodización del microscopio ( $P(\theta )={\sqrt {\cos \theta }}$ para objetivos corregidos mediante el método de Abbe-sine). $J_{0}(\cdot )$ es la función de Bessel de orden cero de primera especie. $\nu$ y $u$ son las coordenadas ópticas radiales y axiales normalizadas, respectivamente:

$\nu \thickapprox k{\sqrt {(x_{1}-p_{1})^{2}+(x_{2}-p_{2})^{2}}}\sin \alpha$

$u\thickapprox 4kp_{3}\sin ^{2}(\alpha /2)$ ,

dónde $k=2\pi n/\lambda$ es el número de onda.

Paso 2: Enfoque a través de la matriz de microlentes

Cada microlente puede considerarse como una máscara de fase:

$\phi (\mathbf {x} )=\exp {\biggl (}{\frac {-ik}{2f}}\|\Delta \mathbf {x} \|_{2}^{2}{\biggr )}$ ,

dónde ${\textstyle f}$ es la distancia focal de las microlentes y $\Delta \mathbf {x} =\mathbf {x} -\mathbf {x} _{\mu lens}$ es el vector que apunta desde el centro de la microlente hacia un punto $\mathbf {x}$ en la microlente. Vale la pena notar que ${\textstyle \phi (\mathbf {x} )}$ es distinto de cero solo cuando $\mathbf {x}$ Se encuentra en la zona de transmisión efectiva de una microlente.

De este modo, la función de transmisión de la matriz de microlentes completa se puede representar como $\phi (\mathbf {x} )$ convolucionado con una función de peine 2D:

$\Phi (\mathbf {x} )=\phi (\mathbf {x} )*\mathrm {comb} (\mathbf {x} /d)$ ,

dónde $d$ es el paso (por ejemplo, la dimensión) de las microlentes.

Paso 3: Propagación de campo cercano al sensor

La propagación del frente de onda con la distancia $f$ La distancia desde el plano de la imagen nativa hasta el plano del sensor se puede calcular con una integral de difracción de Fresnel :

$E(\mathbf {x} )|_{z=f}={\frac {e^{ikf}}{i\lambda f}}\iint E(\mathbf {x} ')|_{z=0}\exp {\biggl (}{\frac {ik}{2f}}\|\mathbf {x} -\mathbf {x} '\|_{2}^{2}{\biggr )}d\mathbf {x} '$ ,

dónde ${\textstyle E(\mathbf {x} ')|_{z=0}=U_{i}(\mathbf {x} ',\mathbf {p} )\Phi (\mathbf {x} ')}$ es el frente de onda que pasa inmediatamente por el plano de imagen nativo.

Por lo tanto, toda la respuesta al impulso óptico se puede expresar en términos de una convolución:

$h(\mathbf {x} ,\mathbf {p} )={\biggl (}U_{i}(\mathbf {x} ,\mathbf {p} )\Phi (\mathbf {x} ){\biggr )}*{\biggl (}{\frac {e^{ikf}}{i\lambda f}}e^{{\frac {ik}{2f}}\mathbf {\|} \mathbf {x} \|_{2}^{2}}{\biggr )}$ .

Cálculo de la matriz de medición

Habiendo adquirido la respuesta de impulso óptico, cualquier elemento $h_{ij}$ en la matriz de medición $\mathrm {H}$ se puede calcular como:

$h_{ij}=\int _{\alpha _{j}}\int _{\beta _{i}}w_{i}(\mathbf {p} )|h(\mathbf {x} ,\mathbf {p} )|^{2}d\mathbf {p} d\mathbf {x}$ ,

dónde $\alpha _{j}$ es el área para píxeles $j$ y $\beta _{i}$ es el volumen para vóxel $i$ El filtro de peso ${\textstyle w_{i}(\mathbf {p} )}$ Se añade para coincidir con el hecho de que una PSF contribuye más en el centro de un vóxel que en los bordes. La integral de superposición lineal se basa en la suposición de que los fluoróforos en cada volumen infinitesimal ${\textstyle d\mathbf {p} }$ experimentan un proceso de emisión incoherente y estocástico, considerando sus fluctuaciones rápidas y aleatorias.

Resolver el problema inverso

La naturaleza ruidosa de las mediciones

Nuevamente, debido al ancho de banda limitado, el ruido de disparo de fotones y la enorme dimensión de la matriz, es imposible resolver directamente el problema inverso como: ${\textstyle \mathbf {g} =\mathrm {H} ^{-1}\mathbf {f} }$ En cambio, una relación estocástica entre un campo de luz discreto y el campo de visión se asemeja más a:

${\hat {\mathbf {f} }}}\sim \mathrm {Pois} (\mathrm {H} ~{\mathbf {g} +\mathbf {b} )$ ,

dónde $\mathbf {b}$ es la fluorescencia de fondo medida antes de la obtención de imágenes; $\mathrm {Pois} (\cdot )$ es el ruido de Poisson. Por lo tanto, ${\textstyle {\hat {\mathbf {f} }}}$ ahora se convierte en un vector aleatorio con valores distribuidos según una distribución de Poisson en unidades de fotoelectrones e ⁻ .

estimación de máxima verosimilitud

Basado en la idea de maximizar la probabilidad del campo de luz medido. ${\textstyle {\hat {\mathbf {f} }}}$ dado un campo de visión particular ${\textstyle \mathbf {g} }$ y antecedentes ${\textstyle \mathbf {b} }$ El esquema de iteración de Richardson-Lucy proporciona aquí un algoritmo de deconvolución 3D eficaz:

$\mathbf {g} ^{(k+1)}=\mathrm {diag} (\mathrm {H} ^{T}\mathbf {1} )^{-1}\mathrm {diag} (\mathrm {H} ^{T}\mathrm {diag} (\mathrm {H} \mathbf {g} ^{(k)}+\mathbf {b} )^{-1}\mathbf {f} )\mathbf {g} ^{(k)}$ .

donde el operador $\mathrm {diag} (\cdot )$ conserva los argumentos diagonales de una matriz y establece sus elementos fuera de la diagonal a cero.

Aplicaciones

Microscopía de campo de luz para imágenes neuronales funcionales

A partir del trabajo inicial en la Universidad de Stanford que aplicó la microscopía de campo de luz a la obtención de imágenes de calcio en larvas de pez cebra ( Danio Rerio ), ^{[ 9 ]} varios artículos han aplicado ahora la microscopía de campo de luz a la obtención de imágenes neuronales funcionales, incluyendo la medición de las actividades dinámicas de las neuronas en todo el cerebro de C. elegans , ^{[ 10 ]} imágenes de todo el cerebro en larvas de pez cebra, ^{[ 10 ]}^{[ 11 ]} imágenes de sensores de actividad de calcio y voltaje en todo el cerebro de moscas de la fruta ( Drosophila ) a hasta 200 Hz, ^{[ 12 ]} y obtención de imágenes rápidas de volúmenes de 1 mm x 1 mm x 0,75 mm en el hipocampo de ratones que navegan por un entorno virtual. ^{[ 13 ]} Esta área de aplicación es un área de rápido desarrollo en la intersección de la óptica computacional y la neurociencia. ^{[ 14 ]}

Véase también

Referencias

1 2 3 4 Levoy, Marc; Ng, Ren; Adams, Andrew; Footer, Matthew; Horowitz, Mark (2006). "Microscopía de campo de luz". ACM SIGGRAPH 2006 Papers on - SIGGRAPH '06 . pp. 924– 934. doi : 10.1145/1179352.1141976 . ISBN 978-1-59593-364-5. S2CID 867959 .
1 2 Broxton, Michael; Grosenick, Logan; Yang, Samuel; Cohen, Noy; Andalman, Aaron; Deisseroth, Karl; Levoy, Marc (2013-10-21). "Teoría de la óptica ondulatoria y deconvolución 3D para el microscopio de campo de luz" . Optics Express . 21 (21): 25418– 25439. Bibcode : 2013OExpr..2125418B . doi : 10.1364 / OE.21.025418 . ISSN 1094-4087 . PMC 3867103. PMID 24150383 .
↑ Levoy, Marc; Hanrahan, Pat (1996). «Renderizado de campo de luz». Actas de la 23.ª conferencia anual sobre gráficos por computadora y técnicas interactivas . SIGGRAPH '96. págs. 31–42 . doi : 10.1145/237170.237199 . ISBN 978-0-89791-746-9. S2CID 1363510 .
1 2 3 4 Ng, Ren (2005). "Fotografía de cortes de Fourier". Artículos de ACM SIGGRAPH 2005. SIGGRAPH '05. págs. 735–744 . CiteSeerX 10.1.1.461.4454 . doi : 10.1145/1186822.1073256 . ISBN 978-1-4503-7825-3. S2CID 1806641 .
↑ Vaish, V.; Garg, G.; Talvala, E.; Antunez, E.; Wilburn, B.; Horowitz, M.; Levoy, M. (junio de 2005). "Enfoque de apertura sintética mediante una factorización de deformación por cizallamiento de la transformación de visualización". 2005 IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR'05) - Workshops . Vol. 3. p. 129. doi : 10.1109/CVPR.2005.537 . ISBN 978-0-7695-2372-9. S2CID 12143675 .
↑ Swedlow, Jason R.; Sedat, John W.; Agard, David A. (1996). Jansson, Peter A. (ed.). Deconvolución de imágenes y espectros (2.ª ed.). Orlando, FL, EE. UU.: Academic Press, Inc. pp. 284–309 . ISBN 978-0-12-380222-4.
↑ Nava, FP, Marichal-Hernández, JG, & Rodríguez-Ramos, JM (2008, agosto). La transformada discreta de apilamiento focal. En 2008 16th European Signal Processing Conference (pp. 1-5). IEEE.
↑ Gu, Min (2000). Teoría avanzada de imágenes ópticas . Springer Series in Optical Sciences. Vol. 75. Bibcode : 2000aoit.conf.....G . doi : 10.1007/978-3-540-48471-4 . ISBN 978-3-662-14272-1.
↑ Grosenick, Logan; Anderson, Todd; Smith, Stephen (28 de junio de 2009). «Selección elástica de fuentes para imágenes in vivo de conjuntos neuronales». Simposio Internacional IEEE de 2009 sobre Imágenes Biomédicas: De lo Nano a lo Macro . págs. 1263–1266 . doi : 10.1109/ISBI.2009.5193292 . ISBN 978-1-4244-3931-7. S2CID 1914757 .
1 2 Prevedel, Robert; Yoon, Young-Gyu; Hoffmann, Maximilian; Pak, Nikita; Wetzstein, Gordon; Kato, Saul; Schrödel, Tina; Raskar, Ramesh; Zimmer, Manuel; Boyden, Edward S.; Vaziri, Alipasha (2014). " Imágenes 3D simultáneas de la actividad neuronal en todo el animal mediante microscopía de campo de luz" . Nature Methods . 11 (7): 727– 730. Bibcode : 2014NatCB..11..727P . doi : 10.1038/nmeth.2964 . PMC 4100252. PMID 24836920 .
↑Cong, Lin; Wang, Zeguan; Chai, Yuming; Hang, Wei; Shang, Chunfeng; Yang, Wenbin; Bai, Lu; Du, Jiulin; Wang, Kai (2017-09-20). "Rapid whole brain imaging of neural activity in freely behaving larval zebrafish (Danio rerio)". eLife. 6 e28158. doi:10.7554/eLife.28158. PMC 5644961. PMID 28930070.
↑Aimon, Sophie; Katsuki, Takeo; Grosenick, Logan; Broxton, Michael; Deisseroth, Karl; Sejnowski, Terrence; Greenspan, Ralph (2017-09-02). "Fast near-whole brain imaging in adult Drosophila during responses to stimuli and behavior". PLOS Biology. 17 (2) e2006732. bioRxiv 10.1101/033803. doi:10.1371/journal.pbio.2006732. PMC 6395010. PMID 30768592.
↑Grosenick, Logan; Broxton, Michael; Kim, Christina; Liston, Conor; Poole, Ben; Yang, Samuel; Andalman, Aaron; Scharff, Edward; Cohen, Noy; Yizhar, Ofer; Ramakrishnan, Charu; Ganguli, Surya; Suppes, Patrick; Levoy, Marc; Deisseroth, Karl (2017-05-01). "Identification Of Cellular-Activity Dynamics Across Large Tissue Volumes In The Mammalian Brain". bioRxiv 10.1101/132688.
↑"Light Field Microscopy in Neuroimaging".

[:0-1] 1 2 3 4 Levoy, Marc; Ng, Ren; Adams, Andrew; Footer, Matthew; Horowitz, Mark (2006). "Microscopía de campo de luz". ACM SIGGRAPH 2006 Papers on - SIGGRAPH '06 . pp. 924– 934. doi : 10.1145/1179352.1141976 . ISBN 978-1-59593-364-5. S2CID 867959 .

[:1-2] 1 2 Broxton, Michael; Grosenick, Logan; Yang, Samuel; Cohen, Noy; Andalman, Aaron; Deisseroth, Karl; Levoy, Marc (2013-10-21). "Teoría de la óptica ondulatoria y deconvolución 3D para el microscopio de campo de luz" . Optics Express . 21 (21): 25418– 25439. Bibcode : 2013OExpr..2125418B . doi : 10.1364 / OE.21.025418 . ISSN 1094-4087 . PMC 3867103. PMID 24150383 .

[3] Levoy, Marc; Hanrahan, Pat (1996). «Renderizado de campo de luz». Actas de la 23.ª conferencia anual sobre gráficos por computadora y técnicas interactivas . SIGGRAPH '96. págs. 31–42 . doi : 10.1145/237170.237199 . ISBN 978-0-89791-746-9. S2CID 1363510 .

[Ng_2005_735–744-4] 1 2 3 4 Ng, Ren (2005). "Fotografía de cortes de Fourier". Artículos de ACM SIGGRAPH 2005. SIGGRAPH '05. págs. 735–744 . CiteSeerX 10.1.1.461.4454 . doi : 10.1145/1186822.1073256 . ISBN 978-1-4503-7825-3. S2CID 1806641 .

[5] Vaish, V.; Garg, G.; Talvala, E.; Antunez, E.; Wilburn, B.; Horowitz, M.; Levoy, M. (junio de 2005). "Enfoque de apertura sintética mediante una factorización de deformación por cizallamiento de la transformación de visualización". 2005 IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR'05) - Workshops . Vol. 3. p. 129. doi : 10.1109/CVPR.2005.537 . ISBN 978-0-7695-2372-9. S2CID 12143675 .

[6] Swedlow, Jason R.; Sedat, John W.; Agard, David A. (1996). Jansson, Peter A. (ed.). Deconvolución de imágenes y espectros (2.ª ed.). Orlando, FL, EE. UU.: Academic Press, Inc. pp. 284–309 . ISBN 978-0-12-380222-4.

[nava-7] Nava, FP, Marichal-Hernández, JG, & Rodríguez-Ramos, JM (2008, agosto). La transformada discreta de apilamiento focal. En 2008 16th European Signal Processing Conference (pp. 1-5). IEEE.

[8] Gu, Min (2000). Teoría avanzada de imágenes ópticas . Springer Series in Optical Sciences. Vol. 75. Bibcode : 2000aoit.conf.....G . doi : 10.1007/978-3-540-48471-4 . ISBN 978-3-662-14272-1.

[9] Grosenick, Logan; Anderson, Todd; Smith, Stephen (28 de junio de 2009). «Selección elástica de fuentes para imágenes in vivo de conjuntos neuronales». Simposio Internacional IEEE de 2009 sobre Imágenes Biomédicas: De lo Nano a lo Macro . págs. 1263–1266 . doi : 10.1109/ISBI.2009.5193292 . ISBN 978-1-4244-3931-7. S2CID 1914757 .

[Prevedel_727–730-10] 1 2 Prevedel, Robert; Yoon, Young-Gyu; Hoffmann, Maximilian; Pak, Nikita; Wetzstein, Gordon; Kato, Saul; Schrödel, Tina; Raskar, Ramesh; Zimmer, Manuel; Boyden, Edward S.; Vaziri, Alipasha (2014). " Imágenes 3D simultáneas de la actividad neuronal en todo el animal mediante microscopía de campo de luz" . Nature Methods . 11 (7): 727– 730. Bibcode : 2014NatCB..11..727P . doi : 10.1038/nmeth.2964 . PMC 4100252. PMID 24836920 .

[11] Cong, Lin; Wang, Zeguan; Chai, Yuming; Hang, Wei; Shang, Chunfeng; Yang, Wenbin; Bai, Lu; Du, Jiulin; Wang, Kai (2017-09-20). "Rapid whole brain imaging of neural activity in freely behaving larval zebrafish (Danio rerio)". eLife. 6 e28158. doi:10.7554/eLife.28158. PMC 5644961. PMID 28930070.

[12] Aimon, Sophie; Katsuki, Takeo; Grosenick, Logan; Broxton, Michael; Deisseroth, Karl; Sejnowski, Terrence; Greenspan, Ralph (2017-09-02). "Fast near-whole brain imaging in adult Drosophila during responses to stimuli and behavior". PLOS Biology. 17 (2) e2006732. bioRxiv 10.1101/033803. doi:10.1371/journal.pbio.2006732. PMC 6395010. PMID 30768592.

[13] Grosenick, Logan; Broxton, Michael; Kim, Christina; Liston, Conor; Poole, Ben; Yang, Samuel; Andalman, Aaron; Scharff, Edward; Cohen, Noy; Yizhar, Ofer; Ramakrishnan, Charu; Ganguli, Surya; Suppes, Patrick; Levoy, Marc; Deisseroth, Karl (2017-05-01). "Identification Of Cellular-Activity Dynamics Across Large Tissue Volumes In The Mammalian Brain". bioRxiv 10.1101/132688.

[14] "Light Field Microscopy in Neuroimaging".

[ 3 ]

[ 4 ]

[ 5 ]

[ 6 ]

[ 7 ]

[ 8 ]

[ 9 ]

[ 10 ]

[ 11 ]

[ 12 ]

[ 13 ]

[ 14 ]