Articulo de referencia

Sensor de imagen binaria sobremuestreada

Un sensor de imagen binario sobremuestreado es un sensor de imagen con capacidades de respuesta no lineal que recuerdan a la película fotográfica tradicional . [ 1 ] [ 2 ] Cada ...

Un sensor de imagen binario sobremuestreado es un sensor de imagen con capacidades de respuesta no lineal que recuerdan a la película fotográfica tradicional . [ 1 ] [ 2 ] Cada píxel del sensor tiene una respuesta binaria, que proporciona una medición cuantificada de un bit de la intensidad de la luz local. La función de respuesta del sensor de imagen es no lineal y similar a una función logarítmica, lo que lo hace adecuado para imágenes de alto rango dinámico . [ 1 ]

Principio de funcionamiento

Antes de la llegada de los sensores de imagen digitales , la fotografía, durante la mayor parte de su historia, utilizaba película para registrar la información lumínica. En el corazón de cada película fotográfica se encuentra una gran cantidad de granos fotosensibles de cristales de haluro de plata . [ 3 ] Durante la exposición, cada grano de tamaño micrométrico tiene un destino binario: o bien es alcanzado por fotones incidentes y se "expone", o bien no es alcanzado por el bombardeo de fotones y permanece "sin exponer". En el posterior proceso de revelado de la película, los granos expuestos, debido a sus propiedades químicas alteradas, se convierten en plata metálica, contribuyendo a la formación de manchas opacas en la película; los granos sin exponer se eliminan mediante un baño químico, dejando las regiones transparentes en la película. Así, en esencia, la película fotográfica es un medio de imagen binario, que utiliza densidades locales de granos de plata opacos para codificar la información de intensidad lumínica original. Gracias al pequeño tamaño y la gran cantidad de estos granos, apenas se percibe esta naturaleza cuantizada de la película al observarla a distancia, observándose únicamente un tono gris continuo.

El sensor de imagen binario sobremuestreado recuerda a la película fotográfica. Cada píxel del sensor tiene una respuesta binaria, que proporciona una medición cuantificada de un bit de la intensidad de la luz local. Al inicio del período de exposición, todos los píxeles se establecen en 0. Un píxel se establece en 1 si el número de fotones que lo alcanzan durante la exposición es al menos igual a un umbral q dado . Una forma de construir dichos sensores binarios es modificar la tecnología estándar de chips de memoria, donde cada celda de bit de memoria está diseñada para ser sensible a la luz visible. [ 4 ] Con la tecnología CMOS actual, el nivel de integración de dichos sistemas puede superar los 10 9 ~10 10 (es decir, de 1 giga a 10 giga) píxeles por chip. En este caso, los tamaños de píxel correspondientes (alrededor de 50 ~ nm [ 5 ] ) están muy por debajo del límite de difracción de la luz, y por lo tanto el sensor de imagen está sobremuestreando la resolución óptica del campo de luz. Intuitivamente, se puede aprovechar esta redundancia espacial para compensar la pérdida de información debida a las cuantizaciones de un bit, como es clásico en los convertidores delta-sigma de sobremuestreo . [ 6 ]

La idea de construir un sensor binario que emule el proceso de la película fotográfica fue concebida por primera vez por Fossum , [ 7 ] quien acuñó el nombre de sensor de película digital (ahora denominado sensor de imagen cuántica [ 8 ] ). La motivación original surgió principalmente de una necesidad técnica. La miniaturización de los sistemas de cámaras exige una reducción continua del tamaño de los píxeles. Sin embargo, en cierto punto, la limitada capacidad de pozo completo (es decir, el máximo de fotones-electrones que un píxel puede contener) de los píxeles pequeños se convierte en un cuello de botella, lo que produce relaciones señal-ruido (SNR) muy bajas y rangos dinámicos deficientes . En contraste, un sensor binario cuyos píxeles necesitan detectar solo unos pocos fotones-electrones alrededor de un pequeño umbral q tiene muchos menos requisitos de capacidades de pozo completo, lo que permite reducir aún más el tamaño de los píxeles.

Modelo de imagen

Lente

Figura 1. Modelo de imagen. Arquitectura simplificada de un sistema de imagen limitado por difracción. Campo de luz incidente.λ0(incógnita){\displaystyle \lambda _{0}(x)}pasa a través de una lente óptica, que actúa como un sistema lineal con una función de dispersión puntual (PSF) limitada por difracción. El resultado es un campo de luz suavizado.λ(incógnita){\displaystyle \lambda (x)}, que posteriormente es capturada por el sensor de imagen.

Consideremos un modelo de cámara simplificado que se muestra en la Fig. 1.λ0(incógnita){\displaystyle \lambda _{0}(x)}es el campo de intensidad de luz incidente. Suponiendo que las intensidades de luz permanecen constantes durante un breve período de exposición, el campo puede modelarse como una función únicamente de la variable espacial.incógnita{\displaystyle x}Después de pasar por el sistema óptico, el campo de luz originalλ0(incógnita){\displaystyle \lambda _{0}(x)}La luz es filtrada por la lente, que actúa como un sistema lineal con una respuesta impulsional dada . Debido a imperfecciones (por ejemplo, aberraciones) en la lente, la respuesta impulsional, también conocida como función de dispersión puntual (PSF) del sistema óptico, no puede ser una delta de Dirac, lo que impone un límite a la resolución del campo de luz observable. Sin embargo, un límite físico más fundamental se debe a la difracción de la luz . [ 9 ] Como resultado, incluso si la lente es ideal, la PSF sigue siendo inevitablemente un pequeño punto borroso. En óptica, dicho punto limitado por difracción se denomina a menudo disco de Airy , [ 9 ] cuyo radioRa{\displaystyle R_{a}}se puede calcular como

Ra=1.22wF,{\displaystyle R_{a}=1.22\,wf,}

dóndew{\displaystyle w}es la longitud de onda de la luz yF{\displaystyle f}es el número F del sistema óptico. Debido a la naturaleza de paso bajo (suavizado) de la PSF, el resultadoλ(incógnita){\displaystyle \lambda (x)}tiene una resolución espacial finita, es decir, tiene un número finito de grados de libertad por unidad de espacio.

Sensor

Fig. 2 Modelo del sensor de imagen binario. Los píxeles (mostrados como "cubos") recogen fotones, cuyo número se compara con un umbral de cuantificación q . En la figura, ilustramos el caso en que q = 2. Las salidas de los píxeles son binarias:bmetro=1{\displaystyle b_{m}=1}(es decir, píxeles blancos) si el píxel recibe al menos dos fotones; de lo contrario,bmetro=0{\displaystyle b_{m}=0}(es decir, píxeles grises).

La figura 2 ilustra el modelo de sensor binario.smetro{\displaystyle s_{m}}denotan los valores de exposición acumulados por los píxeles del sensor. Dependiendo de los valores locales desmetro{\displaystyle s_{m}}Cada píxel (representado como "cubos" en la figura) recoge un número diferente de fotones que inciden en su superficie.ymetro{\displaystyle y_{m}}es el número de fotones que inciden sobre la superficie de lametro{\displaystyle m}el píxel durante un período de exposición . La relación entresmetro{\displaystyle s_{m}}y el recuento de fotonesymetro{\displaystyle y_{m}}es estocástico. Más específicamente,ymetro{\displaystyle y_{m}}se pueden modelar como realizaciones de una variable aleatoria de Poisson , cuyo parámetro de intensidad es igual asmetro{\displaystyle s_{m}},

Como dispositivo fotosensible , cada píxel del sensor de imagen convierte fotones en señales eléctricas, cuya amplitud es proporcional al número de fotones que inciden sobre ese píxel. En un diseño de sensor convencional, las señales eléctricas analógicas se cuantifican mediante un convertidor A/D en 8 a 14 bits (generalmente cuantos más bits, mejor). Pero en el sensor binario, el cuantificador es de 1 bit. En la Fig. 2,bmetro{\displaystyle b_{m}}es la salida cuantificada de lametro{\displaystyle m}píxel. Dado que el recuento de fotonesymetro{\displaystyle y_{m}}se extraen de variables aleatorias, al igual que la salida binaria del sensor.bmetro{\displaystyle b_{m}}.

Sobremuestreo espacial y temporal

Si se permite el sobremuestreo temporal, es decir, tomar múltiples fotogramas consecutivos e independientes sin cambiar el tiempo total de exposición.τ{\displaystyle \tau }El rendimiento del sensor binario es equivalente al del sensor con el mismo número de sobremuestreo espacial bajo ciertas condiciones. [ 2 ] Esto significa que se puede encontrar un equilibrio entre el sobremuestreo espacial y el sobremuestreo temporal. Esto es muy importante, ya que la tecnología suele imponer limitaciones en el tamaño de los píxeles y el tiempo de exposición.

Ventajas sobre los sensores tradicionales

Debido a la limitada capacidad de llenado completo de los píxeles de imagen convencionales, estos se saturan cuando la intensidad de la luz es demasiado alta. Por esta razón, el rango dinámico del píxel es bajo. En el sensor de imagen binaria sobremuestreada, el rango dinámico no se define para un solo píxel, sino para un grupo de píxeles, lo que resulta en un rango dinámico alto. [ 2 ]

Reconstrucción

Fig. 4 Reconstrucción de una imagen a partir de las mediciones binarias tomadas por un sensor SPAD [ 10 ] , con una resolución espacial de 32×32 píxeles. La imagen final (esquina inferior derecha) se obtiene incorporando 4096 fotogramas consecutivos, 11 de los cuales se muestran en la figura.

Uno de los desafíos más importantes con el uso de un sensor de imagen binario sobremuestreado es la reconstrucción de la intensidad de la luz.λ(incógnita){\displaystyle \lambda (x)}a partir de la medición binariabmetro{\displaystyle b_{m}}La estimación de máxima verosimilitud puede utilizarse para resolver este problema. [ 2 ] La figura 4 muestra los resultados de la reconstrucción de la intensidad de la luz a partir de 4096 imágenes binarias tomadas por una cámara de diodos de avalancha de fotón único (SPAD). [ 10 ] Se puede lograr una mejor calidad de reconstrucción con menos mediciones temporales y una implementación más rápida y compatible con el hardware mediante algoritmos más sofisticados. [ 11 ]

Referencias

  1. 1 2 L. Sbaiz, F. Yang, E. Charbon, S. Süsstrunk y M. Vetterli, La cámara Gigavision, Actas de la Conferencia Internacional IEEE sobre Acústica, Habla y Procesamiento de Señales (ICASSP) , págs. 1093 - 1096, 2009.
  2. 1 2 3 4 F. Yang, YM Lu, L. Saibz y M. Vetterli, Bits a partir de fotones: Adquisición de imágenes sobremuestreadas mediante estadísticas binarias de Poisson, IEEE Transactions on Image Processing , vol. 21, número 4, págs. 1421-1436, 2012.
  3. TH James, La teoría del proceso fotográfico, 4.ª ed., Nueva York: Macmillan Publishing Co., Inc., 1977.
  4. SA Ciarcia, Un chip de RAM dinámica de 64K-bits es el sensor visual en esta cámara de imágenes digitales, Byte Magazine , pp.21-31, septiembre de 1983.
  5. YK Park, SH Lee, JW Lee et al., Tecnología DRAM de 56 nm totalmente integrada para DRAM de 1 Gb, en Simposio IEEE sobre tecnología VLSI , Kioto, Japón, junio de 2007.
  6. JC Candy y GC Temes, Oversamling Delta-Sigma Data Converters-Theory, Design and Simulation. Nueva York, NY: IEEE Press, 1992.
  7. ER Fossum , ¿Qué hacer con los píxeles sublímite de difracción (SDL)? - Una propuesta para un sensor de película digital (DFS) de gigapíxeles, en IEEE Workshop on Charge-Coupled Devices and Advanced Image Sensors , Nagano, Japón, junio de 2005, págs. 214-217.
  8. ER Fossum, J. Ma, S. Masoodian, L. Anzagira y R. Zizza, El sensor de imagen cuántico: cada fotón cuenta , MDPI Sensors, vol. 16, n.º 8, 1260; agosto de 2016. doi : 10.3390/s16081260 (Número especial sobre sensores de imagen de conteo de fotones)
  9. 1 2 M. Born y E. Wolf, Principios de óptica , 7.ª ed. Cambridge: Cambridge University Press, 1999
  10. 1 2 L. Carrara, C. Niclass, N. Scheidegger, H. Shea y E. Charbon, Un sensor de imagen CMOS tolerante a la radiación gamma, de rayos X y de protones de alta energía para aplicaciones espaciales, en IEEE International Solid-State Circuits Conference , febrero de 2009, págs. 40-41.
  11. Litany, Or; Remez, Tal; Bronstein, Alex (2015-12-06). "Reconstrucción de imágenes a partir de píxeles binarios densos". Procesamiento de señales con representaciones estructuradas dispersas adaptativas (SPARS 2015) . arXiv : 1512.01774 . Bibcode : 2015arXiv151201774L .