Anton Stötzer

• Today’s digital cameras use a mosaic of red, green, and blue color filters to capture images in three color channels on a single sensor plane. This thesis investigates the use of convolutional neural networks (CNNs) for demosaicing – the process of reconstructing full-color images from raw mosaic sensor data. While there are existing CNNs for demosaicing raw images from the well-established regular Bayer color filter array (CFA), this thesis focuses on how they perform on alternative non-regular sampling patterns that produce less aliasing artifacts, namely the stochastic Gaussian- and the RandomQuarter sampling pattern (Backes and Fröhlich, 2020). A basic UNet (Ronneberger et al., 2015) and the spatially adaptive SANet (T. Zhang et al., 2022) are implemented in a supervised training pipeline based on the PixelShift200 image dataset (Qian et al., 2021) to investigate their suitability for the irregular demosaicing task. The experiments indicate that the basic UNet encounters difficulties in restoring the missing color values, whereas the spatially adaptive convolutional layers help in processing the irregularly sampled raw images. In addition, this thesis enhances SANet effectiveness by employing an alternative residual branch based on a CFA-normalized Gaussian filter, as well as a tileable modification to the Gaussian CFA pattern. The modified SANet is shown to outperform the conventional dFSR algorithm (Backes & Fröhlich, 2020) in terms of peak signal to noise ratio (PSNR) and structural similarity index measure (SSIM).
• Moderne Digitalkameras nutzen ein Pixel-Mosaik aus roten, grünen und blauen Farbfiltern auf dem Kamerasensor (auch Color-Filter-Array, CFA genannt), um Bilddaten in drei Farbkanälen auf einer einzigen Sensorschicht zu erfassen. In dieser Bachelorarbeit wird der Einsatz von Convolutional-Neural-Networks (CNNs) für das Demosaicing untersucht, also für die Rekonstruktion von Vollfarbbildern aus Rohdaten von Kamerasensoren mit Farbfiltermosaik. Während bereits CNNs für das Demosaicing von regelmäßig gesampleten Rohbildern des Bayer-Sensors existieren, konzentriert sich diese Arbeit darauf, welche CNNs sich für alternative, unregelmäßige Abtastmuster eignen, die weniger Aliasing-Artefakte erzeugen. Konkret werden das stochastische Gauss- und das RandomQuarter-Abtastmuster (Backes & Fröhlich, 2020) untersucht. Ein einfaches UNet (Ronneberger et al., 2015) und das räumlich adaptive SANet (T. Zhang et al., 2022) werden in einer überwachten Trainingspipeline basierend auf dem PixelShift200-Bilddatensatz (Qian et al., 2021) implementiert, um ihre Eignung für die Aufgabe des irregulären Demosaicing zu untersuchen. Die Experimente zeigen, dass das einfache UNet auf Schwierigkeiten bei der Wiederherstellung der fehlenden Farbwerte stößt, während die räumlich adaptiven (spatially-adaptive) Convolution-Layer die Rekonstruktion der unregelmäßig abgetasteten Rohbilder verbessern. Zusätzlich wird in dieser Arbeit die Leistungsfähigkeit des SANets durch einen alternativen Residual-Zweig auf Basis eines CFA-normalisierten Gaussfilters sowie durch eine kachelbare Modifikation des Gauss-CFAs erhöht. Das modifizierte SANet übertrifft den herkömmlichen dFSR-Algorithmus (Backes & Fröhlich, 2020) in Bezug auf Peak-Signal-to-Noise-Ratio (PSNR) und Structural-Similarity-Index-Measure (SSIM).