|
Real-Time Algorithms for High Dynamic Range Video
Guthier, Benjamin
![[img]](https://madoc.bib.uni-mannheim.de/style/images/fileicons/application_pdf.png)  Vorschau |
|
PDF (Dissertation: Real-Time Algorithms for High Dynamic Range Video - Benjamin Guthier)
thesis.pdf
- Veröffentlichte Version
Download (19MB)
|
|
URL:
|
https://ub-madoc.bib.uni-mannheim.de/31870
|
|
URN:
|
urn:nbn:de:bsz:180-madoc-318705
|
|
Dokumenttyp:
|
Dissertation
|
|
Erscheinungsjahr:
|
2012
|
|
Ort der Veröffentlichung:
|
Mannheim, Deutschland
|
|
Verlag:
|
Universität Mannheim
|
|
Hochschule:
|
Universität Mannheim
|
|
Gutachter:
|
Effelsberg,Wolfgang
|
|
Datum der mündl. Prüfung:
|
27 Juni 2012
|
|
Sprache der Veröffentlichung:
|
Englisch
|
|
Einrichtung:
|
Fakultät für Wirtschaftsinformatik und Wirtschaftsmathematik > Praktische Informatik IV (Effelsberg 1989-2017)
|
|
Fachgebiet:
|
004 Informatik
|
|
Normierte Schlagwörter (SWD):
|
Bildverarbeitung , Registrierung <Bildverarbeitung> , High Dynamic Range
|
|
Freie Schlagwörter (Englisch):
|
Image Processing , Image Registration , High Dynamic Range
|
|
Abstract:
|
A recurring problem in capturing video is the scene having a range of brightness values that exceeds the capabilities of the capturing device.
An example would be a video camera in a bright outside area, directed at the entrance of a building.
Because of the potentially big brightness difference, it may not be possible to capture details of the inside of the building and the outside simultaneously using just one shutter speed setting.
This results in under- and overexposed pixels in the video footage.
The approach we follow in this thesis to overcome this problem is temporal exposure bracketing, i.e., using a set of images captured in quick sequence at different shutter settings.
Each image then captures one facet of the scene's brightness range.
When fused together, a high dynamic range (HDR) video frame is created that reveals details in dark and bright regions simultaneously.
The process of creating a frame in an HDR video can be thought of as a pipeline where the output of each step is the input to the subsequent one.
It begins by capturing a set of regular images using varying shutter speeds.
Next, the images are aligned with respect to each other to compensate for camera and scene motion during capture.
The aligned images are then merged together to create a single HDR frame containing accurate brightness values of the entire scene.
As a last step, the HDR frame is tone mapped in order to be displayable on a regular screen with a lower dynamic range.
This thesis covers algorithms for these steps that allow the creation of HDR video in real-time.
When creating videos instead of still images, the focus lies on high capturing and processing speed and on assuring temporal consistency between the video frames.
In order to achieve this goal, we take advantage of the knowledge gained from the processing of previous frames in the video.
This work addresses the following aspects in particular.
The image size parameters for the set of base images are chosen such that only as little image data as possible is captured.
We make use of the fact that it is not always necessary to capture full size images when only small portions of the scene require HDR.
Avoiding redundancy in the image material is an obvious approach to reducing the overall time taken to generate a frame.
With the aid of the previous frames, we calculate brightness statistics of the scene.
The exposure values are chosen in a way, such that frequently occurring brightness values are well-exposed in at least one of the images in the sequence.
The base images from which the HDR frame is created are captured in quick succession.
The effects of intermediate camera motion are thus less intense than in the still image case, and a comparably simpler camera motion model can be used.
At the same time, however, there is much less time available to estimate motion.
For this reason, we use a fast heuristic that makes use of the motion information obtained in previous frames.
It is robust to the large brightness difference between the images of an exposure sequence.
The range of luminance values of an HDR frame must be tone mapped to the displayable range of the output device.
Most available tone mapping operators are designed for still images and scale the dynamic range of each frame independently.
In situations where the scene's brightness statistics change quickly, these operators produce visible image flicker.
We have developed an algorithm that detects such situations in an HDR video.
Based on this detection, a temporal stability criterion for the tone mapping parameters then prevents image flicker.
All methods for capture, creation and display of HDR video introduced in this work have been fully implemented, tested and integrated into a running HDR video system.
The algorithms were analyzed for parallelizability and, if applicable, adjusted and implemented on a high-performance graphics chip.
|
|
Übersetzung des Abstracts:
|
Wenn eine Szene stärkere Helligkeitsunterschiede aufweist als eine Kamera aufzeichnen kann, führt dies oft zu Problemen bei der Aufnahme.
Ein typisches Beispiel ist eine Videokamera, die im hellen Bereich vor einem Gebäude aufgestellt und auf dessen Eingang gerichtet wird.
Aufgrund der potentiell großen Helligkeitsunterschiede kann es unmöglich sein, Details aus dem Inneren und dem Äußeren des Gebäudes gleichzeitig unter Verwendung von nur einer Belichtungszeit zu erfassen.
Dies führt zu unter- und überbelichteten Pixeln im Videomaterial.
Zur Lösung dieses Problems wird in der vorliegenden Arbeit das so genannte ``Temporal Exposure Bracketing'' verwendet.
Dabei wird eine Serie von Bildern mit unterschiedlichen Belichtungszeiten in schneller Folge aufgenommen.
Jedes einzelne Bild enthält dann einen Teil der gesamten Helligkeitsspanne der Szene.
Durch Verschmelzen der Bildserie entsteht ein High-Dynamic-Range-Bild (HDR-Bild), in dem sowohl Details der dunklen als auch der hellen Bereiche gleichzeitig zu erkennen sind.
Schnelles, wiederholtes Aufnehmen solcher HDR-Bilder führt dann zu einem HDR-Video.
Der Ablauf zur Erzeugung eines Einzelbildes in einem HDR-Video entspricht einer Pipeline, bei der die Ausgabe jedes Teilschritts die Eingabe des nachfolgenden darstellt.
Die Pipeline beginnt mit der Aufnahme einer Serie von gewöhnlichen Bildern unter variierender Belichtungszeit.
Als nächstes werden die Bilder aufeinander ausgerichtet, um zwischenzeitliche Bewegung der Kamera und der Szene auszugleichen.
Die ausgerichteten Bilder werden dann verschmolzen, wodurch ein HDR-Einzelbild entsteht, das genaue Helligkeitswerte der gesamten Szene enthält.
Zum Schluss wird ein Tone-Mapping-Operator auf das HDR-Bild angewendet, um es auf einem Bildschirm mit niedrigerer Dynamic Range anzeigen zu können.
In dieser Arbeit werden Algorithmen für die genannten Teilschritte vorgestellt, die es ermöglichen, ein HDR-Video in Echtzeit zu erzeugen.
Im Gegensatz zur Erzeugung von Standbildern, liegt bei der Erzeugung von HDR-Videos der Schwerpunkt auf einer hohen Aufnahme- und Verarbeitungsgeschwindigkeit.
Außerdem muss zeitliche Konsistenz zwischen den Videobildern gewährleistet werden.
Um diese Ziele zu erreichen, wird das Wissen der vorangegangenen Videobilder genutzt.
Die Arbeit widmet sich den im Folgenden beschriebenen Aspekten.
Die Parameter, die den aufzunehmenden Bildbereich spezifizieren, werden so gewählt, dass so wenig zusätzliches Bildmaterial wie möglich aufgenommen werden muss.
Dabei wird von der Tatsache Gebrauch gemacht, dass nicht immer komplette Bilder benötigt werden, wenn nur ein kleiner Teil der Szene schlecht belichtet ist.
Redundanz im Bildmaterial zu vermeiden ist ein naheliegender Ansatz zur Reduzierung der zur HDR-Bilderzeugung benötigten Zeit.
Auf Basis der vorherigen Videobilder wird die Helligkeitsverteilung der Szene analysiert.
Die Belichtungszeiten für die nächste aufzunehmende Bildserie werden so gewählt, dass häufig auftretende Helligkeitswerte in mindestens einem Bild der Serie gut belichtet werden.
Die Belichtungsreihe, aus der das HDR-Videobild erstellt wird, wird in schneller Folge aufgenommen.
Die durch zwischenzeitliche Kamerabewegung entstehende Verschiebung ist deshalb weniger stark ausgeprägt als dies bei HDR-Standbildern der Fall ist.
Es genügt daher, ein vergleichsweise einfaches Bewegungsmodell für die Kamera zu verwenden.
Gleichzeitig steht jedoch weniger Zeit für die Bewegungsschätzung zur Verfügung.
Aus diesem Grund wird eine schnelle Heuristik verwendet, die sich der Bewegungsinformation aus vorangegangenen Videobildern bedient.
Sie ist robust gegenüber den starken Helligkeitsunterschieden zwischen den Bildern einer Belichtungsreihe.
Die hohe Spanne an Helligkeitswerten, die in einem HDR-Bild enthalten sind, muss durch Tone Mapping auf den darstellbaren Bereich eines Ausgabegerätes abgebildet werden.
Die meisten existierenden Tone-Mapping-Operatoren wurden für Standbilder konzipiert und nehmen diese Abbildung für jedes Videobild einzeln vor.
In Situationen, in denen sich die Helligkeitsverhältnisse der Szene rapide ändern, kann durch Verwendung von Standbildoperatoren ein Bildflackern entstehen.
Im Rahmen dieser Arbeit wurde ein Verfahren entwickelt, das solche Situationen in einem HDR-Video erkennen kann.
Ein zeitliches Stabilitätskriterium wird verwendet, um Flackern im Video zu vermeiden.
Alle Verfahren zur Aufnahme, Erzeugung und Anzeige von HDR-Videos, die in dieser Arbeit vorgestellt werden, wurden vollständig implementiert, getestet und zu einem lauffähigen HDR-Video-System integriert.
Die Algorithmen wurden hinsichtlich Parallelisierbarkeit untersucht und, falls zutreffend, angepasst und für eine leistungsfähige Grafikkarte implementiert.
(Deutsch)
|
 | Das Dokument wird vom Publikationsserver der Universitätsbibliothek Mannheim bereitgestellt. |
 Suche Autoren in
Sie haben einen Fehler gefunden? Teilen Sie uns Ihren Korrekturwunsch bitte hier mit: E-Mail
Actions (login required)
 |
Eintrag anzeigen |
|
