Wilhelm Burger

Structural object recognition

Structural object recognition is based on the idea that the appearance of objects can be described by visual primitives (e.g., “features” or “tokens”) and the spatial relations between them. In the structural approach, the spatial relations between features are expressed explicitly to improve the specificity of the description. This is why structural descriptions are preferred over evidence-based descriptions. For the purpose of visual object recognition, we must distinguish between two different forms of structural descriptions:

SIFT—Scale-Invariant Local Features

Many real applications require the localization of reference positions in one or more images, for example, for image alignment, removing distortions, object tracking, 3D reconstruction etc. We have seen that corner points can be located quite reliably and independent to orientation. However, typical corner detectors only provide the position and strength of each candidate point but do not provide any information about its characteristic or “identity” that could be used for matching. Another limitation is that most corner detectors only operate at a particular scale or resolution, since they are based on a rigid set of filters.

Skaleninvariante Bildmerkmale (SIFT)

Viele praktische Anwendungen erfordern die Lokalisierung von Referenzpositionen in einem oder mehreren Bildern, beispielsweise zur Korrektur von Verzerrungen, fur das Alignment von Bildern, die Verfolgung von Bildobjekten oder fur die 3D-Rekonstruktion. Wir haben u. a. in Kap. 7 gesehen, dass Eckpunkte in Bildern recht zuverlassig und unabhangig von eventuellen Bilddrehungen bestimmt werden konnen. Allerdings liefern diese Verfahren typischerweise nur die Position und Starke der detektierten Eckpunkte jedoch keine sonstigen Informationen, die fur eine Identifikation und paarweise Zuordnung von Punkten nutzlich waren. Eine weitere Einschrankung ist, dass die meisten Eckpunkt-Detektoren auf eine bestimmte Bildauflosung oder Skalenebene beschrankt sind, da sie in der Regel Filter von fixer Grose verwenden.

Kanten und Konturen

Markante „Ereignisse“ in einem Bild, wie Kanten und Konturen, die durch lokale Veranderungen der Intensitat oder Farbe zustande kommen, sind fur die visuelle Wahrnehmung und Interpretation von Bildern von hochster Bedeutung. Die subjektive „Scharfe“ eines Bilds steht in direktem Zusammenhang mit der Ausgepragtheit der darin enthaltenen Diskontinuitaten und der Deutlichkeit seiner Strukturen. Unser menschliches Auge scheint derart viel Gewicht auf kantenformige Strukturen und Konturen zu legen, dass oft nur einzelne Striche in Karikaturen oder Illustrationen fur die eindeutige Beschreibung der Inhalte genugen. Aus diesem Grund sind Kanten und Konturen auch fur die Bildverarbeitung ein traditionell sehr wichtige Thema. In diesem Kapitel betrachten wir zunachst einfache Methoden zur Lokalisierung von Kanten und anschliesend das verwandte Problem des Scharfens von Bildern.

Kanten in Farbbildern

Kanteninformation ist die Grundlage vieler Anwendungen der der digitalen Bildverarbeitung und in Computer Vision, daher ist die zuverlassige Lokalisierung und Charakterisierung von Kanten eine wichtige Aufgabe. Grundlegende Methoden fur die Kantendetektion in Grauwertbildern wurden bereits in Kap. 6 dargestellt. Farbbilder enthalten bei gleicher Auflosung mehr Information als Grauwertbilder und es erscheint daher nur naturlich anzunehmen, dass Methoden, die zur Kantendetektion explizit auch Farbinformation nutzen, den monochromatischen Verfahren grundsatzlich uberlegen sind. Beispielsweise ist die Detektion einer Kante zwischen zwei Bildregionen mit unterschiedlichem Farbton aber ahnlicher Helligkeit naturgemas schwierig mit einem Kantendetektor, der nur auf lokale Helligkeitsunterschiede reagiert. In diesem Kapitel betrachten wir zunachst die Anwendung „gewohnlicher“ (d. h., monochromatischer) Kantenfilter auf Farbbilder und wenden uns dann Methoden zu, die speziell fur Farbbilder entwickelt wurden.

Einführung in Spektraltechniken

In den folgenden drei Kapiteln geht es um die Darstellung und Analyse von Bildern im Frequenzbereich, basierend auf der Zerlegung von Bildsignalen in so genannte harmonische Funktionen, also Sinus- und Kosinusfunktionen, mithilfe der bekannten Fouriertransformation. Das Thema wird wegen seines etwas mathematischen Charakters oft als schwierig empfunden, weil auch die Anwendbarkeit in der Praxis anfangs nicht offensichtlich ist. Tatsachlich konnen die meisten gangigen Operationen und Methoden der digitalen Bildverarbeitung vollig ausreichend im gewohnten Signal- oder Bildraum dargestellt und verstanden werden, ohne Spektraltechniken uberhaupt zu erwahnen bzw. zu kennen, weshalb das Thema hier (im Vergleich zu ahnlichen Texten) erst relativ spat aufgegriffen wird.

Detektion einfacher Kurven

In Kap. 6 haben wir gezeigt, wie man mithilfe von geeigneten Filtern Kanten finden kann, indem man an jeder Bildposition die Kantenstarke und moglicherweise auch die Orientierung der Kante bestimmt. Der darauf folgende Schritt bestand in der Entscheidung (z.B. durch Anwendung einer Schwellwertoperation auf die Kantenstarke), ob an einer Bildposition ein Kantenpunkt vorliegt oder nicht, mit einem binaren Kantenbild (edge map) als Ergebnis. Das ist eine sehr fruhe Festlegung, denn naturlich kann aus der beschrankten („myopischen“) Sicht eines Kantenfilters nicht zuverlassig ermittelt werden, ob sich ein Punkt tatsachlich auf einer Kante befindet oder nicht.

Auffinden von Eckpunkten

Eckpunkte sind markante strukturelle Ereignisse in einem Bild und daher in einer Reihe von Anwendungen nutzlich, wie z.B. beim Verfolgen von Elementen in aufeinander folgenden Bildern (tracking), bei der Zuordnung von Bildstrukturen in Stereoaufnahmen, als Referenzpunkte zur geometrischen Vermessung, Kalibrierung von Kamerasystemen usw. Eckpunkte sind nicht nur fur uns Menschen auffallig, sondern sind auch aus technischer Sicht „robuste“ Merkmale, die in 3D-Szenen nicht zufallig entstehen und in einem breiten Bereich von Ansichtswinkeln sowie unter unterschiedlichen Beleuchtungsbedingungen relativ zuverlassig zu lokalisieren sind.

Diskrete Kosinustransformation (DCT)

Die Fouriertransformation und die DFT sind fur die Verarbeitung komplexwertiger Signale ausgelegt und erzeugen immer ein komplexwertiges Spektrum, auch wenn das ursprungliche Signal ausschlieslich reelle Werte aufweist. Der Grund dafur ist, dass weder der reelle noch der imaginare Teil des Spektrums allein ausreicht, um das Signal vollstandig darstellen (d. h. rekonstruieren) zu konnen, da die entsprechenden Kosinus- bzw. Sinusfunktionen jeweils fur sich kein vollstandiges System von Basisfunktionen bilden.

Diskrete Fouriertransformation in 2D

Die Fouriertransformation ist naturlich nicht nur fur eindimensionale Signale definiert, sondern fur Funktionen beliebiger Dimension, und somit sind auch zweidimensionale Bilder aus mathematischer Sicht nichts Besonderes.