Preview

PDF, English - main document Download (6MB) | Terms of use

Abstract

The image labeling problem refers to the task of assigning to each pixel a single element from a finite predefined set of labels. In classical approaches the labeling task is formulated as a minimization problem of specifically structured objective functions. Assignment flows for contextual image labeling are a recently proposed alternative formulation via spatially coupled replicator equations. In this work, the classical and dynamical viewpoint of image labeling are combined into a variational formulation. This is accomplished by following the induced Riemannian gradient descent flow on an elementary statistical manifold with respect to the underlying information geometry. Convergence and stability behavior of this approach are investigated using the log-barrier method. A novel parameterization of the assignment flow by its dominant component is derived, revealing a Riemannian gradient flow structure that clearly identifies the two governing processes of the flow: spatial regularization of assignments and gradual enforcement of unambiguous label decisions. Also, a continuous-domain formulation of the corresponding potential is presented and well-posedness of the related optimization problem is established. Furthermore, an alternative smooth variational approach to maximum a-posteriori inference based on discrete graphical models is derived by utilizing local Wasserstein distances. Following the resulting Riemannian gradient flow leads to an inference process which always satisfies the local marginalization constraints and incorporates a smooth rounding mechanism towards unambiguous assignments.

Translation of abstract (German)

Das Kennzeichnungsproblem von Bildern bezeichnet die Aufgabe, jedem Pixel eines Bildes genau ein Element einer vordefinierten Menge an Kennzeichnungen zuzuweisen. Klassische Ansätze dieses Kennzeichnungsproblems sind als Minimierungsprobleme spe\-zi\-ell strukturierter Funktionen formuliert. Zuweisungsflüsse für kontextbasiertes Kenn\-zeich\-nen von Bildern sind eine neuartige, alternative dynamische For\-mu\-lie\-rung durch räumlich gekoppelte Replikatorgleichungen. In dieser Arbeit werden die klassische und dynamische Sichtweise in einer variationellen Formulierung kombiniert. Dies wird dadurch erreicht, dass das System dem induzierten Riemannschen Gradientenfluss auf einer elementaren statistischen Mannigfaltikeit bezüglich der Informationsgeometrie folgt. Konvergenz und Stabilität dieses Ansatzes werden mithilfe der lo\-ga\-rith\-mi\-schen Barrierefunktion untersucht. Eine neue Parametrisierung des Zuweisungsflusses durch seine dominante Komponente deckt die enthaltene Struktur eines Riemannschen Gradientenfluss auf, wodurch die beiden beherrschenden Prozesse des Flusses identifiziert werden: räumliche Regularisierung von Zuweisungen und allmähliches Erzwingen eindeutiger Entscheidungen. Des Weiteren wird eine räumlich kontinuierliche Formulierung des zugehörigen Potenzials vorgestellt und nachgewiesen, dass das entsprechende Optimierungsproblem gut gestellt ist. Darüber hinaus wird ein alternativer variationeller Ansatz für Maximum-a-posteriori Inferenz hergeleitet, basierend auf diskreten graphischen Mo\-del\-len unter Verwendung lokaler Wassersteindistanzen. Im resultierenden In\-fe\-renz\-pro\-zess, basierend auf dem Riemannschen Gradientenfluss, sind die lokalen Mar\-gi\-na\-li\-sie\-rungs\-be\-din\-gun\-gen immer erfüllt und eindeutige Entscheidungen werden asymptotisch erreicht.