German Title: Nicht-konvexe und geometrische Methoden für Tomographie und Label Learning

Preview

PDF, English - main document Download (29MB) | Terms of use

Abstract

Data labeling is a fundamental problem of mathematical data analysis in which each data point is assigned exactly one single label (prototype) from a finite predefined set. In this thesis we study two challenging extensions, where either the input data cannot be observed directly or prototypes are not available beforehand.

The main application of the first setting is discrete tomography. We propose several non-convex variational as well as smooth geometric approaches to joint image label assignment and reconstruction from indirect measurements with known prototypes. In particular, we consider spatial regularization of assignments, based on the KL-divergence, which takes into account the smooth geometry of discrete probability distributions endowed with the Fisher-Rao (information) metric, i.e. the assignment manifold. Finally, the geometric point of view leads to a smooth flow evolving on a Riemannian submanifold including the tomographic projection constraints directly into the geometry of assignments. Furthermore we investigate corresponding implicit numerical schemes which amount to solving a sequence of convex problems.

Likewise, for the second setting, when the prototypes are absent, we introduce and study a smooth dynamical system for unsupervised data labeling which evolves by geometric integration on the assignment manifold. Rigorously abstracting from ``data-label'' to ``data-data'' decisions leads to interpretable low-rank data representations, which themselves are parameterized by label assignments. The resulting self-assignment flow simultaneously performs learning of latent prototypes in the very same framework while they are used for inference. Moreover, a single parameter, the scale of regularization in terms of spatial context, drives the entire process. By smooth geodesic interpolation between different normalizations of self-assignment matrices on the positive definite matrix manifold, a one-parameter family of self-assignment flows is defined. Accordingly, the proposed approach can be characterized from different viewpoints such as discrete optimal transport, normalized spectral cuts and combinatorial optimization by completely positive factorizations, each with additional built-in spatial regularization.

Translation of abstract (German)

Datenlabeling ist ein grundlegendes Problem der mathematischen Datenanalyse, bei dem jedem Datenpunkt genau ein einziges Label (Prototyp) aus einer endlichen vordefinierten Menge zugewiesen wird. In dieser Arbeit werden zwei herausfordernde Erweiterungen untersucht, bei denen entweder die Eingabedaten nicht direkt beobachtet werden können oder die Prototypen als Vorwissen nicht verfügbar sind.

Die Hauptanwendung des ersten Szenarios stellt die diskrete Tomographie dar. Es werden mehrere nicht-konvexe variationelle sowie glatte geometrische Ansätze entwickelt, die aus den indirekten Messungen eine Rekonstruktion ermitteln und gleichzeitig der Lösung die bekannten Prototypen zuweisen. Insbesondere wird, basierend auf der KL-Divergenz, eine räumliche Regularisierung von Labelings realisiert, welche die glatte Geometrie der diskreten Wahrscheinlichkeitsverteilungen berücksichtigt, die durch die Fisher-Rao (Informations-) Metrik gegeben ist, der Assignment Mannigfaltigkeit. Schließlich führt die geometrische Sichtweise zu einem glatten Fluss, der sich auf einer Riemannschen Untermannigfaltigkeit entwickelt und die Nebenbedingungen der tomographischen Projektion direkt mit in die Geometrie der Assignments einbezieht. Darüber hinaus werden entsprechende implizite numerische Schemata untersucht, die darauf hinauslaufen eine Folge von konvexen Problemen zu lösen.

Ebenso wird für das zweite Szenario, wenn die Prototypen nicht gegeben sind, ein glattes dynamisches System für unüberwachtes Datenlabeling eingeführt, welches durch geometrische Integration auf der Assignment Mannigfaltigkeit evolviert. Die rigorose Abstraktion von “Daten-Label” zu “Daten-Daten” Entscheidungen führt zu interpretierbaren Datenrepräsentationen mit niedrigen Rang, welche selbst wiederum durch die Assignments parametrisiert sind. Der daraus resultierende Self-Assignment-Fluss lernt latente Prototypen gleichzeitig, während diese als Labels für die Inferenz benutzt werden, im selben Framework. Darüber hinaus bestimmt ein einziger Parameter, die Skala der Regularisierung bezüglich des räumlichen Kontextes, den gesamten Prozess. Durch glatte geodätische Interpolation zwischen verschiedenen Normierungen von Self-Assignment Matrizen auf der positiv definiten Matrix-Mannigfaltigkeit wird eine Einparameter-Familie von Self-Assignment-Flüssen definiert. Dementsprechend kann der vorgeschlagene Ansatz unter verschiedenen Gesichtspunkten wie diskreter optimaler Transport, normalisierte spektrale Schnitte und kombinatorische Optimierung durch vollständig positive Faktorisierungen charakterisiert werden, jeder mit zusätzlich eingebauter räumlicher Regularisierung.