Preview

PDF, English - main document Download (35MB) | Terms of use

Abstract

Neuroscientists have been developing new electron microscopy imaging techniques and generating large volumes of data to reconstruct the complete neural wiring diagram of an organism's central nervous system. The sheer size of these volumes makes manual analysis infeasible. A fundamental step towards this goal is the automated segmentation of neural tissue images. This thesis presents new efficient deep learning methods for image instance segmentation and their applications to neuron segmentation.

Related work on instance segmentation focuses on training an accurate edge detector (represented by a deep learning model) to predict transitions between different object instances in an image. In this thesis, we propose novel graph partitioning algorithms that can efficiently process these edge predictions and produce an instance segmentation. We specifically focus on partitioning algorithms for signed graphs with both positive and negative edge weights. By using signed graphs, the partitioning algorithm can find a previously unspecified number of instances without requiring the user to manually specify additional parameters (e.g., a tunable threshold).

In this thesis, we introduce a simple and efficient graph partitioning algorithm, the Mutex Watershed, and prove its relation to the NP-hard multicut/correlation clustering optimization problem. We then propose a generalized framework for agglomerative graph clustering algorithms, called GASP, and prove that the Mutex Watershed is one of the algorithms covered by it. This unifying framework allows us to conveniently study both theoretical and empirical properties of the algorithms it describes. When combined with the predictions of a deep neural network, some of the algorithms in the framework constitute a segmentation pipeline that achieves state-of-the-art accuracy on the CREMI neuron segmentation challenge without requiring to tune domain-specific hyper-parameters.

Finally, this thesis proposes a new bottom-up instance segmentation method for large-scale volumetric images. The approach predicts single-instance segmentation masks across the entire image, one for each pixel, in a sliding window style. All masks are decoded from a low dimensional latent representation, which results in a memory-efficient pipeline. The method achieves competitive results on the CREMI neuron segmentation challenge and is considerably robust to noise due to prioritizing predictions with the highest consensus across overlapping masks.

Translation of abstract (German)

Neue Elektronenmikroskopiemethoden erlauben es Neurowissenschaftlern riesige Datenvolumen zu akquirieren, um das neuronale Verknüfungsmuster des zentralen Nervensystems vollständig zu rekonstruieren. Aufgrund der schieren Größe dieser Datensätze ist eine manuelle Analyse kaum möglich. Deswegen sind automatisierte Segmentierungsmethoden von Gehirngewebebildern unerlässlich. Diese Doktorarbeit entwickelt neue effiziente Deep Learning gestützte Instanzsegementierungsmethoden und deren Anwendung auf Neuronengewebebilder. Bisherige Instanzsegmentierungsansätze konzentrieren sich auf die Entwicklung genauer Kantendetektoren (meist in der Form eines tiefen neuronalen Netzes), um Grenzen zwischen den verschiedenen Objektinstanzen eines Bilds zu bestimmen. Darauf aufbauend schlagen wir in dieser Arbeit graphenbasierte Partitionsalgorithmen vor, welche die prognostizierten Objektgrenzen nutzen, um Bildinstanzen zu bestimmen. Insbesondere betrachten wir Partitionierungsalgorithmen für Graphen mit sowohl positiven als auch negativen Kantengewichten. In solchen Graphen können Partitionierungsalgorithmen eine zuvor nicht spezifizierte Anzahl von Objektinstanzen finden, ohne auf händisch angepasste Parameter, zum Beispiel Schwellenwerte, zurückzugreifen.

In dieser Arbeit führen wir den einfachen und effizienten Graphpartitionierungsalgorithmus Mutex Watershed ein und zeigen seine Verbindung zum NP-schweren Multicut / Korrelationsclustering Optimierungsproblem. Anschließend entwickeln wir eine Systematik von agglomerativen Graphclusteringsalgorithmen, GASP, und ordnen den Mutex Watershed in diese Systematik ein. Die GASP Systematik vereinfacht unsere Analyse der theoretischen und praktischen Eigenschaften der beschriebenen Algorithmen. Kombiniert mit den eingangs erwähnten Kantenvorhersagen eines tiefen neuronalen Netzes, gehören einige der beschriebenen Algorithmen zu den besten Beiträgen im CREMI Neuronensegementierungswettbewerb, ohne aufwendige Optimierung von anwendungsspezifischen Hyperparametern zu benötigen.

Weiterhin schlagen wir in dieser Arbeit eine neue Instanzsegmentierungsmethode für große dreidimensionale Bilddaten vor. Bei diesem Ansatz werden Instanzen von unten nach oben bestimmt, indem für jeden Voxel basierend auf dessen Umgebung eine Maske der ihn enthaltenden Instanz vorhergesagt wird. Diese Masken werden aus einer niedrigdimensionalen Darstellung dekodiert, sodass der Speicherbedarf gering gehalten wird. Auch diese Methode produziert kompetitive Ergebnisse im CREMI Neuronensegementierungswettbewerb. Sie ist außerdem besonders widerstandsfähig gegenüber Bildstörungen, da die vorhergesagten Instanzen aufgrund von hoher Übereinstimmung zwischen den zahlreichen Instanzmasken, die sich in einem Voxel überlappen, ausgewählt werden.