Preview

PDF, English - main document Download (27MB) | Terms of use

Abstract

High-content microscopy led to many advances in biology and medicine. This fast emerging technology is transforming cell biology into a big data driven science. Computer vision methods are used to automate the analysis of microscopy image data. In recent years, deep learning became popular and had major success in computer vision. Most of the available methods are developed to process natural images. Compared to natural images, microscopy images pose domain specific challenges such as small training datasets, clustered objects, and class imbalance.

In this thesis, new deep learning methods for object detection and cell segmentation in microscopy images are introduced. For particle detection in fluorescence microscopy images, a deep learning method based on a domain-adapted Deconvolution Network is presented. In addition, a method for mitotic cell detection in heterogeneous histopathology images is proposed, which combines a deep residual network with Hough voting. The method is used for grading of whole-slide histology images of breast carcinoma. Moreover, a method for both particle detection and cell detection based on object centroids is introduced, which is trainable end-to-end. It comprises a novel Centroid Proposal Network, a layer for ensembling detection hypotheses over image scales and anchors, an anchor regularization scheme which favours prior anchors over regressed locations, and an improved algorithm for Non-Maximum Suppression. Furthermore, a novel loss function based on Normalized Mutual Information is proposed which can cope with strong class imbalance and is derived within a Bayesian framework.

For cell segmentation, a deep neural network with increased receptive field to capture rich semantic information is introduced. Moreover, a deep neural network which combines both paradigms of multi-scale feature aggregation of Convolutional Neural Networks and iterative refinement of Recurrent Neural Networks is proposed. To increase the robustness of the training and improve segmentation, a novel focal loss function is presented.

In addition, a framework for black-box hyperparameter optimization for biomedical image analysis pipelines is proposed. The framework has a modular architecture that separates hyperparameter sampling and hyperparameter optimization. A visualization of the loss function based on infimum projections is suggested to obtain further insights into the optimization problem. Also, a transfer learning approach is presented, which uses only one color channel for pre-training and performs fine-tuning on more color channels. Furthermore, an approach for unsupervised domain adaptation for histopathological slides is presented.

Finally, Galaxy Image Analysis is presented, a platform for web-based microscopy image analysis. Galaxy Image Analysis workflows for cell segmentation in cell cultures, particle detection in mice brain tissue, and MALDI/H&E image registration have been developed.

The proposed methods were applied to challenging synthetic as well as real microscopy image data from various microscopy modalities. It turned out that the proposed methods yield state-of-the-art or improved results. The methods were benchmarked in international image analysis challenges and used in various cooperation projects with biomedical researchers.

Translation of abstract (German)

High-Content Mikroskopie führte zu vielen Fortschritten in der Biologie und Medizin. Diese Technologie hat die Zellbiologie in eine durch große Daten getriebene Wissenschaft transformiert. Computergestützte Bildanalyse wird genutzt, um mikroskopische Bilddaten automatisiert auszuwerten. In den letzten Jahren ist Deep Learning durch die Erfolge in der computergestützten Bildanalyse populär geworden. Die meisten eingesetzten Methoden wurden für die Anwendung an Bildern von natürlichen Szenen entwickelt. Im Vergleich dazu besitzen mikroskopische Bilddaten domänenspezifische Herausforderungen wie wenig Trainingsdaten, hohe Objektdichte und Klassenungleichgewicht.

In dieser Arbeit werden neue Deep Learning Methoden für Objekterkennung und Zellsegmentierung in Mikroskopiebildern vorgestellt. Es wurde eine Methode für Partikeldetektion in Fluoreszenzmikroskopiebildern auf Basis eines für diese Anwendung optimierten Deconvolution Network entwickelt. Weiterhin wurde eine Methode für die Detektion von mitotischen Zellen in heterogenen histopathologischen Bildern entwickelt, welche ein Deep Residual Network mit Hough Voting kombiniert. Die Methode wird für das Grading von Whole-Slide Histologiebildern genutzt. Darüber hinaus wurde eine Methode für sowohl Partikeldetektion als auch Zelldetektion basierend auf Objektzentroiden entwickelt, welche end-to-end trainiert werden kann. Die Methode umfasst ein Centroid Proposal Network, ein Layer für die Aggregation von Detektionshypothesen über alle Bildskalen und Anker, sowie eine Methode zur Regularisierung, die a-priori Anker gegenüber vorhergesagten Verschiebungen bevorzugt, und einen verbesserten Algorithmus für Non-Maximum Suppression. Eine neue Loss-Funktion basierend auf normalisierter Mutual Information wird vorgestellt, die mit starkem Klassenungleichgewicht umgehen kann.

Für die Zellsegmentierung wird ein Neuronales Netz mit vergrößertem rezeptiven Feld vorgestellt, um mehr semantische Informationen zu modellieren. Darüber hinaus wird ein Neuronales Netz vorgeschlagen, dass die Paradigmen von Multi-Skalen-Feature-Extraktion von Convolutional Neural Networks und iteratives Verfeinern mittels Recurrent Neural Networks verbindet. Für ein robusteres Training und eine verbessererte Segmentierung wurde eine Focal Loss basierte Loss-Funktion entwickelt.

Weiterhin wird ein Framework für Black-Box Hyperparameteroptimierung für biomedizinische Bildverarbeitungspipelines vorgestellt. Dieses Framework nutzt eine modulare Architektur, die Hyperparameterabtastung und Hyperparameteroptimierung trennt. Eine Visualisierung der Loss-Funktion, basierend auf Infimum Projektionen für die Analyse des Optimierungsprozesses, wird vorgeschlagen. Darüber hinaus wird eine Transfer Learning Technik vorgestellt, die Netzwerke, die mit einem Eingangskanal trainiert wurden, für Daten mit mehreren Eingangskanälen nutzbar macht. Zusätzlich wurde eine Methode für Unsupervised Domain Adaptation in histopathologischen Schnitten entwickelt.

Weiterhin wird Galaxy Image Analysis präsentiert, eine Platform für die webbasierte Analyse von mikroskopischen Bildern. Galaxy Image Analysis Workflows für Zellsegmentierung in Zellkulturen, Partikeldetektion in Hirnschnitten von Mäusen, und MALDI/H&E Registrierung werden vorgestellt.

Die vorgestellten Methoden wurden für synthetische und reale Mikroskopiedaten mehrerer Modalitäten angewandt und erreichten Stand der Kunst oder bessere Performanz. Die Methoden wurden in internationalen Wettbewerben evaluiert und mit Kooperationspartnern in biomedizinischen Forschungsprojekten genutzt.