q&more
Meine Merkliste
my.chemie.de  
Login  
Gengenger_Header_qm_0320_980x442

Ein schneller Weg hin zu leistungsstarken, automatisch erfassten Daten

Deep Learning und Convolutional Neural Networks in der Mikroskopie

Dr. Matthias Genenger (Olympus Soft Imaging Solutions GmbH)

High-Content-Screening-Systeme bieten viele Vorteile für die Life Sciences. Doch die steigende Verfügbarkeit großer Bilddatenmengen bringt auch Herausforderungen mit sich, beispielsweise in Bezug auf Datenverarbeitung, statistische Analyse und Automatisierung. Diese Bereiche sind wesentlich, um große Bilddatensätze in zuverlässig quantifizierte Daten umzuwandeln, die sich für belastbare statistische Analysen eignen.

Automatisierte Bildanalyse und Quantifizierung stellen mit der Umwandlung von Bildern in Zahlenwerte den grundlegenden Schritt für die statistische Analyse dar. Auf Künstlicher Intelligenz (KI) basierende Methoden eignen sich für eine Vielzahl von Anwendungen im Bereich der Life Sciences, bei denen die mikroskopische Bildanalyse eine wichtige Rolle spielt. Das hierfür erforderliche Setup gilt jedoch als komplex und sehr zeitaufwendig. Weiterentwicklungen bei der Bildanalysesoftware, beispielsweise durch auf Convolutional Neural Networks (CNN) basierenden Deep-Learning-Verfahren, bringen wesentliche Vorteile für die automatisierte Bildanalyse. CNN-basiertes Deep Learning ermöglicht ein schnelles Trainieren der Systeme, beispielsweise um die für eine verbesserte Segmentierungsanalyse erforderlichen Bildinformationen automatisch zu erfassen, und eröffnet somit einen schnellen Weg, um leistungsstarke Daten zur erhalten.

Neue Möglichkeiten der Quantifizierung durch Künstliche Intelligenz

Zentraler Bestandteil einer leistungsfähigen Quantifizierung ist die Analyse großer Bilddatensätze, um die Zielinformationen zu extrahieren. Diese Analysen müssen schnell, zuverlässig und unverfälscht sein und bieten sich daher in vielen Fällen für eine Automatisierung an. Die automatisierte Bildanalyse wird bereits seit vielen Jahren eingesetzt, doch haben die einfachen, schwellenwertbasierten Methoden oft Probleme bei der Erkennung von Objekten, die für das menschliche Auge ganz deutlich sichtbar sind. Mit der Einführung Künstlicher Intelligenz (KI) kann Analysesoftware auch zunehmend schwierigere Aufgaben bewältigen, die mit schwellenwertbasierten Methoden noch unmöglich gewesen wären. In vielen Forschungsbereichen ergeben sich dadurch neue Möglichkeiten für die quantitative Analyse der Bilddaten.

Künstliche Intelligenz hat zweifellos die Bildanalyse revolutioniert, erweiterte Fähigkeiten und verbesserte Daten ermöglichen eine belastbarere experimentelle Evidenz. Dennoch wird die automatisierte Bildanalyse noch häufig als Herausforderung gesehen, insbesondere wenn sie neu aufgesetzt werden muss. Ein Grund hierfür ist, dass für die Einrichtung der Analysesoftware entsprechendes Wissen und Erfahrung erforderlich sind. Dementsprechend gilt die Bildanalyse als eigentlich leicht durchführbar, wenn sie einmal eingerichtet ist und läuft, aber es wird häufig von einem ausführlichen Schulungsbedarf ausgegangen, um sie zu starten. Als problematisch wird oft auch die Zeit erachtet, die es braucht, um die Software so zu trainieren und zu optimieren, dass sie die Bilder hinsichtlich der Fragestellung verarbeiten kann und Artefakte vermieden werden, die möglicherweise das Ergebnis beeinträchtigen.

Neuronale Netze trainieren

© OSIS

Abb. 1 A) Schematische Darstellung des Trainingsprozesses eines neuronalen Netzes, B) Schematische Darstellung der Anwendung (Inferenz) des trainierten neuronalen Netzes

Neueste Bildanalysesoftware setzt nun nicht mehr nur konventionelle Künstliche Intelligenz ein, sondern auch Deep Convolutional Neural Networks. Diese Form der neuronalen Netzwerkarchitektur wird als die leistungsstärkste Technologie für die Objektsegmentierung beschrieben [1]. Derartige neuronale Netze zeichnen sich durch ihre bisher beispiellose Anpassungsfähigkeit an die verschiedensten anspruchsvollen Bildanalyseaufgaben aus, was sie zur optimalen Wahl für eine Vielzahl verschiedener Imaging-Anwendungen im Bereich Life Sciences macht.

Um die KI-basierte Software zu trainieren, sind normalerweise Bilder und annotierte Objektmasken erforderlich, die als Ground-Truth-Daten bezeichnet werden [2]. Diese Annotierungen (beispielsweise Zellgrenzen) müssen in Handarbeit erfolgen, was diesen Arbeitsschritt aufgrund der großen Datenmenge, die für das Training erforderlich ist, sehr zeitaufwendig macht. Mittels eines Deep-Learning-Ansatzes ist die Mikroskopiesoftware jedoch in der Lage, die für das Training des neuronalen Netzes erforderliche Ground Truth automatisch zu generieren, indem sie während der Trainingsphase Referenzbilder erfasst (Abb. 1). Sobald das Netzwerk trainiert ist, kann es auf neue Bilder angewendet werden und die Objektmasken mit hoher Präzision vorhersagen.

Da dieser Ansatz zur Generierung von Ground-Truth-Daten nur wenig menschliche Interaktion erfordert, ist es möglich, innerhalb kurzer Zeit eine hohe Anzahl an Trainingsbildpaaren bereitzustellen. Das neuronale Netz kann sich somit während des Trainings an unterschiedlichste Variationen und Verzerrungen anpassen und das entstehende neuronale Netzwerkmodell ist gegenüber anspruchsvollen Problemstellungen robust.

Die Leistungsfähigkeit CNN-basierter Deep-Learning-Verfahren im Bereich der automatisierten Bildanalyse wird im Folgenden anhand dreier häufiger Anwendungsbeispiele aufgezeigt.

© OSIS

Abb. 2 Von links nach rechts: KI-Vorhersage der Zellkernpositionen (blau), grün fluoreszierendes Protein (GFP), Histon-2B-Markierung mit Sichtbarmachung der Zellkerne (grün) und unbearbeitetes Hellfelddurchlichtbild (grau)

Markierungsfreie Detektion von Zellkernen

Dank maschinellen Lernens und signifikanter Verbesserungen im Bereich der Bildanalyse ist die markierungsfreie Detektion in letzter Zeit wieder stärker in den Fokus gerückt [3]. Ein gutes Beispiel für die erweiterten Möglichkeiten durch eine automatische Generierung von Ground-Truth-Daten ist die Erfassung und Segmentierung von Zellkernen ohne Färbung oder Fluoreszenzmarkierungen. Die Methode eignet sich für viele Hochdurchsatz-Imaging-Studien, weil sie zeitsparend ist, Zellveränderungen infolge von Fluoreszenzmarkierungen vermieden werden und der Fluoreszenzkanal noch für andere Marker zur Verfügung steht. Um die Software für die Zellkerndetektion in nicht gefärbten Hellfeldbildern zu trainieren, können die Zellkerne in den Trainingsproben fluoreszenzmarkiert werden. Das Mikroskop kann dann automatisch eine hohe Anzahl an Bildpaaren (Hellfeld und Fluoreszenz) erfassen und die Zellkerne über automatische Schwellenwerte auf den Fluoreszenzbildern detektieren. Diese Objekte stellen dann die Ground Truth für das Training des neuronalen Netzes dar, das dann anschließend Zellkerne in anderen Proben nur mittels Hellfeldbildern identifizieren kann (Abb. 2).

© OSIS

Abb. 3 Auf Deep Learning basierende Vorhersage der Position und Form von Zellkernen (rote Linien) bei 100 % (a), 2 % (b), 0,2 % (c) und 0,05 % (d) der Optimalbedingungen. Die aus dem niedrigsten Signal-Rausch-Abstand (d) abgeleiteten Konturen weichen erheblich von den korrekten Konturen ab, was darauf hinweist, dass der Grenzwert der Methode für die quantitative Analyse bei sehr geringer Belichtung zwischen 0,2 % und 0,05 % der üblichen Belichtung liegt. Kontrast nur zu Darstellungszwecken mittels Signal-Rausch-Abstand optimiert.

Quantitative Analyse bei sehr schwacher Lichtexposition

Ein selbstlernender Ansatz in der Mikroskopie eignet sich auch für das Training von Deep-Learning-Software für die Detektion fluoreszenzmarkierter Zellkerne bei besonders geringer Belichtung. Low-light-Fluoreszenz ermöglicht die Lebendzell-Mikroskopie über eine langen Zeitraum, da Phototoxizität und Photobleaching minimiert werden. Die Deep-Learning-Software kann hierbei darauf trainiert werden, Zellkerne mit einem äußerst geringen Signal-Rausch-Verhältnis (signal-to-noise ratio (SNR)) mit Hilfe von Bildpaaren aus denselben Proben bei normalen und Ultra-low-Light-Bedingungen zu erkennen. Abbildung 3 zeigt, wie die Deep-Learning-Software nach der Trainingsphase die Position der Zellkerne genau vorhersagen kann, auch wenn die Lichtintensität bei nur 0,2 % der Optimalbedingungen liegt. Die Software schafft es sogar, Informationen zu extrahieren, die über einfache Konturen hinausgehen – durch Bestimmung der Signalintensität zwischen Zellen mit Einzel- und Doppel-DNA-Gehalt kann sie Zellen als teilend oder nicht teilend klassifizieren.

© OSIS

Abb. 4 Vorhersage der Position von Glomeruli in einem Schnitt der Mausniere mit Olympus TruAI (blau)

Analyse von Gewebeschnitten

Mittels des gleichen Deep-Learning-Ansatzes kann eine KI-basierte Software auch die Analyse von Gewebeschnitten, beispielsweise der Niere, beschleunigen. Die Glomeruli des Nierengewebes spielen bei der Filtration von Abfallstoffen aus dem Blut eine wesentliche Rolle. In der Nierenforschung können über eine Quantifizierung der Glomeruli wichtige Erkenntnisse über die Funktion der Niere als Ganzes gewonnen werden. Es kann jedoch schwierig werden, die Glomeruli in Gewebeschnitten mit Fluoreszenzmarkierung automatisch vom umgebenden Gewebe zu unterscheiden, was eine zuverlässige Quantifizierung erschwert. Abbildung 4 zeigt die Analyse eines Fluoreszenzbildes einer Mausniere mithilfe von Deep-Learning-Software. Nach erfolgtem Training konnte die Software die Position der Glomeruli im Gewebe identifizieren und damit ihre Stärke auch bei Bildern aufzeigen, bei denen Farbe und Form der im Fokus stehenden Objekte sich oftmals nur sehr geringfügig von den anderen Bildteilen unterscheiden.

Zusammenfassung

Die Einführung der Künstlichen Intelligenz (KI) in der Mikroskopie hat den Einsatz der automatisierten Bildanalyse und Quantifizierung in vielen Forschungsfeldern der Life Sciences nachhaltig beeinflusst. Software-Setup und Training gelten als Hürden für eine Einführung von KI, doch machen es neue Entwicklungen wie das auf Convolutional Neural Networks basierende Deep Learning heute schneller und einfacher als jemals zuvor, zuverlässige Daten aus großen Bilddatensätzen zu gewinnen.

________________________________________________________________________________________

Kategorie: Anwendung | Imaging

Literatur:
[1] Long, J., Shelhamer, E., Darrell, T. et al. (2014) Fully convolutional networks for semantic segmentation, 2015 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Boston, MA, 2015, 3431-3440, DOI: 10.1109/CVPR.2015.7298965
[2] Ljosa, V., Sokolnicki, K.L., Carpenter, A. E. (2012) Annotated high-throughput microscopy image sets for validation. Nat. Methods, 9, 637, 2012 Jun 28, DOI: 10.1038/nmeth.2083
[3] Christiansen, E.M., Yang, S.J., Ando, D.M., Javaherian, A. et al. (2018) In Silico Labeling: Predicting Fluorescent Labels in Unlabeled Images, Cell, 173, 792-803.e19., 2018 Apr 19, DOI: 10.1016/j.cell.2018.03.040

Publikationsdatum: 27.10.2020

Fakten, Hintergründe, Dossiers

  • künstliche Intelligenz
  • Bildanalysesoftware
  • Deep Learning
  • Convolutional Neura…
  • Live Cell Imaging
  • Quantifizierung

Mehr über Olympus

q&more – die Networking-Plattform für exzellente Qualität in Labor und Prozess

q&more verfolgt den Anspruch, aktuelle Forschung und innovative Lösungen sichtbar zu machen und den Wissensaustausch zu unterstützen. Im Fokus des breiten Themenspektrums stehen höchste Qualitätsansprüche in einem hochinnovativen Branchenumfeld. Als moderne Wissensplattform bietet q&more den Akteuren im Markt einzigartige Networking-Möglichkeiten. International renommierte Autoren repräsentieren den aktuellen Wissenstand. Die Originalbeiträge werden attraktiv in einem anspruchsvollen Umfeld präsentiert und deutsch und englisch publiziert. Die Inhalte zeigen neue Konzepte und unkonventionelle Lösungsansätze auf.

> mehr zu q&more

q&more wird unterstützt von:

 

Ihr Bowser ist nicht aktuell. Microsoft Internet Explorer 6.0 unterstützt einige Funktionen auf ie.DE nicht.