Praxiseinstieg Machine Learning mit Scikit-Learn, Keras und TensorFlow

Konzepte, Tools und Techniken für intelligente Systeme. Aktuell zu TensorFlow 2

Aurélien Géron, Kristian Rother, Thomas Demmig

• Publisher: O'Reilly
• Year: 2020
• ISBN:
  9783960103400
• Edition: 2
• Topic: Informatica
• Subtopic: Data mining

Aktualisierte Neuauflage des Bestsellers zu TensorFlow 2 und Deep LearningBehandelt jetzt auch die High-Level-API KerasFührt Sie methodisch geschickt in die Basics des Machine Learning mit Scikit-Learn ein und vermittelt darauf aufbauend Deep-Learning-Techniken mit Keras und TensorFlow 2Mit zahlreiche Übungen und LösungenEine Reihe technischer Durchbrüche beim Deep Learning haben das gesamte Gebiet des maschinellen Lernens in den letzten Jahren beflügelt. Inzwischen können sogar Programmierer, die kaum etwas über diese Technologie wissen, mit einfachen, effizienten Werkzeugen Machine-Learning-Programme implementieren. Dieses praxisorientierte Buch zeigt Ihnen wie.Mit konkreten Beispielen, einem Minimum an Theorie und zwei unmittelbar anwendbaren Python-Frameworks – Scikit-Learn und TensorFlow 2 – verhilft Ihnen der Autor Aurélien Géron zu einem intuitiven Verständnis der Konzepte und Tools für das Entwickeln intelligenter Systeme. Sie lernen eine Vielzahl von Techniken kennen, beginnend mit einfacher linearer Regression bis hin zu Deep Neural Networks. Die in jedem Kapitel enthaltenen Übungen helfen Ihnen, das Gelernte in die Praxis umzusetzen. Um direkt zu starten, benötigen Sie lediglich etwas Programmiererfahrung.

TEIL II

Neuronale Netze und Deep Learning

KAPITEL 10

Einführung in künstliche neuronale Netze mit Keras

Vögel haben uns zum Fliegen inspiriert, die Klette zu Klettverschlüssen, und viele weitere Erfindungen sind ebenfalls von der Natur inspiriert. Es erscheint also nur logisch, in der Architektur des Gehirns nach Inspirationen zum Erschaffen intelligenter Maschinen zu suchen. Dies ist die Grundidee bei künstlichen neuronalen Netzen (engl. ANNs): Ein ANN ist ein Machine-Learning-Modell, das von den Netzwerken der Neuronen in unseren Gehirnen inspiriert ist. Allerdings müssen Flugzeuge, wenn sie auch von Vögeln inspiriert sind, nicht mit den Flügeln schlagen. In ähnlicher Weise haben sich auch ANNs nach und nach recht weit von ihren biologischen Cousins entfernt. Einige Forscher sind sogar der Meinung, dass wir die biologische Analogie komplett außer Acht lassen sollten (z.B. indem wir von »Einheiten« anstatt von »Neuronen« sprechen), um unsere Kreativität nicht auf biologisch plausible Systeme zu beschränken.¹

ANNs sind die Kernkomponente des Deep Learning. Sie sind flexibel, mächtig und skalierbar, was sie ideal für große und hochgradig komplexe Machine-Learning-Aufgaben einsetzbar macht, wie beispielsweise die Klassifizierung von Milliarden Bildern (Google Images), Spracherkennung (Apples Siri), Videoempfehlungen für Hunderte Millionen Nutzer pro Tag (YouTube) oder den Weltmeister im Brettspiel Go zu schlagen (AlphaGo von DeepMind).

Im ersten Teil dieses Kapitels werden Sie künstliche neuronale Netze kennenlernen. Wir beginnen mit einem kurzen Überblick über die ersten Architekturen von ANNs, um dann zu mehrschichtige Perzeptrons (MLPs) zu gelangen, die heutzutage sehr oft zum Einsatz kommen (andere Architekturen werden in den nächsten Kapiteln vorgestellt). Im zweiten Teil werden wir uns anschauen, wie wir neuronale Netze mithilfe der beliebten Keras-API implementieren. Dabei handelt es sich um eine sehr schöne und einfache High-Level-API zum Bauen, Trainieren, Auswerten und Ausführen neuronaler Netze. Aber lassen Sie sich nicht von ihrer Einfachheit täuschen: Sie ist ausdrucksstark und flexibel genug, um damit eine Vielzahl von Architekturen neuronaler Netze zu bauen. Tatsächlich wird sie für die meisten Ihrer Anwendungsfälle vermutlich ausreichen. Und sollten Sie jemals mehr Flexibilität benötigen, können Sie immer auch eigene Keras-Komponenten mithilfe ihrer tiefer gehenden API schreiben, wie Sie in Kapitel 12 sehen werden.

Aber zuerst schauen wir zurück in die Vergangenheit, um zu erfahren, wie sich künstliche neuronale Netze entwickelt haben!

Von biologischen zu künstlichen Neuronen

Überraschenderweise gibt es ANNs schon eine ganze Weile: Das erste Mal wurden sie 1943 vom Neurophysiologen Warren McCulloch und vom Mathematiker Walter Pitts erwähnt. In ihrem wegweisenden Artikel (https://homl.info/43)² »A Logical Calculus of Ideas Immanent in Nervous Activity« stellen McCulloch und Pitts ein vereinfachtes rechnerisches Modell vor, nach dem biologische Neuronen im Gehirn von Tieren zusammenarbeiten könnten, um komplexe Berechnungen mithilfe von Aussagenlogik durchzuführen. Dies war die erste Architektur eines künstlichen neuronalen Netzwerks. Seitdem wurden viele weitere Architekturen erfunden, wie wir noch sehen werden.

Die frühen Erfolge von ANNs bis in die 1960er-Jahre führten zur verbreiteten Annahme, dass wir uns schon bald mit wirklich intelligenten Maschinen unterhalten würden. Als klar wurde, dass dieses Versprechen nicht eingelöst werden würde (zumindest für eine lange Zeit), flossen Forschungsgelder in andere Richtungen, und für ANNs brach ein langes, dunkles Zeitalter an. In den frühen 1980ern wurden neue Architekturen und bessere Trainingstechniken entwickelt, was zu einem wiedererweckten Interesse am Konnektionismus (der Forschung an neuronalen Netzen) führte. Aber es ging nur langsam voran, und erst in den 1990ern wurden andere mächtige Machine-Learning-Verfahren wie Support Vector Machines (siehe Kapitel 5) entwickelt. Diese versprachen bessere Ergebnisse und ein solideres theoretisches Fundament als ANNs, daher kam die Forschung an neuronalen Netzen erneut zum Stillstand.

Wir erleben heute ein erneutes gesteigertes Interesse an ANNs. Wird dies wieder wie die früheren Wellen abflauen? Nun, es gibt ein paar gute Gründe, warum es dieses Mal anders sein könnte und dass das erneute Interesse an ANNs grundlegendere Auswirkungen auf unser Leben haben wird.

• Heute sind gewaltige Datenmengen zum Trainieren von neuronalen Netzen verfügbar, und ANNs schneiden bei großen und komplexen Aufgaben häufig besser als andere ML-Verfahren ab.
• Der erhebliche Zuwachs an Rechenkapazität seit den 1990ern ermöglicht das Trainieren großer neuronaler Netze innerhalb eines sinnvollen Zeitraums. Teils liegt dies an Moores Law (die Anzahl an Komponenten in integrierten Schaltkreisen hat sich in den letzten 50 Jahren etwa alle zwei Jahre verdoppelt), teils an der Spieleindustrie, der wir leistungsfähige Grafikprozessoren verdanken. Dazu haben Cloud-Plattformen diese Kapazität für alle verfügbar gemacht.
• Die Algorithmen zum Trainieren sind verbessert worden. Eigentlich sind sie nur ein wenig anders als die in den 1990ern verwendeten, aber diese kleinen Änderungen haben zu sehr großen Verbesserungen geführt.
• Einige theoretische Einschränkungen von ANNs haben sich als Vorteile herausgestellt. Beispielsweise ging man davon aus, dass die Algorithmen zum Trainieren von ANNs wegen ihrer Neigung zu lokalen Optima zum Scheitern verurteilt wären. Diese sind aber in der Praxis selten (oder liegen zumindest nahe genug am globalen Optimum).
• ANNs befinden sich in einem förderlichen Kreislauf von finanzieller Unterstützung und Fortschritt. Faszinierende auf ANNs basierende Produkte schaffen es regelmäßig in die Schlagzeilen, was weitere Aufmerksamkeit auf sie lenkt und Förderung bewirkt, und das zieht wiederum weitere Fortschritte und noch faszinierende Produkte nach sich.

Biologische Neuronen

Bevor wir künstliche Neuronen besprechen, schauen wir uns kurz ein biologisches Neuron an (dargestellt in Abbildung 10-1). Es ist eine ungewöhnlich aussehende Zelle, wie man sie vor allem im Gehirn von Tieren antrifft. Sie besteht aus einem Zellkörper mit dem Zellkern und den meisten komplexen Bestandteilen einer Zelle, vielen verzweigten Auswüchsen, den Dendriten, sowie einem sehr langen Auswuchs, dem Axon. Die Länge des Axons kann einigen oder bis zu Zehntausenden Längen des Zellkörpers entsprechen. Am Ende teilt sich das Axon in feine Verästelungen, die Telodendria, auf. An der Spitze dieser Verästelungen befinden sich winzige Strukturen, die synaptischen Verbindungen (oder einfach Synapsen), die mit den Dendriten oder Zell...