Deep Learning illustriert

Eine anschauliche Einführung in Machine Vision, Natural Language Processing und Bilderzeugung für Programmierer und Datenanalysten

Jon Krohn, Grant Beyleveld, Aglaé Bassens, Kathrin Lichtenberg

• Publisher: dpunkt.verlag
• Year: 2020
• ISBN:
  9783960887522
• Topic: Computer Science
• Subtopic: Computer Vision & Pattern Recognition
• Index: Computer Science

Deep Learning begreifen und einsetzen

• Einführung in verwandte Themen wie Künstliche Intelligenz, Machine Learning und Neuronale Netze
• viele Illustrationen, verständlich erklärt
• begleitendes online-Material zum Ausprobieren der Erläuterungen aus dem Buch (Jupyter-Notebooks)
• Vorstellung von Bibliotheken (Tensor Flow/Keras, PyTorch)

Deep Learning verändert unseren Alltag. Dieser Ansatz für maschinelles Lernen erzielt bahnbrechende Ergebnisse in einigen der bekanntesten Anwendungen von heute, in Unternehmen von Google bis Tesla, Facebook bis Apple. Tausende von technischen Fachkräften und Studenten wollen seine Möglichkeiten einsetzen, aber frühere Bücher über Deep Learning waren oft nicht intuitiv, unzugänglich und trocken. John Krohn, Grant Beylefeld und Aglaé Bassens bieten Ihnen eine einzigartige visuelle, intuitive und verständliche Einführung in Techniken und Anwendungen von Deep Learning. Mit den farbenfrohen Illustrationen und eingängigen Erläuterungen von "Deep Learning illustriert" gelingt Ihnen ein einfacher Zugang zum Aufbau von Deep-Learning-Modellen, und bringt ihnen beim Lernen mehr Spaß.

Der erste Teil des Buches erklärt, was Deep Learning ist, warum es so allgegenwärtig geworden ist und wie es mit Konzepten und Terminologien wie künstlicher Intelligenz, Machine Learning oder künstlichen neuronalen Netzen interagiert. Dabei verwenden die Autoren leicht verständliche Analogien, lebendige Grafiken und viele Beispiele.

Auf dieser Grundlage präsentieren die Autoren eine praktische Referenz und ein Tutorial zur Anwendung eines breiten Spektrums bewährter Techniken des Deep Learning. Die wesentliche Theorie wird mit so wenig Mathematik wie möglich behandelt und mit praktischem Python-Code beleuchtet. Praktische Beispiele zum Ausprobieren, die kostenfrei online verfügbar sind (Jupyter-Notebooks), machen Ihnen die Theorie begreiflich. So erlangen Sie ein pragmatisches Verständnis aller wichtigen Deep-Learning-Ansätze und ihrer Anwendungen: Machine Vision, Natural Language Processing, Bilderzeugung und Spielalgorithmen.

Um Ihnen zu helfen, mehr in kürzerer Zeit zu erreichen, stellen die Autoren mehrere der heute am weitesten verbreiteten und innovativsten Deep-Learning-Bibliotheken vor, darunter:
- TensorFlow und seine High-Level-API, Keras
- PyTorch
- High-Level-Coach, eine TensorFlow-API, die die Komplexität, die typischerweise mit der Entwicklung von Deep Reinforcement Learning-Algorithmen verbunden ist, abstrahiert.

Teil III

Interaktive Anwendungen des Deep Learning

10Maschinelles Sehen

11Natural Language Processing

12Generative Adversarial Networks

13Deep Reinforcement Learning

10Maschinelles Sehen

Willkommen zu Teil III, liebe Leser! In Teil I gaben wir Ihnen einen Überblick über spezielle Anwendungen des Deep Learning. Mit der grundlegenden Theorie, die wir anschließend in Teil II behandelt haben, sind Sie nun bestens ausgestattet, um sich einer Reihe von Anwendungen aus verschiedenen Bereichen zu widmen. Dies wird vor allem in Form von Codebeispielen geschehen. In diesem Kapitel untersuchen Sie z.B. Convolutional Neural Networks und setzen diese für Aufgaben aus dem Gebiet des maschinellen Sehens (Machine Vision) ein. Außerdem behandeln wir im weiteren Verlauf von Teil III praktische Beispiele für:

• Recurrent Neural Networks zur Verarbeitung natürlicher Sprache (in Kapitel 11)
• Generative Adversarial Networks für eine visuelle Kreativität (in Kapitel 12)
• Deep Reinforcement Learning für eine sequenzielle Entscheidungsfindung in komplexen, veränderlichen Umgebungen (in Kapitel 13)

10.1Convolutional Neural Networks

Ein convolutional, zu Deutsch »faltendes«, neuronales Netz – auch Convolutional Neural Network, ConvNet oder CNN genannt – ist ein künstliches neuronales Netz, das ein oder mehrere Konvolutionsschichten oder Convolutional Layers aufweist. Dieser Schichttyp erlaubt es einem Deep-Learning-Modell, effizient räumliche Muster zu verarbeiten. Wie Sie in diesem Kapitel aus erster Hand erfahren werden, eignen sich solche Netzwerke daher besonders gut für Anwendungen aus dem Bereich des maschinellen Sehens oder der Computer Vision.

10.1.1Die zweidimensionale Struktur der visuellen Bilddarstellung

In unseren bisherigen Codebeispielen mit den handgeschriebenen MNIST-Ziffern wandelten wir die Bilddaten in ein eindimensionales Array aus Zahlen um, die wir dann in die vollständig verbundene verborgene Schicht eingaben. Genauer gesagt, begannen wir mit 28×28 Pixel großen Graustufenbildern und verwandelten diese in eindimensionale Arrays mit 784 Elementen.¹ Obwohl dieser Schritt im Kontext eines vollständig verbundenen Netzwerks notwendig war (wir mussten die 784 Pixelwerte egalisieren, damit sie jeweils in ein Neuron der ersten verborgenen Schicht eingegeben werden konnten), bringt die Reduzierung eines zweidimensionalen Bildes in eine Dimension einen beträchtlichen Strukturverlust mit sich. Wenn Sie mit einem Stift eine Ziffer auf Papier zeichnen, stellen Sie sich das Ganze nicht als eine kontinuierliche lineare Abfolge von Pixeln vor, die von oben links nach unten rechts verlaufen. Würden wir z.B. hier eine MNIST-Ziffer als 784 Pixel langen Strom aus Graustufen ausdrucken, dann wetten wir, dass Sie nicht in der Lage wären, die Ziffer zu erkennen. Menschen nehmen visuelle Informationen nämlich in einer zweidimensionalen Form wahr,² und unsere Fähigkeit, zu erkennen, was wir anschauen, ist von Natur aus mit den räumlichen Beziehungen zwischen den Formen und Farben verbunden, die wir wahrnehmen.

10.1.2Berechnungskomplexität

Neben dem Verlust der zweidimensionalen Struktur beim Reduzieren eines Bildes müssen wir noch eine zweite Sache bedenken, wenn wir Bilder in ein vollständig verbundenes Netzwerk leiten: die Berechnungskomplexität. Die MNIST-Bilder sind sehr klein – 28×28 Pixel mit nur einem Kanal. (Es gibt nur einen Farb»kanal«, weil MNIST-Ziffern monochromatisch sind; um vollfarbige Bilder darzustellen, sind wenigstens drei Kanäle – üblicherweise Rot, Grün und Blau – erforderlich.) Wenn man MNIST-Bildinformationen in eine vollständig verbundene Schicht übergibt, entspricht dies 785 Parametern pro Neuron: 784 Gewichte für jedes der Pixel plus der Bias des Neurons. Würden wir jedoch ein mäßig großes Bild verarbeiten – sagen wir ein 200×200 Pixel großes vollfarbiges RGB-Bild³ – nimmt die Anzahl der Parameter ganz drastisch zu. In diesem Fall hätten wir drei Farbkanäle, jeweils mit 40.000 Pixeln, was insgesamt 120.001 Parametern pro Neuron in einer vollständig verbundenen Schicht entspricht.⁴ Bei einer bescheidenen Anzahl an Neuronen in der Schicht – sagen wir, 64 – wären das fast 8 Millionen Parameter allein für die erste verborgene Schicht unseres Netzwerks.⁵ Außerdem hat das Bild nur 200×200 Pixel – das sind kaum 0,4 MP⁶, während die meisten modernen Smartphones Kamerasensoren mit 12 MP oder mehr haben. Im Allgemeinen müssen Machine-Vision-Aufgaben nicht auf hochaufgelösten Bildern ausgeführt werden, um erfolgreich zu sein, aber der Punkt ist doch klar: Bilder können sehr viele Datenpunkte enthalten, und wenn man diese naiverweise in einer vollständig verbundenen Struktur verarbeiten möchte, explodieren die Anforderungen an die Rechenkapazitäten des neuronalen Netzes geradezu.

10.1.3Konvolutionsschichten

Konvolutionsschichten (Convolutional Layers) bestehen aus Gruppen von Kerneln, die auch als Filter oder Filterkernel bezeichnet werden. Jeder dieser Kernel ist ein kleines Fenster (ein sogenanntes Patch), das das Bild von oben links nach unten rechts scannt (technisch au...