29 Jan Was sind „Convolutional Neural Networks“ (CNN)?
Das Convolutional Neural Network (faltendes neuronales Netzwerk) wird insbesondere im Bereich der Bild- und Audioverarbeitung häufig eingesetzt. Üblicherweise besteht ein solches Convolutional Neural Network aus mindestens 5 Schichten. Innerhalb jeder dieser Schichten wird eine Mustererkennung durchgeführt. Jede Schicht präzisiert dabei die Mustererkennung auf Basis des Outputs der vorherigen Schicht. Vorstellen kann man sich dieses Verfahren wie ein kleines Erkennungsraster, das Stück für Stück über den zu analysierenden Bereich des Datensatzes fährt. Bei einem Bild geschieht dies z.B. auf Pixel-Ebene durch die Analyse von kleinen Bildausschnitten (z.B. 2×2 Pixel).
Hauptanwendungsgebiete: Bilderkennung und Textverarbeitung
Ein Convolutional Neural Network ist eine Deep Learning Architektur, die speziell für das Verarbeiten von Bildern entwickelt wurde. Doch Convolutional Neural Networks sind auch in vielen anderen Bereichen, beispielsweise bei der Textverarbeitung, extrem gut geeignet.
Ein Convolutional Neural Network erkennt mit seinen Filtern ortsunabhängig Strukturen in den jeweiligen Input Daten. Auf der ersten Ebene werden die Filter dabei von einfachen Strukturen wie Linien, Kanten und Farbtupfern aktiviert. Die Art der Filter wird dabei nicht vorgegeben, sondern vom Netz gelernt. In der nächsten Ebene werden Strukturen gelernt, die aus der Kombination dieser Basis-Strukturen bestehen, z.B. Kurven, einfache Formen und so weiter. Mit jeder Filterebene erhöht sich so das Abstraktions-Level des Netzes. Welche Abstraktionen schließlich zur Aktivierung der hinteren Layer führen, ergibt sich aus den charakteristischen Merkmalen der vorgegebenen Klassen, die erkannt werden sollen. Wie genau ein Convolutional Network diese erstaunlichen Ergebnisse zustande bringt, ist in der mathematischen Theorie noch nicht vollständig erklärt. Klar ist jedoch, dass Convolutional Neural Networks derzeit im Bereich der Bildverarbeitung die besten Ergebnisse erzielen.
Bei der Erkennung von Objekten in Bildern ist die Performance von Convolutional Neutral Networks bereits besser, als die von Menschen. Google’s Deepmind verwendete für das berühmte AlphaGo System ebenfalls CNN’s, um die aktuelle Spielposition des Go-Boards zu evaluieren. Dies führt zu einer weiteren Stärke dieser Netze, die darin besteht, eine als Matrix vorliegende Information zu einem aussagekräftigen Vektor zu verdichten.
Diese Eigenschaft kann man sich genauso gut im Bereich der Textverarbeitung zu Nutze machen. Die aktuellen Einsatzgebiete von Convolutional Neural Networks reichen vom Auto-Encoder über die Objekterkennung in Bildern und Videos bis hin zur synthetischen Generierung von Bildern und Texten aus Vektoren. In vielen weiteren Bereich wird derzeit geforscht, ob CNN’s auch dort bessere Ergebnisse erzielen können, als normale neuronale Netze. Der Kreativität sind dabei durch die Möglichkeit zur Nutzung von Matrix-Inputs kaum Grenzen gesetzt.
Wie funktioniert ein Convolutional Neural Network?
Ein Convolutional Neural Network verarbeitet den Input in Form einer Matrix. So ist es möglich, als Matrix dargestellte Bilder (die Matrixdimensionen sind Breite x Höhe x Farbkanäle) als Input zu verwenden. Ein normales neuronales Netz zum Beispiel in Form eines Multi-Layer-Perceptrons (MLP) benötigt dagegen einen Vektor als Input. Um also ein Bild als Input zu verwenden, müssten die Pixel des Bildes in einer langen Kette hintereinander angeordnet werden, was in der Fachsprache „Flattening“ genannt wird. Dadurch sind normale neuronale Netze nicht in der Lage, Objekte in einem Bild unabhängig von der Position des Objekts im Bild zu erkennen. Das gleiche Objekt an einer anderen Position im Bild hätte einen völlig anderen Input-Vektor.
Ein CNN besteht im wesentlichen aus Filtern (genannt Convolutional Layer) und Aggregations-Schichten (genannt Pooling Layer), die sich abwechselnd wiederholen, und am Ende aus einer oder mehreren Schichten von „normalen“ vollständig verbundenen Neuronen (genannt Dense oder auch Fully Connected Layer).
Der Matrix-Input wird als erstes von einer festgelegten Anzahl von sogenannten Filtern analysiert, die eine feste Pixelgröße haben (z.B. 2 x 2 oder 3 x 3), und die dann wie ein Fenster mit einer konstanten Schrittweite über die Pixel-Matrix des Inputs scannen. Dabei wandern die Filter von Links nach Rechts über die Input-Matrix und springen nach jedem Durchlauf in die nächst-tiefere Zeile. Mit dem sogenannten Padding wird hierfür festgelegt, wie sich der Filter verhalten soll, wenn er an den Rand der Matrix stößt.
Der Filter hat für jeden Punkt in seinem Sichtfenster ein festes Gewicht, und er errechnet aus den Pixelwerten im aktuellen Sichtfenster und diesen Gewichten eine Ergebnismatrix. Die Größe dieser Ergebnismatrix ist abhängig von der Größe des Filters, dem Padding und vor allem von der Schrittweite. Eine Schrittweite von 2 bei einer Filtergröße von 2 x 2 führt beispielsweise pro Filter zu einer Halbierung der Größe der Ergebnis Matrix im Vergleich zur Input-Matrix. Dabei ist notwendigerweise nicht mehr jedes Pixel einzeln mit dem Filter verbunden, sondern jeweils 4 Pixel sind gleichzeitig mit dem Filter verbunden (local connectivity). Der Input wurde damit „gefaltet“, daher auch der Name Convolutional Network.
In der ersten Ebene eines CNN wird meistens ein Convolutional Layer mit 32 oder 16 Filtern verwendet, deren gefalteter Output entsprechend jeweils eine neue Matrix ist. Diesem ersten Layer folgt meistens ein zweiter, gleich aufgebauter Convolutional Layer, der als Input die neuen Matrizen aus der Faltung des ersten Layer verwendet. Danach folgt ein Pooling Layer.
Ein Pooling Layer aggregiert die Ergebnisse von Convolutional Layern, indem er nur das jeweils stärkste Signal weiter gibt. Bei einem MaxPooling Layer wird zum Beispiel immer der höchste Wert einer Kernel-Matrix verwendet und alle anderen werden verworfen. Die von einem 2 x 2 Kernel erstellten vier Matrix Ergebnisse werden so auf nur eine Zahl (die höchste der vier) reduziert. Das Pooling dient dazu, nur die relevantesten Signale an die nächsten Schichten weiter zu geben, eine abstraktere Repräsentation des Inhalts zu erreichen und die Anzahl der Parameter eines Netzes zu reduzieren.
Viele CNNs bestehen aus einer Sequenz von jeweils zwei Convolutional Layern mit der gleichen Anzahl an Filtern, gefolgt von einem Pooling Layer, auf den wiederum zwei Convolutional Layer und ein Pooling Layer folgen. Während dabei die Größe des Inputs durch die Faltungen und das Pooling immer weiter reduziert wird, wird die Anzahl der Filter zur Erkennung von übergeordneten Signalen zunehmend erhöht. Nach dem letzten Pooling Layer folgen also ein oder mehrere Fully Connected Layer.
Beim Fully Connected Layer oder Dense Layer handelt es sich um eine normale neuronale Netzstruktur, bei der alle Neuronen mit allen Inputs und allen Outputs verbunden sind. Um den Matrix-Output der Convolutional- und Pooling-Layer in einen Dense Layer speisen zu können, muss dieser zunächst ausgerollt werden (Flattening). Die Output-Signale der Filter-Schichten sind unabhängig von der Position eines Objektes, daher sind zwar keine Positionsmerkmale mehr vorhanden, dafür aber ortsunabhängige Objektinformationen.
Diese Objektinformationen werden also in einen oder mehrere Fully Connected Layer eingespeist und mit einem Output-Layer verbunden, welcher beispielsweise genau die Anzahl von Neuronen besitzt, die der Anzahl der verschiedenen zu erkennenden Klassen entspricht.
Aktivierung durch ReLU Funktion
In einem Convolutional Neural Network werden die Ergebnisse jedes Layers in den allermeisten Fällen durch eine sogenannte ReLU Funktion aktiviert. Diese ReLU Funktion sorgt dafür, dass alle Werte, die kleiner als Null sind, zu Null werden und alle Werte, die größer als Null sind 1:1 erhalten bleiben. Der letzte Layer erhält im Fall von Klassifizierungs-Problemen eine Softmax-Aktivierung, das heißt der Output aller Output-Neuronen addiert sich zu 1 und gibt jeweils die Wahrscheinlichkeit des entsprechenden Outputs an.
Die Gewichte der Filter und der Fully Connected Layer werden zu Beginn zufällig gewählt und dann während des Trainings durch Backpropagation immer weiter optimiert. Im Fall von Klassifizierungsproblemen (wenn geklärt werden muss, welches Objekt auf dem Bild zu sehen ist) wird dabei zur Messung des Fehlers die Categorical Cross-Entropy verwendet. Das ist der negative natürliche Logarithmus der berechneten Wahrscheinlichkeit für die Kategorie.
Als Gründer mit KI Menschenleben retten – Reflektion des Interviews mit Felix Faber von MINDPEAK
Ein spannendes Interview mit dem sympathischen und erfahrenen Gründer Felix Faber aus Hamburg, das ein Musterbeispiel für Digitalisierung und Gründermentalität aufzeigt und Einblicke in ein innovatives Health-AI Start-Up lifert.
Künstliche Intelligenz und Hick´s Law
Künstliche Intelligenz führt zu schnelleren Prozessen und effizienteren Abläufen. Das bedeutet auch eine neue Arbeitsteilung zwischen Technologie und Mensch. Kann der Mensch das erhöhte Tempo halten oder sind wir dadurch überfordert? Die Antwort wird mit einem Blick auf ein altes Gesetz der Mensch-Maschine-Interaktion möglich.
KI verändert Finanzunternehmen in vielen Bereichen
Künstliche Intelligenz und Anwendungen, die auf diesen Technologien und Prinzipien beruhen, halten Einzug in immer mehr Bereiche der Finanzwirtschaft. Das wird auch in Zukunft so weitergehen. Denn die Vorteile lassen sich klar beschreiben. Für Unternehmen kommt es aber nicht nur auf die Technik an. Es geht vielmehr um eine sinnvolle Arbeitsteilung zwischen intelligenten Systemen und Menschen. Die aktuellen Einsatzfelder von Technologien, die unter dem Oberbegriff der „Künstlichen Intelligenz“ zusammengefasst werden, im Finanzbereich lassen sich klar benennen. Es sind Kundeninteraktionen und...
Kognitive Vielfalt: KI und die Zukunft der Arbeit
Wenn es um die künftigen Anforderungen für die Entwicklung vom KI Systemen geht, steht das Thema Diversität immer deutlicher im Vordergrund. Die bisherigen Erfahrungen mit dem Einsatz von Machine Learning und autonomen Systemen haben gezeigt, dass die bisherigen Ansätze und Verfahren an ihre Grenzen stoßen, ja sogar gefährliche Fehlentwicklungen und Risiken für die Zukunft mit sich bringen. Für Unternehmen wird also Diversity Management und der Einsatz von vielfältigen und gemischten Teams ein wichtiger Erfolgsfaktor beim Einsatz von Künstlicher Intelligenz. Zunächst...
Wie Führungskräfte im KI Zeitalter kommunizieren und motivieren
Die Arbeit von morgen sieht anders aus. Automatischer, technischer und „künstlich intelligenter“. Führungskräfte bleiben dabei aber Menschen. Wie muss sich die Führung in Kommunikation und Kultur hier anpassen und verändern? Es zeichnen sich zwei Pole der neuen Führungskultur ab, die auf den ersten Blick nicht miteinander vereinbar scheinen – und die Führungskräfte vor ganz neue Aufgaben und Herausforderungen stellen. Das Ausmaß dieser Entwicklung ist erst von wenigen Autoren und Wissenschaftlern analysiert worden. Weitgehende einig sind sich aber alle in ihrer...
Künstliche Intelligenz in der Medizin
Blicken wir heute in die Praxen und vor allem in die Krankenhäuser, dann finden wir einen sehr hohen Anteil an Technologie in der Medizin. Und das wird sich in den kommenden Jahren noch weiter verstärken. Denn Künstliche Intelligenz kann und wird die Medizin auf ein neues Level heben.
Demographie und KI – Warum beides zusammengehört
In der Diskussion über zunehmende Digitalisierung und die künftigen Einfluss von Künstlicher Intelligenz wird oft und gerne auf den drohenden Verlust von vielen Arbeitsplätzen verwiesen. Begründet wird das mit zunehmendem Wettbewerb durch immer stärker auf Effizienz optimierte Prozesse und höherer Produktivität durch Automatisierung und Autonomisierung. Das stimmt auch. Oft wird aber ein entscheidender Faktor dabei übersehen. Und dieser Faktor hat nichts mit Digitalisierung oder gar mit Künstlicher Intelligenz zu tun. Im Gegenteil. Es geht um etwas höchst biologisches und menschliches:...
Ein neues Verhältnis von Intuition und Technik
Automatisierung ist im Marketing und in der Werbung einer der Megatrends der letzten Jahre. Dieser Trend wird auch ungebrochen weitergehen. Denn die Leistungen von Maschinen und Systemen, stellen das Vermögen von Menschen bei hochkomplexen Aufgaben und unter enormen Zeit- und Erfolgsdruck deutlich in den Schatten. Die gesamte Branche könnte also in absehbarer Zeit möglicherweise auch ohne Menschen auskommen… An einigen Stellen sind menschliche Fähigkeiten und Eigenheiten aber dennoch unersetzlich. Und erfolgsentscheidend. WeGoFive sprach mit Claas Voigt, Geschäftsführer des Performance Marketers...
Mensch und KI als Team gegen „Fake News“
Fake News, Lügenkampagnen und automatisierte Propaganda sind eine der größten Herausforderungen für demokratische Gesellschaften, die Politik und auch für Unternehmen. Künstliche Intelligenz wird von einigen als die ultimative Lösung dieses Problems gepriesen. Stimmt das? Was kann KI gegen Fake News ausrichten – und was nicht? Der Auftritt vor dem Untersuchungsausschuss des US Kongresses war ebenso unangenehm wie die Befragung vor dem Ausschuss des Europäischen Parlaments: Mark Zuckerberg, Chef von Facebook, Instagram und Whatsapp, musste sich dafür rechtfertigen, dass seine Plattformen...
Wie KI Innovationen sinnvoll unterstützen kann
Die Geschwindigkeit der Veränderung und der Bedarf an Innovationen ist für Unternehmen in mittlerweile allen Branchen so hoch wie nie. Das wird sich auch nicht mehr ändern. Künstliche Intelligenz ist im Vergleich zum Menschen schnell, präzise und ausdauernd. Eigenschaften, die also gerade bei Innovationen und im Business Development gefragt sind.
Machine Learning sorgt für optimale Prognosen
Schon heute im Einsatz: Predictive Analytics“ in Medien Auch wenn es immer noch keine Glaskugel gibt, die einem die Zukunft zeigt: Medienmacher und Kommunikatoren in PR und Marketing können mit Hilfe Künstlicher Intelligenz deutlich mehr über morgen und übermorgen wissen und berichten, als noch vor wenigen Jahren. Das liegt an schier unendlichen Mengen an Daten und an Methoden und Instrumenten, diese auch auszuwerten. Das Ganze nennt sich dann „Predictive Analytics“ und bietet Potenzial und Chancen auf vielen Ebenen. Für die...
Wie ein Schiffsdiesel bei der Einführung von KI helfen kann – Reflektion des Interviews mit Jochen Werne, Bankhaus August Lenz
Jochen Werne ist hauptberuflich Director & Authorized Officer für das Bankhaus August Lenz in München. In unserem Interview schlagen wir einen Bogen von der KI zu dem grundsätzlichen Umgang mit Veränderungen.
Der Weg zum richtigen Einsatz von KI im Unternehmen
Wo und wie kann ich in meinem Unternehmen Künstliche Intelligenz überhaupt einsetzen? Diese Frage stellen sich viele Menschen in Unternehmen. Zu recht: Denn KI wird sehr viel in Unternehmen verändern und vielleicht sogar über den Haufen werfen, was wir heute noch als normal und selbstverständlich ansehen.
Wie neue Technologie Prozesse und Organisationen verändern (müssen)!
Technologien bestimmen Abläufe und Organisationen. Meistens denken wir ja, es sei anders herum – oder zumindest reden wir uns das so ein. Nach dem Motto: Eine neue Technologie soll die Abläufe optimieren, die Kosten senken und so die Marge sichern. Alles andere soll so bleiben, wie es ist. Aber das ist eben nicht der Fall.
Was sind Intelligente Agenten?
Intelligente Agenten sind schon heute sehr gut darin, bestimmte Probleme zu lösen. Sie können das sogar oft sehr viel schneller und besser als Menschen. Intelligente Agenten sind zwar keine selbstlernenden Systeme, aber sie finden selbständig die Lösung für jedes definierte Problem.
Teamwork gewinnt! – Mensch und Maschine machen gemeinsam Quantensprünge möglich
Supercomputer wie Deep Blue oder Watson und andere KI Systeme schlagen Menschen in vielen Bereichen. Werden dem Menschen nach und nach eigene Domänen von „intelligenten Maschinen“ entrissen, bei denen sich bisher keiner vorstellen wollte, dass das passieren könnte? Mehr zu unseren Gedanken in diesem Beitrag.
Die Machtfrage – Bestimmt der Mensch oder die Maschine?
Die Arbeits- und Wirtschaftspsychologie unterscheidet drei Typen von Motivation, die das Engagement von Menschen bei dem, was sie tun bestimmen und die ebenso bestimmend sind, ob und wie sich eine Person mit dem identifiziert, was sie tut. In allen drei Bereichen spielt KI eine besondere Rolle.
Künstliche Intelligenz verändert die Wahrnehmung unserer Arbeit
Das sogenannte Job Demands Ressources Modell erklärt Arbeitsmotivation und die Beeinflussung durch innere und äußere Faktoren. Wie sich KI auf Motivation und Identifikation auswirken kann ist hier die entscheidende Frage für eine erfolgreiche Zukunft in der fünften Stufe der Evolution.
Das menschliche Urteil – Der entscheidende Wertschöpfer bei KI
Voraussagen spielen eine bedeutende Rolle, wenn es darum geht, Entscheidungen zu treffen. Eine weitere Zutat ist dazu unabdingbar und wichtig, welche die KI-Gemeinschaft bisher allzu oft unterschätzt oder gar nicht beachtet hat und die ihm aktuellen Hype auch wieder zum allergrößten Teil untergeht: Bewertung oder Beurteilung.
Was ist Machine Learning?
Ein wichtiges Merkmal von Systemen mit künstlicher Intelligenz ist die Fähigkeit, selbständig zu lernen. Selbstlernende Machine Learning Algorithmen können im Unterschied zu klassischer Software mit festen Regeln die besten Regeln für die Lösung bestimmter Aufgaben selber lernen.
Was sind „Convolutional Neural Networks“ (CNN)?
Das Convolutional Neural Network (faltendes neuronales Netzwerk) wird insbesondere im Bereich der Bild- und Audioverarbeitung häufig eingesetzt. Üblicherweise besteht ein solches Convolutional Neural Network aus mindestens 5 Schichten zur Mustererkennung.
Was sind „Neuronale Netze“?
Die Basis und wichtigste Grundtechnologie für Machine Learning und Künstliche Intelligenz sind Neuronale Netze. Ein neuronales Netz ist eine Ansammlung von einzelnen Informationsverarbeitungs-Einheiten, die als Neuronen bezeichnet werden. Sie sind in einer sogenannten Netzarchitektur angeordnet.
Was ist künstliche Intelligenz?
Künstliche Intelligenz umfasst zwei grundlegende Aspekte. Zum einen wird darunter die Schaffung und Nachahmung menschlichen Verhaltens und Denkens verstanden. Der zweite Aspekt ist die automatische Aufgabenerledigung, die klar definierte Aufgabenbereiche übernehmen kann.
No Comments