Neuronale Netze

Viele Probleme sind nicht linear separierbar, d.h. man kann keine Trennlinie zwischen den unterschiedlichen Klassen von Punkten finden. In diesen Fällen verschaltet man mehrere Neuronen zu einem neuronalen Netz.

Beispielaufgabe

Konstruieren Sie ein neuronales Netz, das als Ausgangswert genau dann 1 liefert, wenn der Eingangsvektor $(x_1\ x_2)$ im grün dargestellten Dreieck liegt (einschließlich der Punkte auf den Dreiecksseiten).

Lösung

Plan:

Wir konstruieren zunächst

ein Neuron, das genau dann feuert (d.h. 1 ausgibt), wenn der Eingangsvektor auf der Halbebene rechts von der blauen Gerade liegt,
eines, das genau dann feuert, wenn der Eingangsvektor auf der Halbebene unter der roten Gerade liegt und
eines, das genau dann feuert, wenn der Eingangsvektor auf der Halbebene über der gelben Gerade liegt.

(Die Geraden werden jeweils mit zur Halbebene gerechnet.)

Wir fügen dann ein weiteres Neuron hinzu, das genau dann feuert, wenn die drei anderen Neuronen feuern. Das ist genau dann der Fall, wenn ein Punkt in der Schnittmenge der drei Halbebenen liegt, also im grünen Dreieck.

Los geht's!

Die Halbebene rechts von der blauen Gerade besteht aus genau den Punkten $(x_1/x_2)$, für die gilt, $x_2 \ge -3x_1 + 6$, also $$3x_1 + x_2 - 6 \ge 0$$ Das Neuron, das bei genau diesen Punkten feuert, sieht so aus:

Die Halbebene unter der roten Gerade besteht aus genau den Punkten $(x_1/x_2)$, für die gilt, $x_2 \le -0,4x_1 + 4$, also $$-0,4x_1 - x_2 + 4 \ge 0$$ Das Neuron, das bei genau diesen Punkten feuert, sieht so aus:

Die Halbebene über der gelben Gerade besteht aus genau den Punkten $(x_1/x_2)$, für die gilt, $x_2 \ge 2$ Das Neuron, das bei genau diesen Punkten feuert, sieht so aus:

Wir ergänzen diese drei Neuronen jetzt noch um

eine Eingabeschicht, die die Daten verteilt (beachten Sie die Identität als Aktivierungsfunktion!)
ein Neuron in der Ausgabeschicht, das genau dann feuert, wenn alle drei Neuronen der Zwischenschicht feuern.