# Über TensorFlow laden
#
# from tensorflow.keras.layers import Dense
# from tensorflow.keras.models import Sequential
#
# oder
#
# Aus Keras direkt laden
from keras.layers import Dense
from keras.models import Sequential

# Numpy laden und festlegen des Zufalls-Startwertes
import numpy as np
np.random.seed(1337)

# Matplotlib zur grafischen Darstellung laden
import matplotlib.pyplot as plt

# Daten in Arrays speichern
eingangswerte = np.array([[0, 0], [0, 1], [1, 0], [1, 1]])
ausgangswerte = np.array([[0], [1], [1], [0]])

# Erstellt das Model mit 2 Eingangsnodes, 2 Mittelnodes und einer Ausgangsnode
num_inner = 2

model = Sequential()
model.add(Dense(num_inner, input_dim=2, activation='sigmoid'))
model.add(Dense(1))

# Kompiliert das Model, damit es spaeter verwendet werden kann
model.compile(loss='mean_squared_error',
              optimizer='adam',
              metrics=['accuracy'])

# Trainiert das Model mit den Eingangs-
# und den entsprechenden Ausgangswerten fuer 10000 Epochen
model.fit(x=eingangswerte, y=ausgangswerte, epochs=10000, verbose=0)

# Testet die Eingangsdaten und schreibt die Ergebnisse in die Konsole
print(model.predict(eingangswerte))

[[  8.34465027e-07]  # Eingang 0 und 0, zu erwartender Ausgang 0
 [  9.99996364e-01]  # Eingang 0 und 1, zu erwartender Ausgang 1
 [  9.99996185e-01]  # Eingang 1 und 0, zu erwartender Ausgang 1
 [  5.48362732e-06]] # Eingang 1 und 1, zu erwartender Ausgang 0

# Erstellt das Model mit 2 Eingangsnodes, 32 Mittelnodes und einer Ausgangsnode
model = Sequential()
model.add(Dense(32, input_dim=2, activation='tanh'))
model.add(Dense(1, activation='tanh'))

Using Theano backend.
[[0.00473237]
 [0.944603  ]
 [0.9461131 ]
 [0.00609871]]

# Bereitet die grafische Ausgabe mittels contourf vor
# und rastert die Eingabewerte fuer das Modell
x = np.linspace(-0.25, 1.25, 100)
(X1_raster, X2_raster) = np.meshgrid(x, x)
X1_vektor = X1_raster.flatten()
X2_vektor = X2_raster.flatten()

# Nutzt die gerasterten Eingabewerte und erzeugt Ausgabewerte
eingangswerte_grafik = np.vstack((X1_vektor, X2_vektor)).T
ausgangswerte_grafik = model.predict(eingangswerte_grafik).reshape(X1_raster.shape)

# Fragt die Gewichte der Verbindungen und die Bias-Daten ab
(gewichte, bias) = model.layers[0].get_weights()

# Contourplot der gerasterten Ausgangswerte in leicht vergroessertem
# Bereich und Legende
plt.contourf(X1_raster, X2_raster, ausgangswerte_grafik, 100)
plt.xlim(-0.25, 1.25)
plt.ylim(-0.25, 1.25)
plt.xlabel("Eingabewert $x_1$")
plt.ylabel("Eingabewert $x_2$")
plt.colorbar()

# Eintragen der Eingangsdaten in die Grafik
plt.scatter(np.array([0, 0, 1, 1]), np.array([0, 1, 0, 1]), color="red")

# Plot der Klassifizierungs-"Begrenzungslinien" der Aktivierungsfunktionen
for i in range(num_inner):
    plt.plot(x,
             -gewichte[0, i]/gewichte[1, i]*x
             - bias[i]/gewichte[1, i], color="black")
plt.show()