aus Wikipedia, der freien Enzyklopädie
Slow Feature Analysis ist ein unüberwachter Lernalgorithmus , der invariante oder sich zumindest nur langsam verändernde Merkmale aus einem vektoriellen Signal lernen soll. Er basiert auf der Hauptachsentransformation .[ 1]
Wenn ein Eingabesignal
x
(
t
)
{\displaystyle x(t)}
gegeben ist, wird eine Ein-/Ausgabefunktion
g
(
x
)
{\displaystyle g(x)}
gesucht, für die
y
(
t
)
=
g
(
x
(
t
)
)
{\displaystyle y(t)=g(x(t))}
so wenig wie möglich variiert und
g
{\displaystyle g}
nicht konstant ist.
Formal schreibt man:
Gegeben sei ein
n
{\displaystyle n}
-dimensionales Eingabesignal
x
(
t
)
=
[
x
1
(
t
)
,
…
,
x
n
(
t
)
]
{\displaystyle x(t)=[x_{1}(t),\dots ,x_{n}(t)]}
mit
t
∈
[
t
0
,
t
1
]
{\displaystyle t\in [t_{0},t_{1}]}
. Finde eine
m
{\displaystyle m}
-dimensionale Ein-/Ausgabefunktion
g
(
x
)
=
[
g
1
(
x
)
,
…
,
g
m
(
x
)
]
{\displaystyle g(x)=[g_{1}(x),\dots ,g_{m}(x)]}
, die aus
x
(
t
)
{\displaystyle x(t)}
die
m
{\displaystyle m}
-dimensionale Ausgabe
y
(
t
)
=
[
y
1
(
t
)
,
y
2
(
t
)
,
…
,
y
m
(
t
)
]
{\displaystyle y(t)=[y_{1}(t),y_{2}(t),\dots ,y_{m}(t)]}
mit
y
i
(
t
)
=
g
i
(
x
(
t
)
)
{\displaystyle y_{i}(t)=g_{i}(x(t))}
für jedes
i
∈
{
1
,
…
,
m
}
{\displaystyle i\in \{1,\dots ,m\}}
erzeugt. Dabei müssen für alle
i
∈
{
1
,
…
,
m
}
{\displaystyle i\in \{1,\dots ,m\}}
folgende Nebenbedingungen erfüllt sein:
Δ
i
=
Δ
(
y
i
)
:
=
⟨
y
˙
i
2
⟩
ist minimal
⟨
y
i
⟩
=
0
(Mittelwert)
⟨
y
i
2
⟩
=
1
(Varianz)
∀
i
′
<
i
:
⟨
y
i
′
y
i
⟩
=
0
(Dekorrelation)
{\displaystyle {\begin{aligned}\Delta _{i}=\Delta (y_{i}):&=\langle {\dot {y}}_{i}^{2}\rangle &{\text{ ist minimal}}\\\langle y_{i}\rangle &=0&{\text{(Mittelwert)}}\\\langle y_{i}^{2}\rangle &=1&{\text{(Varianz)}}\\\forall i'<i:\langle y_{i'}y_{i}\rangle &=0&{\text{(Dekorrelation)}}\end{aligned}}}
wobei
y
˙
{\displaystyle {\dot {y}}}
die Ableitung nach
t
{\displaystyle t}
bezeichnet und
⟨
⋅
⟩
{\displaystyle \langle \cdot \rangle }
ein Durchschnitt über die Zeit ist:
⟨
f
⟩
:=
1
t
1
−
t
0
∫
t
0
t
1
f
(
t
)
d
t
{\displaystyle \langle f\rangle :={\frac {1}{t_{1}-t_{0}}}\int \limits _{t_{0}}^{t_{1}}f(t)\mathrm {d} t}
↑ Laurenz Wiskott, Terrence J. Sejnowski: Slow Feature Analysis: Unsupervised Learning of Invariances . In: Neural Computation . Band 14 , Nr. 4 , 2002, S. 715–770 , doi :10.1162/089976602317318938 .