Перцептрон и многослойная сеть

Искусственный нейрон умножает входные значения x1, x2, ..., xn на соответствующие веса w1, w2, ..., wn, суммирует их, добавляет смещение (bias) b и пропускает результат через функцию активации f: y = f(w1 * x1 + ... + wn * xn + b). В перцептроне, предложенном Фрэнком Розенблаттом в 1958 году, f — ступенчатая функция: если сумма больше нуля, выход равен 1, иначе 0. Перцептрон делит пространство входов гиперплоскостью на две части, поэтому может разделять только линейно разделимые классы.

Правило обучения перцептрона просто: если на примере предсказание ошибочно, веса корректируются по формуле w = w + lr * (y - yhat) * x, а смещение — по формуле b = b + lr * (y - yhat). На линейно разделимых данных (например, логические функции И и ИЛИ) алгоритм за конечное число шагов находит решение. А вот классы функции XOR одной прямой разделить нельзя; Марвин Минский и Сеймур Пейперт доказали это ограничение в 1969 году, что на время снизило интерес к нейронным сетям.

Многослойный перцептрон (MLP) состоит из входного слоя, одного или нескольких скрытых слоёв и выходного слоя; каждый нейрон слоя связан со всеми нейронами следующего. Нелинейные функции активации скрытых слоёв (sigmoid, tanh, ReLU = max(0, z)) позволяют сети изучать криволинейные границы: сеть с двумя скрытыми нейронами способна решить XOR. Без нелинейности любое число слоёв было бы равно одному линейному преобразованию. По универсальной теореме аппроксимации даже один скрытый слой с достаточным числом нейронов может приблизить любую непрерывную функцию с любой точностью, но на практике более глубокие сети эффективнее.

Многослойную сеть обучают алгоритмом обратного распространения ошибки (backpropagation): при прямом проходе сеть вычисляет предсказание и ошибку, а при обратном с помощью цепного правила находится градиент ошибки по каждому весу. Затем веса обновляются градиентным спуском или его усовершенствованными вариантами (например, Adam). Этот процесс повторяется на протяжении эпох, а чтобы вовремя заметить переобучение, следят и за ошибкой на валидационной выборке.

Главное

• Нейрон берёт взвешенную сумму входов, добавляет смещение и пропускает результат через функцию активации.
• Перцептрон разделяет только линейно разделимые классы; XOR ему не по силам.
• Скрытые слои и нелинейная активация (ReLU, tanh, sigmoid) расширяют возможности сети.
• Обратное распространение вычисляет градиент по всем весам с помощью цепного правила.
• Размер сети, скорость обучения и число эпох влияют на риск переобучения.