Свёрточные нейронные сети (CNN)

Если подать изображение в обычную полносвязную сеть, число параметров становится чрезмерным: цветное изображение 224 × 224 содержит 150528 входных значений, и при 1000 нейронов в первом слое потребуется около 150 миллионов весов. Такая сеть к тому же не учитывает пространственное расположение пикселей: соседние пиксели обрабатываются так же, как далёкие. Свёрточные нейронные сети (CNN) решают эту проблему за счёт локальных связей и разделения весов.

Свёрточный слой сдвигает небольшой фильтр (ядро, например 3 × 3) по изображению, в каждой позиции умножает пиксели на веса фильтра, суммирует и получает карту признаков (feature map). Один и тот же фильтр применяется ко всему изображению, поэтому параметров мало, а объект обнаруживается независимо от того, в какой части изображения он расположен. Фильтры не задают вручную, а обучают: первые слои выделяют границы и углы, более глубокие — формы и части объектов. Строго говоря, в библиотеках эта операция является взаимной корреляцией, но по традиции её называют свёрткой.

Основные гиперпараметры свёртки: размер фильтра, шаг (stride) и дополнение (padding). Если размер входа равен n, фильтра — f, дополнения — p, а шаг — s, то размер выхода равен floor((n + 2*p - f) / s) + 1; например, при n = 32, f = 5, p = 0, s = 1 получается 28. Слой пулинга (чаще всего max pooling 2 × 2) уменьшает карту признаков, сокращает вычисления и повышает устойчивость к небольшим сдвигам. Результат свёртки обычно пропускают через активацию ReLU.

Типичная CNN последовательно чередует блоки свёртки, ReLU и пулинга, а в конце полносвязный слой и softmax выдают вероятности классов. Сеть LeNet-5 Яна Лекуна (1998) распознавала рукописные цифры; AlexNet (2012) с большим отрывом победила в конкурсе ImageNet и начала эпоху глубокого обучения; ResNet (2015) с помощью остаточных (skip) связей позволила обучать сети из сотен слоёв. При нехватке данных применяют аугментацию данных и перенос обучения (transfer learning) — адаптацию заранее обученной модели к новой задаче.

Главное

• CNN благодаря локальным связям и общим весам использует намного меньше параметров, чем полносвязная сеть.
• Свёрточный слой с обучаемыми фильтрами строит карту признаков; с глубиной признаки усложняются.
• Размер выхода находится по формуле floor((n + 2*p - f) / s) + 1.
• Пулинг уменьшает размер и повышает устойчивость к небольшим сдвигам.
• При нехватке данных помогают аугментация и перенос обучения.