Пример сверточной нейросети: от архитектуры до реализации на PyTorch и TensorFlow

Что такое сверточная нейронная сеть

Сверточная нейронная сеть (CNN) — это архитектура нейросетей, предназначенная для обработки данных с сеточной структурой, таких как изображения и видео. Основная идея заключается в использовании операции свертки для автоматического выделения признаков. В отличие от полносвязных сетей, CNN учитывает пространственную структуру данных, что делает их эффективными для задач компьютерного зрения.

История CNN началась с работ Яна Лекуна, который предложил архитектуру LeNet-5 для распознавания рукописных цифр. Однако широкую популярность они получили после 2012 года, когда AlexNet, представленная Алексом Крижевским и Джеффом Хинтоном, значительно снизила ошибку на конкурсе ImageNet. С тех пор CNN стали основой для множества приложений: от распознавания лиц до анализа медицинских снимков.

Основные компоненты: сверточный слой

Сверточный слой — ключевой элемент CNN. Он применяет набор обучаемых фильтров (ядер) к входному изображению. Фильтр — это матрица небольшого размера (например, 3x3), которая сканирует изображение, вычисляя скалярное произведение с каждой областью. Результатом является карта признаков, показывающая, где в изображении присутствуют определенные паттерны.

Например, на первом слое фильтры могут выделять края, на втором — текстуры, на третьем — части объектов. Количество фильтров в слое — гиперпараметр, который выбирается разработчиком. Важные параметры свертки: размер ядра, шаг (stride) и дополнение (padding). Дополнение позволяет сохранить пространственные размеры, а шаг уменьшает размерность.

Пулинговые слои и их роль

Пулинговый слой (подвыборка) уменьшает размерность карт признаков, сохраняя наиболее важную информацию. Самый распространенный тип — MaxPooling, который выбирает максимальное значение из окна (например, 2x2). Это делает сеть более устойчивой к небольшим смещениям и уменьшает вычислительную нагрузку.

Пулинг также увеличивает рецептивное поле последующих слоев, позволяя сети видеть более крупные области исходного изображения. Обычно пулинг применяется после сверточного слоя и функции активации. В современных архитектурах иногда используют свертки с шагом больше 1 вместо пулинга, но классический подход остается популярным.

Полносвязные слои и выход сети

После нескольких блоков свертки и пулинга полученные карты признаков преобразуются в одномерный вектор с помощью слоя Flatten. Затем следуют полносвязные слои, которые выполняют итоговую классификацию или регрессию. Например, для задачи классификации на 10 классов последний слой использует функцию активации softmax, а для регрессии — линейную активацию.

Количество нейронов в полносвязных слоях подбирается экспериментально. Важно избегать переобучения, поэтому часто применяют dropout или L2-регуляризацию. В примере с определением координат центра солнца выходной слой имеет два нейрона, выдающих значения x и y.

Пример архитектуры на PyTorch: задача регрессии

Рассмотрим практический пример из источника: определение координат центра солнечного диска на изображениях размером 256x256. Архитектура включает три сверточных слоя с фильтрами 32, 8 и 4 соответственно, каждый с ReLU и MaxPooling. После Flatten следуют два полносвязных слоя: 4096 -> 128 -> 2.

Код модели на PyTorch:

model = nn.Sequential(
    nn.Conv2d(3, 32, 3, padding='same'),
    nn.ReLU(),
    nn.MaxPool2d(2),
    nn.Conv2d(32, 8, 3, padding='same'),
    nn.ReLU(),
    nn.MaxPool2d(2),
    nn.Conv2d(8, 4, 3, padding='same'),
    nn.ReLU(),
    nn.MaxPool2d(2),
    nn.Flatten(),
    nn.Linear(4096, 128),
    nn.ReLU(),
    nn.Linear(128, 2)
)

Обучение проводилось с оптимизатором Adam и функцией потерь MSELoss. После 5 эпох средняя квадратичная ошибка составила около 9.5, что говорит о хорошей точности для данной задачи.

Пример архитектуры на TensorFlow: классификация

Второй пример, из гайда на Хабре, демонстрирует классическую архитектуру для классификации изображений (например, CIFAR-10). Модель состоит из трех сверточных слоев с 32, 64 и 64 фильтрами, каждый с ReLU и MaxPooling, затем Flatten и два полносвязных слоя (64 и 10 нейронов).

Код на TensorFlow:

model = models.Sequential([
    layers.Conv2D(32, (3, 3), activation='relu', input_shape=(32, 32, 3)),
    layers.MaxPooling2D((2, 2)),
    layers.Conv2D(64, (3, 3), activation='relu'),
    layers.MaxPooling2D((2, 2)),
    layers.Conv2D(64, (3, 3), activation='relu'),
    layers.Flatten(),
    layers.Dense(64, activation='relu'),
    layers.Dense(10, activation='softmax')
])

Такая архитектура является стандартной и может быть легко адаптирована под другие задачи. Важно отметить, что выбор количества слоев и фильтров зависит от сложности задачи и объема данных.

Обучение сверточных сетей: ключевые аспекты

Обучение CNN включает три основных этапа: прямой проход (forward), вычисление функции потерь и обратное распространение ошибки (backpropagation). В прямом проходе данные проходят через все слои, формируя предсказания. Функция потерь оценивает разницу между предсказанием и истинным значением: для регрессии часто используют MSE, для классификации — кросс-энтропию.

Обратное распространение вычисляет градиенты и обновляет веса с помощью оптимизатора, например, Adam или SGD. Важным аспектом является регуляризация для предотвращения переобучения: L2-регуляризация (weight_decay), dropout, а также аугментация данных. В примере с солнцем использовался weight_decay=0.001, что улучшило обобщающую способность.

Известные архитектуры CNN

За годы развития CNN появилось множество архитектур, каждая из которых внесла вклад в повышение точности и эффективности. LeNet-5 — одна из первых, использовалась для распознавания цифр. AlexNet победила в ImageNet 2012, применив ReLU и dropout. VGG отличается простотой и использованием маленьких фильтров 3x3, но требует много вычислений.

GoogLeNet (Inception) использует inception-модули, которые объединяют свертки разных размеров. ResNet ввела остаточные блоки (residual blocks), позволяющие обучать очень глубокие сети за счет пропуска соединений. Эти архитектуры доступны в предобученном виде в библиотеках, что позволяет использовать transfer learning для решения новых задач.

Применение CNN в реальных задачах

Сверточные нейросети нашли широкое применение в различных сферах. В медицине они анализируют рентгеновские снимки, МРТ и КТ для обнаружения патологий. В приборостроении используются в беспилотных автомобилях для распознавания дорожных знаков и пешеходов. Системы распознавания лиц применяются в банках и видеонаблюдении.

Также CNN используются для распознавания документов, анализа спутниковых снимков, в задачах сегментации и детекции объектов. Благодаря предобученным моделям, таким как ResNet и VGG, разработчики могут быстро создавать точные решения, дообучая модели на своих данных.

Как выбрать архитектуру для своей задачи

Выбор архитектуры CNN зависит от нескольких факторов: сложности задачи, размера датасета, доступных вычислительных ресурсов и требуемой точности. Для простых задач, таких как распознавание цифр, достаточно небольшой сети вроде LeNet-5. Для более сложных, например, классификации тысяч категорий, потребуются глубокие сети типа ResNet.

Если данных мало, рекомендуется использовать transfer learning: взять предобученную модель и дообучить ее на своих данных. Это значительно ускоряет обучение и повышает точность. Также важно экспериментировать с гиперпараметрами: количеством слоев, фильтров, размером ядра, шагом, функцией активации и оптимизатором.

Вопросы и ответы