Глубокое обучение в картинках. Визуальный гид по искусственному интеллекту [Грант Бейлевельд] (pdf) читать постранично, страница - 3

нейроанатомию........................................................................117
Перцептрон.....................................................................................................................................118
Детектор хот-догов................................................................................................................119
Самое важное уравнение в этой книге............................................................................122
Современные нейроны и функции активации...................................................................124
Нейроны sigmoid....................................................................................................................125
Нейрон типа tanh...................................................................................................................127
ReLU: Rectified Linear Unit................................................................................................128
Выбор типа нейронов..................................................................................................................129
Итоги.................................................................................................................................................130

8  

ОГЛАВЛЕНИЕ

Глава 7. Искусственные нейронные сети........................................................... 132
Входной слой..................................................................................................................................132
Полносвязанный слой.................................................................................................................133
Полносвязанная сеть, определяющая хот-доги..................................................................134
Прямое распространение через первый скрытый слой............................................135
Прямое распространение через последующие слои..................................................137
Слой softmax для сети классификации фастфуда.............................................................139
Повторный обзор неглубокой сети.........................................................................................142
Итоги.................................................................................................................................................144
Глава 8. Обучение глубоких сетей.................................................................... 145
Функции стоимости.....................................................................................................................145
Квадратичная функция стоимости..................................................................................146
Насыщенные нейроны..........................................................................................................147
Перекрестная энтропия.......................................................................................................148
Оптимизация: обучение методом минимизации стоимости..........................................150
Градиентный спуск................................................................................................................150
Скорость обучения ...............................................................................................................152
Размер пакета и стохастический градиентный спуск................................................154
Как избежать ловушки локального минимума............................................................158
Обратное распространение........................................................................................................160
Настройка числа скрытых слоев и нейронов......................................................................161
Сеть промежуточной глубины на основе Keras..................................................................163
Итоги.................................................................................................................................................166
Глава 9. Совершенствование глубоких сетей..................................................... 168
Инициализация весов..................................................................................................................168
Распределения Ксавье Глоро.............................................................................................172
Нестабильность градиентов......................................................................................................175
Исчезающие градиенты.......................................................................................................175
Взрывные градиенты............................................................................................................176
Пакетная нормализация......................................................................................................176
Обобщающая способность модели (предотвращение переобучения).......................178
Регуляризация L1 и L2.........................................................................................................180
Прореживание.........................................................................................................................181
Обогащение данных..............................................................................................................184
Необычные оптимизаторы.........................................................................................................184
Метод моментов......................................................................................................................185

Оглавление

  9

Метод Нестерова....................................................................................................................185
AdaGrad.....................................................................................................................................185
AdaDelta и RMSProp............................................................................................................186
Adam............................................................................................................................................187
Глубокая нейронная сеть на основе Keras............................................................................188
Регрессия..........................................................................................................................................189
TensorBoard.....................................................................................................................................192
Итоги.................................................................................................................................................195

ЧАСТЬ III. ИНТЕРАКТИВНЫЕ ПРИЛОЖЕНИЯ ГЛУБОКОГО ОБУЧЕНИЯ...........................................197
Глава 10. Компьютерное зрение....................................................................... 198
Сверточные нейронные сети.....................................................................................................198
Двумерная структура визуальных изображений........................................................199
Вычислительная сложность...............................................................................................199
Сверточные