215 похожих чатов

Может кто пояснить роль скипконекшн-блока для сглаживания гиперповерхности значения функции

ошибки пространства параметров модели?
Услышал это здесь (ссылка с тайм-кодом) https://youtu.be/egvX1wGCKSg?t=2044 , но автор только упомянает про это. Хотелось бы развёрнутое разъяснение

3 ответов

29 просмотров

Скипконнекшн сглаживает функцию ошибки в пространстве параметров, потому что в начале обучения модель ведёт себя так, как будто у нее меньше слоев. Как будто она проще. Уже потом, по ходу обучения, она усложняется, чтобы уловить более сложные зависимости. Это кратко.

Манкурт Кобейн- Автор вопроса
Pavel Chernov
Скипконнекшн сглаживает функцию ошибки в пространс...

Так а что нам это "сглаживание" даёт? Типа, запоминание информации, как в рекурентных сетях?

Манкурт Кобейн
Так а что нам это "сглаживание" даёт? Типа, запоми...

Нет. Градиентные методы обучения двигаются по поверхности ошибки, стараясь найти глобальный (или оптимальный) минимум. Если поверхность "шершавая" - труднее понять, куда двигаться. А если поверхность гладкая - проще понять, куда двигаться. То есть - обучение происходит быстрее. Помимо поверхности, скипконнекшены помогают решить проблемы gradient exploding / vanishing. Да и градиенты распространяются лучше во время backpropagation через скипконнекшены.

Похожие вопросы

Обсуждают сегодня

Всем привет! Имеется функция: function IsValidChar(ch: UTF8Char): Boolean; var i: Integer; ValidChars: AnsiString; begin ValidChars := 'abcdefghijklmnopqrstuvwxyzABCDE...
Евгений
44
И никого не интересует какие пакеты кто использует. ((% Заходишь на сайт симфони и видишь поддержку Украины - по законам РФ это ж экстремизм. Только никто не отказывается от с...
Am Ambrion
11
лучше скажите, причём тут паскаль?
Alexey Kulakov
36
Чтобы перехватить все нажимания буков на форме, надо хук ставить? Пробовал на форме ОнКейДаун, оно ловит клаву если фокус не на компоненте с вводом текста
Serjone
15
Но, может, есть уже проверенная? Наши требования такие: 1. Сообщения должны приходить из Инста в CRM оду 2. Должна быть возможность подключить несколько экаунтов Инстаграм. Р...
Alexander Sharoiko MSE / Александр Шаройко
7
Народ! Впервые клиенту пришло письмо от РКН, у вас, дескать, есть яндекс метрика, а нигде не написано, что вы ее юзаете. Никто не сталкивался?
Sasha Beep
14
Всем привет! вывожу на общей стр дочерние ресурсыв каждом ресурсе галерея, и первая фотка должна выводиться на общей [!DocLister? &prepare=photo !]
Alekso
12
Я правильно понимаю что нет способов получить список ожидающих заявок на вступление в группу с помощью бота из mtproto?
Шамиль Прилов
7
А можно вопрос? Мне сегодня сказали что у меня функция (которая просто заполняет массив значениями) не правильная void Full(double * arr, int n) { for (int i = 0; i < n; i...
† C E †
7
Добрый вечер. Хочу чтобы у меня в классе поле было функцией, которая возвращает строку. Делаю так: interface ... TGetOutPath = function : String of object; ... protec...
Kirill Filippenok
12
Карта сайта