зависит число слоев в сети, кол-во нейронов и т.п. и на что влияет их изменение?
Да никак
Андрей, где можно посмотреть распространенные подходы? Пока по тому что видел в нете, есть ощущение что люди ставят параметры как нравится.
Зависит от задачи
Существует размерность Вапника-Червоненкиса, и, больше я ничего не знаю по этому поводу. И она тебе ничего не даст толком на практике Смотри sota-архитектуры, а дальше разберешься
И при этом есть статья, где перцептрон с релу активацией не может приблизить синус.
Ну насколько я знаю, дело было не только в том, что избыточны Потому и появилось глубокое обучение, такие сетки прям мощнее оказались
Колмогорова
Ты про теорему о том, что любая непрерывная функция на единичном n-мерном кубе, может быть представлена в виде суммы ла-ла-ла?
Нуууу... О какой структуре? Научились для картинок фильтры обучать Вопрос почему этих фильтров так много
Хм... а теорема Колмогорова таких рамок не ставит и требует только непрерывности функций
И при этом это вносит баес нашего воспроиятия картинки, то, как свертка идет по картинке. Поэтому, возможно, визуальные трансформеры и работают на уровне / лучше сверток - у них этого баеса нет (у них другой).
Ну двумерная и двумерная. Почему все не решается 5 сверточными слоями
Ну или возможно, возможно, трансформеры - что-то вроде БИХ фильтров, когда свертки - КИХ-фильтры
Поинт в том, что этот биас связан с человеческим восприятием изображения. С тем, что связаны только ближайшие области на нем. Для трансформеров это не так.
Обсуждают сегодня