От функций к градиенту

Прежде чем погрузиться в понятие градиента функции — ключевого инструмента математического анализа, оптимизации и машинного обучения — стоит выстроить прочный фундамент. Градиент не существует сам по себе: это вектор, составленный из частных производных, а значит, его понимание требует уверенного владения дифференциальным исчислением. Но и здесь есть нюанс: производная — это, по сути, предел, а потому без чёткого понимания пределов функций и бесконечно малых величин любое определение покажется формальным и абстрактным.

С чего начать?

Я предлагаю вам пойти последовательно, в следующем порядке:

• Глава 1. Функция — отправная точка.

• Глава 2. Предел функции — основа анализа.

• Глава 3. Производная = скорость изменения.

• Глава 4. Градиент — производная в многомерном мире.

Почему это важно?

Многие пытаются изучать градиентный спуск, не разобравшись в производных. В результате — механическое применение формул без понимания, почему алгоритм работает.

Совет: если тема пределов и производных кажется забытой или не до конца ясной, начните с них. Это как учиться кататься на велосипеде: сначала баланс, потом скорость, и только потом — трюки.

Поскольку первая глава посвящена математическому анализу, то так же рекоменду к просмотру замечательный труд 3Blue1Brown, которым я так-же вдохновлялся на тему: «Суть матанализа».

Для просмотра видео включите VPN

from IPython.display import HTML

video_url = "https://www.youtube.com/watch?v=qd0rzmSGPWg&list=PLVjLpKXnAGLVbrcJdDb0a2RS6MmRCgxJz"
HTML(f'<iframe width="840" height="315" src="{video_url}" frameborder="0" allowfullscreen></iframe>')