В пособии рассматривается классический градиентный спуск. Однако изложение ведётся на продвинутом уровне. Пособие отличается довольно полным обзором современного состояния методов типа градиентного спуска.
В книге делается акцент не на изложении методов, а на способах получения новых методов из старых с помощью небольшого числа общих приёмов.
Пособие используется для преподавания численных методов оптимизации студентам 3 курса школы ПМИ МФТИ и 3 курса ФКН ВШЭ.