refac: Structure the note on regularization by norm

Author: Nikolay-Lysenko

notes/machine_learning/theory_of_machine_learning.ipynb

@@ -240,15 +240,21 @@
    "source": [
     "## Регуляризация штрафом, накладываемым на норму обучаемых параметров\n",
     "\n",
-    "Пусть есть метод машинного обучения, который настраивает по данным вектор параметров модели $\\theta$. Напомним, что эмпирическим риском называется среднее по обучающей выборке $(X_\\mathrm{train}, y_\\mathrm{train})$ значение функции потерь на объектах из неё, и именно эту величину метод машинного обучения должен минимизировать. Обозначим эмпирический риск за $E(\\theta) = E(\\theta, X_\\mathrm{train}, y_\\mathrm{train})$, то есть далее краткости ради зависимость от $(X_\\mathrm{train}, y_\\mathrm{train})$ будет опускаться. \n",
+    "#### Введение\n",
+    "\n",
+    "Пусть есть метод машинного обучения, который настраивает по данным вектор параметров модели $\\theta$. Напомним, что эмпирическим риском называется среднее по обучающей выборке $(X_\\mathrm{train}, y_\\mathrm{train})$ значение функции потерь на объектах из неё, и именно эта величина минимизируется в процессе обучения. Обозначим эмпирический риск за $E(\\theta) = E(\\theta, X_\\mathrm{train}, y_\\mathrm{train})$, то есть далее краткости ради зависимость от $(X_\\mathrm{train}, y_\\mathrm{train})$ будет опускаться. \n",
+    "\n",
+    "В общем случае регуляризацией называются любые изменения в процессе обучения, от которых ошибка на обучающей выборке не уменьшается, а вот на тестовой выборке уменьшается.\n",
     "\n",
-    "В общем случае регуляризацией называются любые изменения в процессе обучения, от которых ошибка на обучающей выборке не уменьшается, а вот на тестовой выборке уменьшается. Частным случаем регуляризации является добавление к эмпирическому риску штрафного слагаемого:\n",
+    "Частным случаем регуляризации является добавление к эмпирическому риску штрафного слагаемого:\n",
     "$$\\alpha \\Vert \\theta \\Vert_p = \\alpha \\left(\\sum_{i=1}^k \\vert \\theta_i \\vert^p\\right)^\\frac{1}{p},$$\n",
-    "где $\\alpha \\ge 0$ — гиперпараметр, задающий силу регуляризации, а $k$ — длина вектора $\\theta$.\n",
+    "где $\\alpha \\ge 0$ — гиперпараметр, задающий силу регуляризации, а $k$ — длина вектора $\\theta$. Такая регуляризация применима для линейных моделей, нейронных сетей и других методов, где большие по норме веса могут сопутствовать переобучению. \n",
     "\n",
-    "Наиболее часто используются значения $p = 1$ ($L_1$-регуляризация, LASSO Тибширани) и $p = 2$ ($L_2$-регуляризация, гребневая регрессия). Первый из этих вариантов приводит к занулению параметров, слабо влияющих на эмпирический риск, а второй — лишь к затуханию таких параметров.\n",
+    "Наиболее часто используются значения $p = 1$ ($L_1$-регуляризация, LASSO Тибширани) и $p = 2$ ($L_2$-регуляризация, гребневая регрессия). Первый из этих вариантов приводит к занулению параметров, слабо влияющих на эмпирический риск, а второй — лишь к затуханию таких параметров. Причины этого отличия будут разобраны ниже в соответствующем разделе.\n",
     "\n",
-    "Чтобы понять, чем вызвано это отличие, посмотрим на добавление штрафа $\\alpha \\Vert \\theta \\Vert_p$ под другим углом. Рассмотрим задачу, которая, на первый взгляд, может показаться иной: минимизировать $E(\\theta)$ при ограничении $\\Vert \\theta \\Vert_p \\le c$, где $c > 0$ — заданная константа. Функция Лагранжа для такой задачи имеет вид:\n",
+    "#### Связь с ограничением нормы весов\n",
+    "\n",
+    "Посмотрим на добавление штрафа $\\alpha \\Vert \\theta \\Vert_p$ под другим углом. Рассмотрим задачу, которая, на первый взгляд, может показаться иной: минимизировать $E(\\theta)$ при ограничении $\\Vert \\theta \\Vert_p \\le c$, где $c > 0$ — заданная константа. Функция Лагранжа для такой задачи имеет вид:\n",
     "$$L(\\theta, \\lambda) = E(\\theta) + \\lambda (\\Vert \\theta \\Vert_p - c),$$\n",
     "где $\\lambda \\ge 0$ (неотрицательность $\\lambda$ возникает, потому что эта $\\lambda$ относится к ограничению в виде неравенства, а если бы было ограничение в виде равенства, то $\\lambda$ могла бы быть любым числом).\n",
     "\n",
@@ -259,9 +265,13 @@
     "Из этих двух соображений вытекает, что следующие две задачи эквивалентны:\n",
     "$$\\min_\\theta \\max_{\\lambda \\ge 0} L(\\theta, \\lambda),$$\n",
     "$$\\min_{\\theta, \\Vert \\theta \\Vert_p \\le c} E(\\theta).$$\n",
-    "Если вернуться к регуляризации штрафом на норму, эквивалентность этих двух задач означает, что для каждого $\\alpha > 0$ существует $c > 0$, такое что задача минимизации регуляризированного эмпирического риска эквивалентна задаче минимизации эмпирического риска без регуляризации, но с ограничением $\\Vert \\theta \\Vert_p \\le c$. Чем меньше $\\alpha$, тем больше $c$, а при $\\alpha = 0$ получаем, что, грубо говоря, $c = +\\infty$, то есть ограничения нет. Биекция, отображающая $\\alpha$ в $c$, зависит от $E(\\theta)$ и, в частности, от $(X_\\mathrm{train}, y_\\mathrm{train})$, так что в общем случае у неё нет явного аналитического вида. Поэтому иногда бывает удобнее регуляризацию на норму $\\theta$ формулировать через $c$, а не через $\\alpha$: например, если подобная формулировка имеет интерпретацию, связанную с решаемой задачей.\n",
+    "Если вернуться к регуляризации штрафом на норму, эквивалентность этих двух задач означает, что для каждого $\\alpha > 0$ существует $c > 0$, такое что задача минимизации регуляризованного эмпирического риска эквивалентна задаче минимизации эмпирического риска без регуляризации, но с ограничением $\\Vert \\theta \\Vert_p \\le c$. Чем меньше $\\alpha$, тем больше $c$, а при $\\alpha = 0$ получаем, что, грубо говоря, $c = +\\infty$, то есть ограничения нет. Биекция, отображающая $\\alpha$ в $c$, зависит от $E(\\theta)$ и, в частности, от $(X_\\mathrm{train}, y_\\mathrm{train})$, так что в общем случае у неё нет явного аналитического вида. Поэтому иногда бывает удобнее регуляризацию на норму $\\theta$ формулировать через $c$, а не через $\\alpha$: например, если подобная формулировка имеет интерпретацию, связанную с решаемой задачей.\n",
+    "\n",
+    "#### Сравнение $L_1$- и $L_2$-регуляризаций\n",
+    "\n",
+    "В свете предыдущего раздела получается, что $L_1$-регуляризация ищет $\\theta$ в $k$-мерном кубе с центром в начале координат и вершинами, у которых ровно одна координата равна $c$, а остальные равны 0. Ну а $L_2$-регуляризация ищет $\\theta$ в $k$-мерном шаре с центром в начале координат и радиусом $c$. Этот куб содержится в этом шаре. Более того, при увеличении $c$ шар может касаться линий уровня $E(\\theta)$ любой своей точкой, но для куба из-за его геометрии выше шансы, что он впервые пересечёт линию уровня $E(\\theta)$ ребром, а не гранью. Это и объясняет, откуда берётся отбор параметров.\n",
     "\n",
-    "Наконец, вернёмся к сравнению $L_1$- и $L_2$-регуляризаций. Получается, первая из них ищет $\\theta$ в $k$-мерном кубе с центром в начале координат и вершинами, у которых ровно одна координата равна $c$, а остальные равны 0. Вторая же ищет $\\theta$ в $k$-мерном шаре с центром в начале координат и радиусом $c$. Этот куб содержится в этом шаре. Более того, при увеличении $c$ шар может касаться линий уровня $E(\\theta)$ любой своей точкой, но для куба из-за его геометрии выше шансы, что он впервые пересечёт линию уровня $E(\\theta)$ ребром, а не гранью. Это и объясняет, откуда берётся отбор признаков. А для понимания, почему что отбор параметров у $L_1$-регуляризации, что затухание параметров у $L_2$-регуляризации затрагивают слабо влияющие параметры, а не важные параметры, можно взглянуть на иллюстрацию со страницы 229 книги [Goodfellow, Bengio, Courville (2016)](https://www.deeplearningbook.org/contents/regularization.html)."
+    "Наконец, для понимания, почему что отбор параметров у $L_1$-регуляризации, что затухание параметров у $L_2$-регуляризации затрагивают слабо влияющие параметры, а не важные параметры, можно взглянуть на иллюстрацию со страницы 229 книги [Goodfellow, Bengio, Courville (2016)](https://www.deeplearningbook.org/contents/regularization.html)."
    ]
   },
   {