refac: Revise some minor issues

Author: Nikolay-Lysenko

notes/machine_learning/miscellaneous.ipynb

@@ -152,11 +152,8 @@
     "## Откуда может взяться недовольство заказчика машинно-обученной моделью?\n",
     "\n",
     "Любая прикладная задача моделирования имеет заказчика, неважно, внутреннего или внешнего. Когда заказчик принимает модель, он решает, устраивает ли она его. Причины недовольства заказчика бывают такие:\n",
-    "\n",
-    "1. Модель, и в самом деле, плохая;\n",
-    "\n",
-    "2. Заказчик не умеет пользоваться моделью;\n",
-    "\n",
+    "1. Модель, и в самом деле, плохая.\n",
+    "2. Заказчик не умеет пользоваться моделью.\n",
     "3. Ожидания заказчика неоправданно завышены.\n",
     "\n",
     "Какой бы ни была истинная причина, заказчик, скорее всего, решит, что реализовался первый сценарий: модель плохая. Поэтому в интересах специалиста по моделированию избежать ситуаций, когда хорошая модель попадает во второй или третий сценарий.\n",

notes/machine_learning/neural_networks.ipynb

@@ -347,7 +347,7 @@
     "\n",
     "Простая, но рабочая альтернатива пакетной нормализации называется [нормализацией весов](https://arxiv.org/pdf/1602.07868.pdf) (weight normalization). Она предлагает представить каждый вектор весов $w$ в виде $w = g \\frac{v}{\\Vert v \\Vert}$, где $g$ — скаляр, а $v$ — вектор той же длины, что и $w$. Очевидно, любой ненулевой вектор можно представить в таком виде. При выполнении градиентного спуска все частные производные теперь будет считаться не относительно $w$, а относительно $g$ и $v$. Таким образом, нормализация весов сводится к перепараметризации нейронной сети, когда вместо одних обучаемых параметров используются другие, но, по сути, сеть остаётся той же самой. Утверждается, что сходимость обучения при этом улучшается.\n",
     "\n",
-    "Нормализация весов в первую очередь оказывает эффект на дисперсию выходных значений. Чтобы лучше управлять ещё и средним, нормализацию весов можно совместить с урезанной версией пакетной нормализации, затрагивающей только среднее, но не трограющей среднеквадратичные отклонения (т.е. в ней есть $\\beta$, $\\mu_\\mathrm{batch}$ и $\\mu_\\mathrm{cum}$, но отсутствуют $\\gamma$, $\\sigma_\\mathrm{batch}$ и $\\sigma_\\mathrm{cum}$). \n",
+    "Нормализация весов в первую очередь оказывает эффект на дисперсию выходных значений. Чтобы лучше управлять ещё и средним, нормализацию весов можно совместить с урезанной версией пакетной нормализации, затрагивающей только среднее, но не трогающей среднеквадратичные отклонения (т.е. в ней есть $\\beta$, $\\mu_\\mathrm{batch}$ и $\\mu_\\mathrm{cum}$, но отсутствуют $\\gamma$, $\\sigma_\\mathrm{batch}$ и $\\sigma_\\mathrm{cum}$). \n",
     "\n",
     "#### Послойная нормализация\n",
     "\n",
@@ -370,7 +370,9 @@
    "source": [
     "## Субдискретизация\n",
     "\n",
-    "В свёрточных нейронных сетях часто используют слой, в котором фильтр (filter, kernel) проходит по входу с некоторым шагом (stride) и каждый раз от всего, что попадает в него, берёт значение некоторой агрегирующей функции, становящееся значением в соответствующем выходном юните. В англоязычной литературе этот слой называют \"pooling\", а в русскоязычной литературе принято название «субдискретизация», хотя оно не совсем точное. В цифровой обработке сигналов субдискретизацией (subsampling, downsampling) называют снижение частоты дискретизации (sample rate, frame rate), но с такой точки зрения субдискретизацией является и свёртка (convolution) с шагом, большим 1. Более того, если в слое так называемой субдискретизации шаг равен 1 и используется режим работы с граничными значениями, за которым благодаря MATLAB'у укоренилось название \"same\", то ни частота дискретизации, ни даже размерность не изменятся.\n",
+    "В свёрточных нейронных сетях часто используют слой, в котором фильтр (filter, kernel) проходит по входу с некоторым шагом (stride) и каждый раз от всего, что попадает в него, берёт значение некоторой агрегирующей функции, становящееся значением в соответствующем выходном юните.\n",
+    "\n",
+    "В англоязычной литературе этот слой называют \"pooling\", а в русскоязычной литературе принято название «субдискретизация», хотя оно не совсем точное. В цифровой обработке сигналов субдискретизацией (subsampling, downsampling) называют снижение частоты дискретизации (sample rate, frame rate). В контексте изображений частотой дискретизации выступает плотность пикселей (DPI, dots-per-inch), то есть она прямо пропорциональна размеру в пикселях. Но при таких определениях субдискретизацией является и свёртка (convolution) с шагом, большим 1. Более того, есть и примеры, когда слой так называемой субдискретизации не меняет частоту дискретизации: скажем, если шаг равен 1 и используется режим работы с граничными значениями, за которым благодаря MATLAB'у укоренилось название \"same\".\n",
     "\n",
     "В качестве агрегирующей функции можно взять максимум — тогда речь пойдёт о субдискретизации максимумом (max pooling). Её часто используют для задач, связанных с изображениями, потому что она придаёт следующие свойства:\n",
     "* устойчивость к сдвигам изображения на небольшое количество пикселей;\n",