Skip to content

Commit 4a3d97c

Browse files
refac: Clarify tree building goal
1 parent a1e9544 commit 4a3d97c

File tree

1 file changed

+1
-1
lines changed

1 file changed

+1
-1
lines changed

notes/machine_learning/miscellaneous.ipynb

Lines changed: 1 addition & 1 deletion
Original file line numberDiff line numberDiff line change
@@ -567,7 +567,7 @@
567567
"Знание, чему равен оптимальный эмпирический риск, позволяет найти функцию для оценки качества разбиения. Пусть $I$ — множество индексов объектов, пришедших в узел, разбиение в котором оценивается, а $I_\\mathrm{left}$ и $I_\\mathrm{right}$ — множество индексов объектов, попавших в его левый или правый узел-потомок соответственно. Качество такого разбиения равно:\n",
568568
"$$\\frac{1}{2}\\left( \\frac{\\left(\\sum_{i \\in I} g_i^{(t)}\\right)^2}{\\sum_{i \\in I} h_i^{(t)}} - \\frac{\\left(\\sum_{i \\in I_\\mathrm{left}} g_i^{(t)}\\right)^2}{\\sum_{i \\in I_\\mathrm{left}} h_i^{(t)}} - \\frac{\\left(\\sum_{i \\in I_\\mathrm{right}} g_i^{(t)}\\right)^2}{\\sum_{i \\in I_\\mathrm{right}} h_i^{(t)}} \\right).$$\n",
569569
"\n",
570-
"По такому критерию качества можно построить дерево $b_t$, не задумываясь о том, какую целевую переменную оно предсказывает и как интерпретируются его предсказания. Единственное, что про такое дерево известно, — что оно пытается воспроизвести шаг в методе Ньютона.\n",
570+
"По такому критерию качества можно построить дерево $b_t$, не задумываясь о том, какую целевую переменную оно предсказывает. У отдельных предсказаний, скорее, нет никакой интерпретации. Неверно, что дерево учится воспроизводить вектор, по которому делается шаг в методе Ньютона. Верно лишь то, что в рамках локальной аппроксимации второго порядка дерево пытается прийти в точку, в которой эмпирический риск будет наименьшим. В частности, может получиться так, что дерево приведёт совсем не туда же, куда и метод Ньютона, но эмпирический риск будет близок к оптимальному. \n",
571571
"\n",
572572
"#### Контроль разброса\n",
573573
"\n",

0 commit comments

Comments
 (0)