update

Author: WorldEditors

OmniRL/index.html

@@ -244,8 +244,8 @@ <h2>首次揭示出数据多样性和序列长度重要性根源</h2>
 </center>
 OmniRL使用数千万参数的Transformer和高效线性注意力结构来进行建模。训练任务数超过50万个，时间步数超过一百万。OmniRL在实验中对比相同数据量，但来自不同任务数量的效果，发现任务数量不够多时，模型会转向记忆 + 环境识别模式，即把所有训练的环境储存在参数记忆中，通过上下文进行快速的辨识。这种模式下，智能体能否以更少的样本适应训练过程中见过的环境，但却不能泛化到未见环境。而任务数量充分时，才能激发通用上下文学习能力，这种能力可以有效泛化到未见任务，但对于所有任务都需要更长的上下文学习周期。这个结论一定程度说明:
 <ul>  
-<li><strong style="color: red; font-weight: bold;">数据的完整性和多样性比数据的绝对准确性（absolute fidelity）更重要</strong>（Long In-Context Learning Horizon）.即使采用失真的数据，通过提升上下文学习的泛化性，也有可能更好泛化到真实任务。</li>  
-<li><strong style="color: red; font-weight: bold;">长序列建模和长时记忆是通用学习能力的自然选择</strong>（High In-Context Learning Potential）.在训练任务数量增加时，模型在学习过程中自然选择不去记忆任务关联的知识，而是只记忆学习方法，从而导致对训练集中出现的任务也需要花费更长适应时间。这正是大规模元学习的特点。</li>  
+<li><strong style="color: red; font-weight: bold;">数据的完整性和多样性比数据的绝对准确性（absolute fidelity）更重要</strong>.即使采用失真的数据，通过提升上下文学习的泛化性，也有可能更好泛化到真实任务。</li>  
+<li><strong style="color: red; font-weight: bold;">长序列建模和长时记忆是通用学习能力的自然选择</strong>.在训练任务数量增加时，模型在学习过程中自然选择不去记忆任务关联的知识，而是只记忆学习方法，从而导致对训练集中出现的任务也需要花费更长适应时间。这正是大规模元学习的特点。</li>  
 </ul>