第三部分偏好对齐与推理训练¶

目的：SFT 告诉模型“像这个答案”，偏好学习告诉它“在这两个答案里更应该选哪个”，强化学习则让它自己生成轨迹并从结果中学习。本部分沿着训练信号逐步增强，而不是把算法名并排罗列。