大模型对齐的数学理解

摘要 AI alignment,广义的 SFT 技术,因为其多种多样的实现方式,包括 continue learning、fine turing、LoRA、RLHF 等等,往往让大家对这个过程充满了好奇和憧憬,觉得似乎任何 NLP 的问题,只要拥有了神乎奇迹的 SFT 能力,就能从 pre-train model 进行进一步的提升,从而解决问题。 ...

2024-02-27 · 8 分钟 · 癸老师