RAG 的数学理解
问题的定义 探讨 RAG 之前，我们需要对我们要解决的问题做一个重新的理解。传统的 LLM 是一个语言的概率预测模型，它描述的是语言的自然分布概率，所以对于这样的模型，没有回答的答案哪个更好的说法，只有回答的答案哪个概率更高的描述。 ...
文章
大模型对齐的数学理解
摘要 AI alignment，广义的 SFT 技术，因为其多种多样的实现方式，包括 continue learning、fine turing、LoRA、RLHF 等等，往往让大家对这个过程充满了好奇和憧憬，觉得似乎任何 NLP 的问题，只要拥有了神乎奇迹的 SFT 能力，就能从 pre-train model 进行进一步的提升，从而解决问题。 ...
UglyChain，面向开发者的大模型开发框架
最近的新玩具：UglyChain 先上链接：UglyChain ，文档：https://uglychain.uglyboy.cn 最近几个月都在开发这个项目。一方面是自己有更多的关于大模型开发的定制需求，需要更加底层的接触模型的接口，从零开始开发适合自己的脚手架对熟悉大模型应用有很大的帮助；另一方面也确实是因为当前主流的大模型开发框架，例如 LangChain，LlamaIndex 等工具对开发者并不友好，所有的功能都封装得太过，使得使用起来很不灵活，尤其是大模型这种常常遇到不可预期的错误的情况，很难定位和解决问题。 ...
Hugo + Reveal.js 后续
摘要 上一篇 介绍了如何在 Hugo 中使用 Reveal.js 进行 Slide 分享后，这段时间把自己历史的分享逐一迁移到博客上了。这个过程中，又发现了上次方案的一些问题，并做了很多细节的调整，整理如下： ...
Hugo 更换字体 & 使用 Reveal.js 做在线展示
摘要 又开始折腾博客了。 ...
浮躁的时代
从拼多多市值超过阿里说起 昨天，拼多多的市值超过阿里了。 随后，看到了诸多的自媒体和身边资本圈的朋友开始热议，然后是前同事们的讨论，然后是马老师讲话又炸出一波人跟着转发着各种评论。 ...