文章

摘要 AI alignment，广义的 SFT 技术，因为其多种多样的实现方式，包括 continue learning、fine turing、LoRA、RLHF 等等，往往让大家对这个过程充满了好奇和憧憬，觉得似乎任何 NLP 的问题，只要拥有了神乎奇迹的 SFT 能力，就能从 pre-train model 进行进一步的提升，从而解决问题。 ...

最近的新玩具：UglyChain 先上链接：UglyChain ，文档：https://uglychain.uglyboy.cn 最近几个月都在开发这个项目。一方面是自己有更多的关于大模型开发的定制需求，需要更加底层的接触模型的接口，从零开始开发适合自己的脚手架对熟悉大模型应用有很大的帮助；另一方面也确实是因为当前主流的大模型开发框架，例如 LangChain，LlamaIndex 等工具对开发者并不友好，所有的功能都封装得太过，使得使用起来很不灵活，尤其是大模型这种常常遇到不可预期的错误的情况，很难定位和解决问题。 ...

摘要 上一篇 介绍了如何在 Hugo 中使用 Reveal.js 进行 Slide 分享后，这段时间把自己历史的分享逐一迁移到博客上了。这个过程中，又发现了上次方案的一些问题，并做了很多细节的调整，整理如下： ...

摘要 又开始折腾博客了。 ...

从拼多多市值超过阿里说起 昨天，拼多多的市值超过阿里了。 随后，看到了诸多的自媒体和身边资本圈的朋友开始热议，然后是前同事们的讨论，然后是马老师讲话又炸出一波人跟着转发着各种评论。 ...

大语言模型的基本逻辑 大语言模型的本质是一个 N-GRAM 模型，即： 定义： 假设 $w_1, w_2,\dots, w_{N}$ 是一个单词序列。我们可以按如下公式计算单词序列的概率： $$ p(w_{1},w_{2},\dots,w_{N})=\prod^N_{i=1}p(w_{i}|w_{1},w_{2},\dots,w_{i}) $$ 该模型是一个 $N-1$ 阶的马尔可夫链，称为 N-GRAM 模型 ...