编码

引言 自 GPT3.5 引爆大模型概念以来，大家都期盼着 AGI1 的到来。但与此同时，当下各类大模型虽然依据 Scaling Law2，不断提升各方面的性能，但是关于模型的推理能力，总显得不足。 甚至科研界针对大模型究竟是否可能具有推理能力，也争论不休。例如下列近期比较热烈的讨论： ...

导言 伴随着大模型研究的推进和在应用中的实践，我们发现了一个现象——对于现有的 LLM 模型而言，一个好的编码可能会对其模型能力带来极大的助力。 关于这方面的思考其实由来已久，早前在听闻“压缩即智能”的论断，以及相关的数学阐述时，就产生过一种奇妙的念头： ...