算数编码才是压缩的本质 一直以来，大家对于大模型的理解都接受了“压缩即是智慧”这个思想，这个想法源自 Compression for AGI - Jack Rae | Stanford MLSys #76 里面核心模式只有一个： 代码 假定我有一个程序 f，我将 f 的代码传输给另一端； 我有一个序列需要传输，我通过 f 对逐个字符出现的概率进行了预测； 我根据算数编码，将结果编码后，传输给了另一端； 最后传输的信息量最小。 这不过是算数编码的定义好不好！！！ 哪里有什么神奇的地方。。。 ...

基本安装 搭建站点 1 hugo new site <name of site> -f yml 初始化 Git 仓库 1 2 git init git branch -m main # 兼容 Github 的设置 安装主题 1 git submodule add --depth=1 https://github.com/adityatelange/hugo-PaperMod.git themes/PaperMod 若是已经安装过主题的，需要下面的命令激活 1 git submodule update --init --recursive 本地调试 1 hugo server 添加新文章 1 hugo new posts/my-first-post.md 配置 配置 config.yml 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 baseURL: "https://examplesite.com/" languageCode: zh-cn title: ExampleSite theme: PaperMod timeZone: Asia/Shanghai enableInlineShortcodes: true enableGitInfo: true enableRobotsTXT: true enableEmoji: true hasCJKLanguage: true outputs: home: [HTML, RSS, JSON] Params: title: ExampleSite description: "ExampleSite description" author: xxx homeInfoParams: Title: Hi there wave Content: Can be Info, links, about... socialIcons: # optional - name: rss url: /index.xml ShowFullTextinRSS: true ShowReadingTime: true ShowCodeCopyButtons: true DateFormat: "2006-01-02" # 日期格式化 menu: main: - identifier: home name: 主页 url: / weight: 10 - identifier: search name: 搜索 url: /search weight: 20 - identifier: tags name: 标签 url: /tags weight: 30 - identifier: archives name: 时间轴 url: /archives weight: 40 配置 content/archives.md 1 2 3 4 5 --- title: "时间轴" layout: "archives" summary: archives --- 配置 content/search.md 1 2 3 4 5 6 --- title: "搜索" # in any language you want layout: "search" # is necessary summary: "search" placeholder: "Typing something..." --- 增加 Latex 数学公式的支持 在 layouts/partials 路径下新建文件 extend_head.html： ...

Dataset Size 和 Loss 的关系 最大似然估计（MLE） 一切机器学习的本质都是最大似然估计： 模型下的理想真实世界的概率分布：$p(x|\theta)$ 我们不知道真实世界的分布，所以我们要用样本估计似然函数 $L(\theta|x)$ ...

组织理论 组织背后的核心要素 员工没有主人翁意识，工作不积极，不加班； 不同部门不能很好的协同合作，总是互相指责，甚至拆台； 大家想法不统一，总也拧不成一股绳； 团队氛围不好，大家都是精致的利己主义者； 留不住好员工，优秀的人培养一阵子就要跳槽（创业）去了； 有哪些手段可以解决这些组织问题？ 提升管理能力（领导能力、战略决策能力等） 调整组织架构、流程、制度（机制设计、利益分配） 优化战略目标的设定和拆解（KPI 考核） 组织文化建设（使命、愿景、价值观） 可这些“办法”总让人有些隔靴瘙痒 各种方案分属不同的领域，为何能解决同一类问题？ 这些问题好像也没办法被解决，只能被改进； 难以定义一个组织“质量”指标，来衡量这些手段带来的改进程度 组织的本质是共情 组织是一群有共情的人尝试进一步获取共情信息的团体 ...

科学决策 如何做出正确的决策 什么是决策 想做的事情很多，但没有足够的资源全做，所以要进行优先级排序； 决策的基本原则： 找到主要矛盾，对方案做优先级排序； 当主要矛盾退化为次要矛盾时，重新针对新的主要矛盾重复上述过程； 北京簋街（著名的美食街）有一家麻辣小龙虾的店：通乐老店，经营多年，营收情况一直比较稳定（盈利）。请问它如果有 500w 的投资，想进一步的发展，你会采取怎样的策略？ 研究特色小龙虾； 开发小龙虾以外的特色美食； 在簋街开分店（或扩大店面）； 在簋街之外开分店； 以上都做尝试； 簋街的特色是麻辣小龙虾，绝大部分食客就是冲着麻辣小龙虾去的簋街； 簋街最大的小龙虾品牌是胡大和仔仔，都有至少 5～6 家分店，而且每家分店在高峰期都会排很长的队； 通乐老店的大众点评中高赞评价是：味道不错；相比于胡大和仔仔，最大的好处是不用排队，上菜快，停车方便； 大众点评的高赞菜，除麻辣小龙虾外，主要是：麻辣板筋、馋嘴蛙、麻辣蜗牛等麻辣的特色料理。 还有一些信息 小龙虾具有季节性； 簋街的地租明显高于簋街外临近区域的租金； 预制菜和直播（吃播）是当下年轻人中流行的方式； 簋街有一家“很久以前羊肉串”也非常的火，每天排队的人也很多； 启示 决策需要充分且必要的信息。 决策是一门科学： 不同的决策者能够根据具体情况（信息充分时），得出相同或相似的结论。 如果出现不同的决策，首先要看信息是否对齐且充分和必要，再看是否运用了科学的态度进行决策。 决策所需要的信息 市场和份额 ...

想法 原本是打算不再在这里写技术类博客了，结果最近的一个小成果确实没啥合适的地方存放，所以还是留在这里吧。 ...