量子位智库量子位 | 公众号 QbitAI天天色

在大模子争霸的期间，算力与效力的平衡成为决定输赢的枢纽。

端侧部署一直是大模子落地的临了一公里，却因算力瓶颈贫穷重重。

面壁智能和清华走出了一条与MoE不同的旅途——神经元级寥落激活，让模子在保捏性能的同期大幅镌汰资源奢华。

此次技巧探索的背后，是一个会通脑科学灵感与工程翻新的故事。

△《Configurable Foundation Models: Building LLMs from a Modular Perspective》论文

本期「大模子翻新架构」主题访谈，量子位邀请到面壁智能&清华CFM论文作家肖朝军，聊聊这场算力与效力的博弈以及大模子架构翻新的异日。

以下为量子位与面壁智能&清华CFM论文作家肖朝军的对话实录整理：

量子位：能通俗先容一下CFM（Configurable Foundation Models）技巧的中枢上风吗？

肖朝军：CFM是一种原生寥落技巧，愚弄模子原本就有的寥落激活性质，比较MoE不错极大普及模子参数效力。

量子位：参数效力是什么？极大普及参数效力意味着哪些上风？

肖朝军：参数效力是指模子单元参数的灵验性，一般能够反馈在交流参数限制下，模子是否进展更好。参数效力普及最径直的影响即是省显存、省内存。

尤其手机端不成能像云表一样用好几台GPU奇迹器一齐推几千亿参数限制的模子。手机内存有限，操作系统占一部分，个东谈主应用需要一部分，如果大模子把内存占满，那手机基本上就不成用了，是以参数效力在端侧应用里特殊遑急。

量子位：CFM与MoE（Mixture of Experts）的分辩在那儿？

肖朝军：咱们的寥落粒度更细，更强调神经元级别的寥落，不错说CFM的颗粒度比其他许多在FFN层作念寥落化改良的职责要更细，在寥落化上走得更极致。

当今超大参数限制的MoE寥落化可能照旧成为主流，但不妥当端侧。MoE的寥落粒度是人人级别，CFM是神经元级别，何况CFM动态性也强于MoE。MoE固定激活Top k个expert，CFM是靠模子我方的激活函数来界说具体激活几许expert。

任务难的话可能需要激活10-100个，任务通俗可能就激活1-2个。

△CFM积木式组合构建高效任务模子

量子位：为什么MoE不使用你们这种更强的动态性？

肖朝军：本体是参数效力原因。

MoE的盘算是增大模子参数，比如600B的模子无法在一台机器上放下，必须在试验经过就卡死激活人人的数目，必须截止住最多激活top k或top p个人人，要否则就可能算不下了。

他们必须在试验阶段就要有负载平衡的loss，使每个expert和每个token大约平衡。而咱们参数效力高，所有这个词参数不错放在一齐像传统蕃昌模子的FFN一样诡计。

△夸耀模块的酿成经过默示图

量子位：你若何看待像Mamba、RWKV这些诡计复杂度为线性的非transformer架构模子带来的挑战？

肖朝军：从模子成果上来说，transformer仍是天花板最高的架构。刻下所有这个词其他的非transformer架构探索都是在作念效力，而不是成果。

我不雅察面前优化旅途粗略有两种：天天色

一种是线性派，包括Mamba、Linear Attention、Gated Linear Attention、RWKV等；

另一种是基于transformer，但对KV cache作念治理，比如KV eviction、KV compression等。作念FFN改良的其实未几，咱们强调的寥落可能是FFN改良中特殊遑急的小数。

量子位：好多非transformer架构都在多个测试集上击败了主流transformer模子，你若何看？

肖朝军：需要辩证看待。

最初要琢磨公谈性，比如Mamba实验上有固定的memory，暗网人兽在漫笔本时可能memory size更大，这可能是用更多存储换取更好成果。

像RULER等一系列长文本评测中，线性模子面前照旧打不外transformer。人人报的收尾都是”在某方面比transformer好”，但为什么莫得宽泛应用？因为没办法全面击败transformer。

量子位：本年1月份大模子六小强中的一家训的千亿参数线性attention模子在RULER上击败了GPT-4o、Claude-3.5-Sonnet等transformer模子，你若何看？肖朝军：他们的模子是羼杂架构，纯线性很难作念到相通的进展。但能有这样的收货阐明他们羼杂之后的成果照旧很猛烈的。

量子位：若何才气客不雅评价模子架构之间的优劣？

肖朝军：如实很难有一个放之四海而都准的评判形势。transformer之是以取代CNN和RNN成为主流，是因为它真的能scaling。

之前的架构是scaling不了的，transformer带来了一种新可能性：咱们不错试验很大的模子，用好多数据取得更多智能。何况它不需要任何trick，不需要东谈主为调参就能取得好成果。

量子位：你认为transformer成为主流架构有或然性吗？

肖朝军：既有或然性也有势必性。有个意见叫“硬件彩票”。

软件不时走在硬件前边，咱们会修复好多算法，但实在完结加快的是被硬件厂商选中的那种。transformer高强度对着GPU设想，真能打满GPU愚弄率，是以踩中了硬件彩票。

当今的Mamba、RWKV谁能踩中下一波硬件彩票，谁也说不准。

△硬件彩票内涵

量子位：面前一个小模子的界说是多大size？最小能在什么尺寸的模子里压缩进主流大模子的智商？这个极限在哪？

肖朝军：当今小模子的大小莫得明确界说，基本上端侧的话，可能照旧在2-3B的领域算小模子。

对于模子压缩极限，咱们发表过Densing Law的论文，但极限在那儿咱们如实还不知谈。好多东谈主问异日是不是用64个比特就能放下GPT-4，那赫然不成能，但具体极限还不解确。

量子位：智能的本体是压缩吗？

肖朝军：这样说有点怪。之前有一篇“说话模子即压缩”的论文，仅仅把压缩率和PPL作念了蜕变，这很难说资本体。

Ilya最早冷落智能本体是压缩这个想想的时间，强调的是“压缩器”能够很好地建模数据分散规矩，而不是径直用说话模子来构建数据压缩器。

Hinton说过，智能的本体是学习，即是学习智商才是智能的本体。我认为概括智商可能更接近智能本体。你看说话自身即是一种绮丽，能表征世间万物，承载东谈主类常识，是概括和追想的载体。

量子位：面壁智能的小模子落地情况若何？

肖朝军：咱们开源的最大模子是是MiniCPM-3-4B，也有一些未开源的神志级模子可能有几十B。

咱们的端侧场景很宽泛，包括手机端、电脑端、智能家居等都在射程领域。

△面壁智能官网

量子位：精度优化方面，你们若何看FP8等低精度诡计？

肖朝军：精度镌汰后模子成果会变差，需要特殊多的设想才气保证成果。

但当今DeepSeek照旧开源FP8算子部分了，唯有随着作念一些补全就行，当今再训新模子的唯有有卡详情都上FP8了，25年会更多东谈主作念FP8，作念的更实用更激进。异日还会有FP4，一步步发展。

量子位：小模子在多模态方面有截止吗？

肖朝军：成果都挺好的。小模子在多模态这块，从打榜上看各别莫得那么大。你会发现多模态当今还莫得一个特殊漂亮的scaling law。

何况也还莫得一个和谐共鸣的多模态模子架构。常识智商上，小模子可能还有差距，差距主要体当今对常识的诊疗和相识上。

量子位：你若何看o1的这条技巧道路？

肖朝军：o1主若是用强化学习和高质地数据，强调强化学习和推理的scaling。刻下强化学习所有这个词这个词推理经过很慢，硬件愚弄率也不高，这会使强化学习经过需要使用大批算力但模子想考步数不深、探索空间不够。

异日详情会络续往高效的深想考想法发展，让模子能够生成超长的想维链，之后会像pre-training一样，先把强化学习的试验限制作念上来，然后再往小作念、往高效作念。

量子位：超长文本推容许是transformer架构的下一个冲破点吗？

肖朝军：对，CoT（想维链）是面前很遑急的想法。这种长想考一定是下一波人人要冲破的点。

面前o1这种长想维链和普通的长文本大海捞针统统不同。大海捞针仅仅找到信息就完事了，而o1的长想维链需要回到那时的景况，从头作念推理、从头搜索。

想考的时间走一条路走到底之后，可能还要络续之前琢磨过的另一条路。现存测试集都很难全面评测o1这种长想维链智商。

△径直推理与想维链分辩默示

o1之后，我以为下一步还有一个很遑急的问题是翻新智商的问题。就像OpenAI的技巧权谋，到背面有个innovation。

当今的搜索照旧在已有的语义空间去搜索，然则真的要让AI去作念翻新出之前莫得的东西，去探索一些新的未知的事物的时间，它一定要跳出之前预试验阶段见过的所有这个词的东西去冲破，但这个事情咋作念？还不知谈。

量子位：对于长文本推理，线性架构会有上风吗？

肖朝军：面前莫得实证接洽评释纯RNN模子的推明智商，我个东谈主认为类RNN的线性架构技巧道路粗略率会失败，羼杂架构另当别论。

成果为王，科罚不了成果问题，谈效力是不现实的。

现存RNN模子其实等价于滑动窗口，在推理中会对系念不休乘一个渐忘所有这个词。即使渐忘所有这个词集会一万步都是0.999这样大，那一万步之前的内容也会渐忘完，上限自然太低。

量子位：大模子不成能三角（大模子无法同期完结低诡计复杂度、高性能和并行化）问题有科罚决议吗？

△大模子不成能三角默示

肖朝军：这个问题依旧存在，Mamba也依然莫得科罚。如确凿科罚了，当今人人都会用起来。

Mamba等线性模子在漫笔本上能与transformer打平或更好，但长文本上仍有压缩，而压缩一定代表信息蚀本。咱们照旧无法兼顾诡计复杂度和成果。

这个问题也许永久来看不错科罚，因为东谈主类想考也不是O(n²)复杂度的，不需要把之前所有这个词KV都算一遍。但东谈主脑存储可能是分级的，有永久系念和短期系念，还可能愚弄外部器具如札记本。具体若何科罚，面前还莫得摸到谜底。

论文地址：https://arxiv.org/abs/2409.02877