手机浏览器扫描二维码访问
第1362章 字节豆包UraMem稀疏模型架构推理成本最高可降低83％（第1页）
在人工智能领域，随着模型规模的不断扩大，推理成本和访存效率已成为制约大模型广泛应用的关键瓶颈。传统方法如e（mixture
of
experts）虽然通过稀疏激活机制成功实现了计算和参数的解耦，但在推理场景下，其高昂的访存成本和较慢的速度却成为了不可忽视的问题。近日，字节跳动豆包大模型团队提出的ultramem架构，为这一难题提供了全新的解决方案，并在iclr
2025上得到了认可。本文将深入探讨ultramem的创新之处，以及它如何引领大模型推理的未来。
ultramem：高效推理的新纪元
ultramem是一种将计算和参数解耦的稀疏模型架构，它在保证模型效果的前提下，显着解决了推理时的访存问题。相较于e，ultramem在推理速度上实现了2-6倍的提升，推理成本最高可降低83%。这一突破性的成果，无疑为构建大规模语言模型（llm）提供了有力的支持。
在transformer架构下，模型的性能与其参数数量和计算复杂度密切相关。然而，随着llm规模的不断增大，推理成本急剧增加，速度变慢，成为制约其广泛应用的关键因素。e架构虽然通过稀疏激活机制降低了计算量，但在推理时，较小的batch
size会激活全部专家，导致访存急剧上升，推理延迟大幅增加。而ultramem则通过一系列创新设计，有效解决了这一问题。
ultramem的创新之处
ultramem的创新主要体现在三个方面：优化模型结构、优化va露e检索方式以及隐式扩展稀疏参数。
首先，在模型结构上，ultramem借鉴了pkm（product
key
mery）的设计，但对其进行了改进。pkm的mery
layer只有一层，插在整个transformer的中间层，这对大规模训练并不友好。ultramem则拆分出多个小mery
layer，以固定的间隔分布在transformer
layer中，并增加了skip-layer操作。这使得模型可以并行地执行mery
layer的访存操作和transformer
layer的计算，从而提高了推理效率。
其次，在va露e检索方式上，ultramem采用了更复杂的乘法方法tucker
deposed
query-key
retrieval（tdqkr）。这一方法受启发于tucker
deposition，通过组合乘加行score和列score，提高了va露e检索的复杂度，从而优化了模型效果。
最后，在隐式扩展稀疏参数方面，ultramem提出了implicit
va露e
expansion（ive）方法。该方法通过引入virtual
mery和physical
mery的概念，隐式地扩展了稀疏参数的数量，从而提高了模型的性能。同时，由于ive方法中没有非线性操作，因此可以与physical
mery
table进行融合，生成全新的mery
table，进一步降低了显存和部署成本。
ultramem的实验验证与性能评估
为了验证ultramem的有效性，研究团队在多个尺寸的激活参数上进行了广泛实验。实验结果表明，ultramem在680m和1.6b的激活参数上具有显着的效果优势。随着稀疏参数的增加，ultramem的效果和推理速度均表现出良好的扩展性。
此外，研究团队还进行了消融实验，以探究ultramem各项改进对模型性能的影响。实验结果表明，通过逐渐增加一些技巧和上文提出的结构改进，ultramem能够显着降低c4
validation
loss，同时稀疏参数和计算量几乎不变。
ultramem的应用前景与挑战
ultramem的提出，为开发更高效和可扩展的语言模型提供了一个有希望的方向。它不仅能有效地应用于对延迟要求较高的推理场景（如代码补全），还能在通用场景下展现出显着的速度优势。然而，ultramem的技术演进仍存在若干值得探索的方向。例如，如何高效优化稀疏参数、如何提升稀疏模型推理能力、如何更优地激活稀疏参数等，都是后续研究的重要切入点。
总的来说，ultramem作为一种全新的稀疏模型架构，通过一系列创新设计，成功解决了大模型推理时的访存问题，实现了推理速度和成本的双重突破。它的提出，不仅为构建大规模语言模型提供了有力的支持，也为人工智能领域的未来发展开辟了新的道路。我们期待看到更多像ultramem这样的创新成果不断涌现，共同推动人工智能技术的不断进步。
问鼎：从偏远镇长到权势巅峰 无敌纨绔，归来祸乱天下！ 从杂役开始问道 兵符召唤玉玺霸主横扫万族陆云凌雪免费阅读 重生晚唐，从节度使之子开始 正道无疆 从黑夜中杀出一条路 一胎双宝：我成了首长早死前妻 天才俱乐部 顾老师，听说你也喜欢我？ 奇门圣主 大唐之超级商城 兵符召唤玉玺霸主横扫万族陆云凌雪全文免费阅读完整版 退休爱豆少接触二次元 穿越草原，糙汉将军快放我自由 挟恩图报的他 我的世界烦人的怪物学院 铁血丹心将军印 兵符召唤玉玺霸主横扫万族陆云凌雪的全文免费阅读无弹窗 我不是戏神
风华正茂的年纪，凭什么和你吃苦
苏哲曾是个舔狗。他整整追求校花女神四年，女神对他若即若离，动不动就玩消失。后来苏哲明白，女神突然联系你了，正常，她在找备胎突然不联系了，也正常，你只是个备胎有一天又联系你了，更正常，你是一个好备胎接着又不联系你了，依然正常，有比你好的备胎出现了。因为苏哲没钱，带女神逛街她嫌不是一线，存钱送她名牌包包她拿去专...
大景驸马爷
...
如何正确扮演备胎人设（快穿）
如何扮演一个合格的备胎？备胎部年度晚会上，谢慈作为总年度备胎人设扮演获得满分的老前辈，笑着作答很简单，大概就是他退你进，他进你退，嘘寒问暖死心塌地隐忍心意死不悔改，让你们的人设充满犯贱又反差的矛盾感，最后加点狗血，达到这一步就差不多。崽崽们听的似懂非懂，谢慈耐心解释不懂没关系，你们只需要知道，我们备胎人设的看点就是虐，花心风流者为他伏低做小孤僻冷言者为他聒噪操心野心勃勃者为他放弃诡计不辨情爱者为他降落。等对方落网，再进行收尾阶段的反杀，这样一套下来，你的人设足够丰满，得到的评定分就会很高。他分明说得温柔，却叫人直起鸡皮疙瘩。单元一谢慈有个青梅竹马，两人从小到大都没离开过彼此。所有人都以为两人应该水到渠成的在一起，却没想到竹马突然有了喜欢的人，这人还是两人共同的好友。谢慈强颜欢笑，亲口送上祝福。竹马和好友吵架了，谢慈这个万年备胎还要送上安慰。最后竹马和好友掰了，竟都来跟他表白。排雷中途会出现一个反派纠缠受，有让受和自己在一起的狗血刀，篇幅很长。并且受是沉浸式扮演，有卑微的心理描写，是古早狗血虐，没有生子的设定。受没有和反派do，反派不是正攻，没有ntr设定，还有失忆梗，不喜误入。单元二谢慈是个人妻，已婚。但是，他老公被人穿了，那穿来的灵魂是个手握种马剧本总攻。谢慈装作敏感又深爱‘老公’的模样，面对总攻无意惹的桃花隐忍又克制，一副就算老公出轨自己也会默默忍下去的模样。那总攻不知不觉深陷他的温柔居家属性，为他拒绝一切的桃花。备胎值刷满后，谢慈直接揭穿这个穿来的灵魂，直言恨他，叫他把自己的老公还回来。单元三谢慈是个京都著名的纨绔，他风流多情，劣迹斑斑，心里却有一个白月光。白月光是风光霁月的丞相之子，是京城的第一佳公子。这样自持清高的公子哪能看得上一个纨绔子弟于是纨绔舔着脸去凑近，收敛自己纨绔的性子，为他一句戏言煲汤做饭，为他一个眼神甘愿放弃尊严。哪怕是知道自己被欺骗利用也只是笑着说没关系，被打了一边脸还伸出另一边脸给人打。直到有一天，白月光的身份被揭露，他并非丞相亲子，纨绔心里的白月光其实是那个真少爷。单元四谢慈是个腰细腿长衣冠楚楚，斯文败类助理。助理爱慕着他的老板，两人的关系也是暧昧难言，只可惜老板情人众多，对助理更多的只是当做下属。助理就隐忍着爱慕，一直忠心耿耿为老板，为老板出谋划策。老板是个野心家，他不信任助理，一直提防着助理，他不信任助理眼里的爱慕。助理和他的情人周旋，他却当助理给他戴绿帽子，妄图取而代之。于是备胎任务结束时，小助理真的取而代之了，成为昔日老板的可望不可及。高亮必看主角沉浸式表演，会有很多世界内扮演的备胎的心理活动。1结局1v1，一贯的切片，不是每个和受有牵扯的都是攻的切片，所有人都爱受2狗血无比，我愿称为狗血大满贯，个别世界很有古早狗血的感觉，慎点3不要问攻是谁，到时候自然会知道的，攻非常守男德4婉拒极端攻控受控5文中三观不等于作者三观，作者是个遵从社会主义核心价值观的好好青年嘤...
诡异：我真不是至高神！
（不后宫，不套路，不无脑，多CP感情线，新概念无敌流，多人物交织，诡异美食丰富，诡异系，偏日常）落日之后的诡异世界，究竟隐藏着多少恐怖的生物？肆意游荡的死尸，诡异横行的街道，规则怪谈隐匿在阴影的死角。古神的低语，邪神的注视，与怪物的嘶号汇成混沌的乐章癫狂的王者用尸骸砌成怪物的乐土，恐怖的邪神赐下怪诞的...
星穹铁道：我也是开拓者
关于星穹铁道我也是开拓者苏心穿越到未知世界，带着系统默默发展三年，都快称霸整颗星球了才发现这是崩铁宇宙。而自己的师傅竟然是其他列车的开拓者，在师傅的推荐下，苏心成为了星穹列车的开拓者。也许开拓之旅很有趣，但是了解这个宇宙的隐秘更为有趣。...
重生1970
...