手机浏览器扫描二维码访问
437 傲慢的代价（第2页）
在稀疏这一方向上，孟繁岐选择了细粒度，矩阵层面的稀疏。
DS则选择了通道层面的MoE，混合专家模型。
简单来说，DS选择把模型拆分为1632个专家，就像是把一块蛋糕均分切成1632块。
每一块都是不同的味道，每一个专家更加专注于不同的知识。
根据具体的情况，会有一个门控系统，来决定哪些专家参与计算。
而孟繁岐的野心更甚，他想要从根本上将整个模型在原子级别拆分，细粒度地对所有权重进行大刀阔斧地裁减，直到原本大小的1632分之一。
从理论上说，这种方式的上限更高，MoE的稀疏更显得粗糙。
另一方面，孟繁岐也有愿景，想要增强国内硬件的竞争力。
因为英伟达的设备，是无法支持这种细粒度稀疏计算的。
倘若能够先发展国内计算设备，适配这种技术，就能够在制程等诸多硬件技术落后的情况下，达到更快的推理效果。
换言之，孟繁岐又一次将希望寄予了发展周期更长的硬件厂商，那么在这方面被其他人赶上，倒也不是什么奇怪的事情了。
虽然具体实现上稍显不同，但总体来说，DS完成了孟繁岐在技术上的两点宏观展望。
从其余的许多技术细节当中，孟繁岐可以很强烈地读到，他们的开发之路走得也并不顺利。
比如说混合专家MoE，很容易让一两个专家变成懂王，什么都要参与，很多其他的专家渐渐变成了挂件，貌似在参与，其实完全就是围观的观众。
如果增加额外的损失函数去调整它们，既增加了大量计算量，又极有可能影响到训练的主要目标本身。专家们的调度问题这个小问题影响到模型的能力这个主要问题。
DS最终完美地解决了这个问题，既没有额外增添损失计算优化，又使得各专家实现了负载均衡。
孟繁岐相信，这个最终简洁优雅的技术方案背后一定存在许多努力与艰辛。
而现在的closeai对这种付出是越来越排斥的。
比起花费许多的努力在某一个算子上优化20-30%的速度，他们更愿意多用一些显卡，多花一些时间。
既然英伟达暂时不直接支持FP8做这样的操作，那就先等等吧。
诸如此类的事情持续累积，使得后来者已经实质上实现了相当数量的技术超越，甚至是在孟繁岐较为关注的技术方向上。
而DeepSeek的坦率开源，也让孟繁岐动摇了closeai是否继续闭源的想法。
“若是我适当裁减一些已经沉迷安乐的技术人员，逐渐走向开源，对比海对面的OpenAI倒也算是奇景了。”孟繁岐想到这里也是笑出了声。
自从两国关系逐渐微妙，CloseAI的在美使用就收到了限制。原本标榜开源的OpenAI逐渐走向闭源，而最初就闭源盈利的CloseAI反而在考虑拥抱开源盛世。
这倒也称得上是另一种双向奔赴了。
同一时刻，比起一直在关注技术细节的孟繁岐，普通人更为在意的，则是R1这个模型，首次揭露了前沿高性能智能思考问题的逻辑脉络。
年代文女配重生后踹了男主 我在西游交易万物 善男信女 激荡一九九五 一诺千金断绝尘 丹道龙皇 异界大乱斗之乱的很 寡人刘玄德 神环啸 携猫主子勇闯星域 炮灰表小姐苟命日常 银河记事 改局之谋 陆总请滚开，别打扰我种地 霸总战神之当代侠侣 西游之开局加入聊天群 影视世界里的假道士 她似春光明媚 我的御兽养成计划 什么？我体内有一座剑山
战狱：我国主的身份让世界颤抖
关于战狱我国主的身份让世界颤抖他生于京城聂氏豪门，但却被视为孽种，为了生存，他含恨流落至硝烟战火的南荒！十年后，他战功赫赫，成为万军统帅，权势滔天，他带着恩仇热血而归！复仇的路上，没有一个敌人是无辜的！强龙回归，谁与争锋！爷爷，你傲骨满满，不可一世，但我早晚让你低下那高贵的头颅，对我母亲下跪道歉！...
小可怜无家可归，霍总抱回家宠
关于小可怜无家可归，霍总抱回家宠江城第一豪门少爷霍倾州身高权重，手腕常年戴着一串佛珠，做事雷厉风行，唯独感情上空白一片，被外界传闻不近女色，性取向有问题。霍家长辈为此急得团团转，甚至去庙里为他疯狂求姻缘。这一求，竟真的求来了霍家的少夫人！这位霍少夫人从小无人疼爱，却被霍家宠上了天。外人纷纷揣测两人只不过是奉子成婚，等霍家继承人生下来后，迟早要将她一脚踢飞，她就是一个工具人。周柠心生委屈，表示冤枉，分明是霍倾州死皮赖脸地缠着她要去领证结婚。就在大家等着看笑话时，霍倾州当着大家的面，将腕上的佛珠拿下来，放在周柠手上给她把玩，轻声哄着她。宝贝乖，这样心里有没有好受一些？众人惊呆，常年高深莫测的禁欲佛子竟然为了一个女人跌下神坛！佛珠摘下来的那一刻，豪门佛子也有了软肋。...
一吻定情：冷少的傲娇妻
关于一吻定情冷少的傲娇妻柳家大小姐柳倾颜，商业奇才，却因一次意外与李家二少爷李逸尘结下梁子。李逸尘，看似逗比，实则腹黑，对柳倾颜展开了一系列的报复。然而，在相处过程中，两人逐渐发现彼此的真心，最终携手战胜困难，收获幸福。...
穿越贫困县女县令
关于穿越贫困县女县令（女强，基建，爽文，无系统，稳定更新）楚辞身为21世纪理科博士，一朝穿越到龙腾王朝。刚来就遭受楚家大变，被右相陷害，一朝从京城贵女变成接替父辈官职的小小县令。松阳县。县丞安比槐见过大人。松阳县百姓终于有人管我们了！楚辞握着拳头，总有一日她会回京报仇。在松阳县先挖水渠，造水车，制肥料。接着因地制宜，在河里人工养殖河蚌珍珠。珍珠批量出世，松阳县从无人问津在一起，一跃成为龙腾王朝炙手可热的地方。房价一度可以和京城媲美。你想把我埋没，却不知我是颗种子。（一切剧情按照人物性格来走，作者只不过把他们的故事写出来而已，至于有没有CP，要看后期楚辞自己的意愿）...
路人，但是全员白月光
本文又名金妙因为创业失败，穿越到了看过的一本团宠文里，成为了男主家…分家的二姐？一个纯纯路人甲的角色。分家异常混乱，亲妈早逝，亲爹玩消失，家里大大小小七个弟弟妹妹，唯一的亲哥还双腿残疾。金妙OK，这个家只能靠我了。本想一路当路人逆袭创业重操旧业，远离剧情，却没想一个接一个多出了十五个未婚夫，送钱又送人地阻止她创业...
平凡女孩霸总爱
关于平凡女孩霸总爱小型广告公司的设计助理，梦想成为优秀设计师的李悠然遇上公司新上任的创意总监，神秘富豪在青梅竹马间应该如何选择呢？...