起个大早，赶个晚集：论英特尔(INTC.US)AI芯片Nervana的倒掉

本文来自StarryHeavensAbove ，作者徐凌杰。

果不其然，Nervana终于被Intel(INTC.US)彻底关掉了 ，虽早已在预料之中，但也不胜唏嘘。我见过Nervana未曾发布的产品，在当年诸多AI芯片逐鹿之初也算是一条好汉。然而，Nervana的倒掉，除了技术原因之外，团队的组成和Intel组织架构也是重要的内在因素。“起个大早，赶个晚集”，算是对Intel之前4年AI芯片战略的一个总结，我以为。

我不看好Nervana很多人都知道，也在2019年中预言了Intel收购Habana的大致剧本，在此分享一下对这个未来或许会成为AI芯片历史上重要事件的思考，作为case study供大家参考。以下仅为作者个人观点，不代表就职公司。

团队组成

回拨到2016年中，当年北美最有名的AI“芯片”初创公司就数Nervana了。我们不妨来看一下Nervana被Intel收购之前的重要时间线：

2014年初成立，三个创始人，CEO Naveen Rao、CTO Amir Khosrowshahi(姓氏是否很熟悉?没错，他和Uber现任CEO是堂兄弟，均来自伊朗的望族)和算法负责人Arjun Bansal。

2016年2月，发布基于Neon框架，宣称在GPU上可以达到10倍以上的深度学习训练速度。

2016年6月，宣布开发名为Nervana Engine的AI芯片。

2016年8月，被Intel已4.08亿美元收购，被收购时员工48人。

非常巧的是，当时的48名员工有3个是我之前的同事或同学(其中包括第48名员工，入职即被收购的那位)，我当时就饶有兴趣地在他们网站上把所有人的背景都过了一遍，看完之后惊奇地发现这不是一家传统意义上的芯片公司!

首先是创始团队，三个人均是2010前后毕业的神经科学博士，没有任何硬件背景;48人中还有不少来自神经生物学界的。

负责硬件的Carey Kloss是DV(芯片验证)出身，主架构师Andrew Yang(不是那个每人发1000刀helicopter money的总统候选人)背景是网络通信芯片的ASIC design。

而其他绝大部分人，包括我认识的3个，都是软件工程师背景。

皮衣教主一直强调NVIDIA是一家软件公司，这一点都没错，芯片产品最终拼的是软硬件联调的服务能力。但在芯片公司草创之初，没有有经验的、来自计算芯片背景的主架构师，没有成型的硬件团队，也是绝对不可接受的。这也为Nervana第一代Lake Crest芯片的失败埋下了伏笔。按照正常的逻辑就是，Nervana原本的主营业务是神经网络算法和框架，而芯片硬件项目只是一个pet project，乘着2016年5月Google公开发布TPU一代的东风，立马赶鸭子上架，而Intel正好缺乏合适的AI芯片产品和GPU叫板，一拍即合，卖了个不错的价格。

可惜，当年nervanasys.com的网站已经没有办法考古，这几天点击打开之后映入眼帘的是巨大的Intel+Habana的logo。

相比之下，在初创团队组成上，不得不说，Habana是非常值得称道的：

CEO David Dahan是DSP设计背景，在CEVA干过好多年，之前联合创立了Prime Sense成功卖给了Apple(AAPL.US)。

VP R&D Ran Halutz，是Dahan在Prime Sense和CEVA并肩作战多年的队友，负责芯片硬件设计。

CTO Shlomo Raikin，原Mellanox的首席架构师，之前在Intel做过10年的CPU架构设计。

Chief Business Officer，Eitan Medina，通信/芯片行业的老兵，Galileo/Marvell/Cavium的CTO和VP。

以上都是在Habana网页和LinkedIn上公开的信息。然而，鲜为人知的是Habana幕后的大boss，Avigdor Willenz，以色列芯片界教父般的传奇人物，90年代中期就创立了Galileo，如今在AWS撑起半边天的Annapurna Labs也同样出自他的手笔。是他，看到了AI芯片市场的巨大潜力，通过强大的资源整合能力，把以上的牛人们聚在了一起，并有策略有步骤地逐步推行产品计划。

精心撰写的剧本和“脚踩西瓜皮，滑到哪里算哪里”的创业，在人员布局上就可见一斑。

技术路线

芯片产品，最终是要回归到技术的。Nervana被Intel收购之后，马上根据Intel的习惯把产品线重命名成Crest，而第一代芯片Lake Crest因为之前的匆忙已经是箭在弦上不得不发了。根据wikichip [2] 和其他公开信息，我们来看一下它的芯片设计。

Lake Crest架构图

平心而论，Lake Crest的架构还是非常工整的，有着当时业界领先的HBM2配置和带宽，芯片间12个ICL互连也是比较超前的意识。55T 16bit FLOPS的算力如果能在2017年初正常发布也是非常有竞争力的产品，但是，因为前面在团队部分描述的原因，Lake Crest成为了一个彻头彻尾失败的产品：

首先，因为项目启动是在被收购之前，受于资金限制，Nervana只能找eSilicon合作，而且只能做28nm的产品(NVIDIA 2016年初发布的P100已经是16nm了)。即使被收购之后，Intel在这代产品上也帮不上太多忙。而最终的结果是，由于芯片执行上的问题，导致最后功耗巨大，400W的产品无法在已经被NVIDIA很好定义的300W PCIE的主流机型上做适配。

其次，其实也是架构里面最关键的，也是Nervana当时最引以为豪的发明，Flexpoint最终被证明是个大坑。这点我在去年AI Hardware Summit的Keynote上提过，想要了解技术细节的可以看Nervana团队在2017年NIPS大会的paper。

Flexpoint在技术上是个看似聪明的拍脑瓜的方案，撇开模型在其之上很难收敛的事实，光是其tensor之间共享 exponent需要反复来回和host通信同步就是一个很大的overhead，而团队欠缺计算芯片、特别是通用处理器的架构背景，软件算法想当然，我认识是造成这个局面的很大原因之一。岔开一句，“软件定义硬件“是个非常时髦的词，而Groq 最近公开的144路VLIW的架构也足够行家们贻笑大方了。

Flexpoint示意图

有人可能要问，Nervana的neon框架后来哪去了?有人在Reddit[4] 上的回复非常到位，“Development speed is generally more critical than computational speed in research”，“I trust TensorFlow/Torch more than Neon, e4ven if Neon is faster”。没有抓住训练用户的痛点是其一，退一步来说，芯片公司没有长出基于芯片的核心能力，框架做得再好，也无法仅凭此就成为未来竞争的护城河。

其实Lake Crest的失败还不是致命的，以Intel的资源和能力，在后一代Spring Crest尽快修正错误未为晚矣。然而，期望的改变并没有发生：

Spring Crest依然沿用了错误的Flexpoint设计，直到内部仿真明确了实在不行之后，才决定全面转向BF16(原话是，”Flexpoint16三个月converge不了一个网络，而BF16一天就可以converge三个”)。这也为什么在2018年中Intel的AI大会上 [5] ，宣布了Spring Crest会有两个迭代，第一个只做硬件适配仍然是Flexpoint，而第二个tape out会使用和Google TPU一样的BF16。

不过，非常遗憾的 是，Nervana团队没有抓住两次tape out的机会，在中间再加强算力，B stepping 2019年底119T BF16的算力和NVIDIA 2017年中发布的V100相比，毫无优势可言，更何况市场都在等待2020年3月更强更新的GPU产品。刻舟求剑，用在这里再恰当不过。

错误的技术方案和产品路线，贻误了Nervana和Intel战机。而反观Habana，战术和打法就清晰很多了：

首先是埋头苦干，2016年底成立后一直保持stealth mode，直到2018年9月AI Hardware Summit发布第一代inference芯片Goya(芯片实体，而非纸面发布)，以单卡15000 images/s的ResNet50性能一鸣惊人。

同时宣布training芯片Gaudi将于半年之后面世，100个人不到的小团队的战斗力吸引了全世界的目光，Intel Capital迅速投资。

2019年3月份，Facebook在OCP大会上发布OAM模块标准之后，快速反应、迅速跟进，业界首个支持OAM标准，并第一时间在2019年8月在Hotchips大会现场演示。

再来看Habana的架构，无论是Goya还是Gaudi，其实都没有任何fancy之处，两颗芯片遵循了架构最大程度复用的原则，把一些普通的元素执行到了接近极致：

版图上所谓的TPC，其实就是DSP，这是Habana团队的强项。

画得很小的GEMM矩阵加速但也其实是面积的主体，各家AI 芯片公司都有。

Local和Shared memory代表了大量的片上SRAM，其他AI芯片公司也都有。

Gaudi芯片集成NIC，概念上属于Habana首创(NVIDIA后来也收购了Mellanox)，但技术上并无特殊之处，片间互连带宽远低于NVIDIA的NVSwitch方案，但用比较低的成本实现all to all的connection也是充分发挥了其CTO来自于Mellanox的天然优势

Habana的芯片架构虽然简单，但胜在执行，把团队每个人的优势充分发挥，快速迭代，和Nervana相比绝对是技术和产品上的一股清流。

Habana Goya示意图

Habana Gaudi示意图

组织能力

有人说，Intel是把一手“好牌”打烂了，但我认为不然，Nervana从来就不是一手好牌，但Intel在组织架构上没有很好地进行保障也导致了后来失败的局面。

Intel内部团队非常多也非常复杂，其中最大最重要的部门即为DCG (Data Center Group)，而Nervana被收购之后即作为单独的AIPG部门一度直接汇报给CEO，然后马上又被挂在了DCG下面。然而，自2017年以来Intel内部的调整也一直没有消停过：

2017年5月，主持收购Nervana的DCG部门负责人Diane Bryant离职，后加入Google负责谷歌云。

2017年11月，Raja Koduri从AMD加盟Intel，主持GPU部门，并在2018年宣布会进军discrete GPU市场和NVIDIA/AMD正面竞争。

2018年1月，Intel CEO Brian Krzanich因为私生活问题辞职。

2018年6月，CFO Bob Swan出任临时CEO，2019年1月转正。

从上述的时间线可以看到，Nervana自从被收购之后，除了在PR品牌上被Intel大肆宣传之外，在内部并没有被完全接受，AIPG的位置也一直在DCG内部飘忽不定，同时还面对Intel的GPU部门在产品定位上的全面竞争。

其实，从2018年以来，换掉Naveen Rao的声音在Intel内外已经有不少了，但Intel迟迟没有调整到位，也显示了其作为大厂在组织架构上“挤牙膏”的慢节奏作风。

2017年中，Intel以色列团队的负责人Gadi Singer调入AIPG，但只是让他负责inference产品Hill (打Nervana的商标，但全是Intel原生技术)，直到这周Naveen Rao离职才被扶正。

2018年中，Movidius(2016年被Intel收购)的前CEO Remi El-Ouazzane调入AIPG，但是只是让他负责operation，没有实际的架构和产品路线的管理权。

也就是说，从Crest产品线颓势尽显开始，Naveen Rao居然在AIPG的一号位上坐了两年多，看起来不可思议，但其实也是公司内部不断互相寻找平衡的大公司病的典型特征。

最后来讲一下我是如何大胆判断Intel会弃子Nervana，收购Habana和其中timing的：

从财报来看，新任CEO上任之初通常会用big bath的手法把坏消息出尽，而通常CFO出身的CEO对砍人绝对不会手软，只是时间问题。Bob Swan 2019年1月正式接任CEO，当月的财报抖了很多包袱，盘后跌了7% [6];同年4月的财报[7] ，他又表态“taking a more cautious view of the year”，然后盘后又跌了6%;而再过了几个月，通过诸如把基带生意关掉等一系列手段，把股价搞上去了，那就是时候来梳理最大的DCG部门了。

Intel一年股价走势图

作为Intel最赚钱的DCG部门，AI相关的营收一直是掌门人Navin Shenoy的痛，算上CPU，AI based的芯片营收才勉强超过NVIDIA，而AI硬件产业在未来几年是几百亿美元的大市场，大有可为却没有很好的抓手：之前过于担心对核心CPU市场的cannibalization没有大力发展inference专用芯片，而Nervana又无法扛起训练的大旗，确实头痛。

北美big4，AWS只用最成熟的产品(训练用GPU，推理开始推自研的inferentia)，Google(GOOG.US)自然有了TPU，微软(MSFT.US)钟情于FPGA，而Facebook(FB.US)是唯一的空白。Facebook作为非云厂商的hyperscaler，有一个特点就是喜欢逗人玩，没事通过OCP发布行业标准来让标准模块商品化达到降低成本的目的。

刚才提到的OAM就是训练加速卡的专用模块，2019年只有Intel的Nervana Spring Crest和Habana的Gaudi具备了OAM的产品化能力，看看自己口袋里的Nervana不一定争气，为了锁定Big4中的最后一家，20亿美金收购Habana我认为还是值得的。所以如果下周OCP大会，Intel和Facebook联合发布产品，用足这20亿的广告费，是一点都不奇怪的。

2019年9月 OCP阿姆斯特丹大会

2019年6月，Intel的GPU团队发布One API编程模型，其重点自然在One上面，号称全Intel通用，而其对外的市场宣传也把AI训练作为其Ponte Vecchio芯片的主打，大有舍我其谁之势。外部没了市场还好，内部没了面子怎么行，DCG肯定坐不住。

综上，砍掉Nervana，收购Habana，势在必行。而Nervana团队内部看得清形势的人，在2019下半年也陆续出走了。

当Habana在2019年Hotchips现场demo样机的时候，NVIDIA的Tesla线产品经理问我最看好哪家AI芯片公司，我答“Habana”;又问我如何解，我再答“被Intel收购“;我俩相视一笑。当然，这是玩笑，我还是真心希望能看到市场上出现能和NVIDIA正面PK的产品，希望Habana不要重蹈之前那些被Intel收购公司的覆辙。

Nervana带来的启示

Habana不是一个完美的例子，以色列团队传统也是硬件强，软件偏弱，但人家毕竟在没有把产品卖出去的情况下先把自己卖了，从思路到执行力还是值得好好研究的。

Nervana的倒掉，在我看来，标志着AI芯片的竞争即将从从春秋进入战国阶段。虽然皮衣教主还有着绝对的统治力，但无可否认越来越多资金雄厚的玩家会更加重视这个市场，面对几百亿美元的大市场，资金、技术、产品能力还有眼光缺一不可。根据上述Habana和Nervana的对比，一个成功的AI芯片需要做到的点：

完整的团队：功力深厚的(软硬件)架构师、经验丰富的执行团队、能精准把握市场趋势的产品团队。

前瞻的眼光：产品定义要有足够的高度和包容度，保持对技术趋势的敏锐度，Habana的一鸣惊人和第一时间拥抱OAM就是最好的例证。

完美的执行：速度和迭代能力也将会是核心竞争力，特别是AI算法日新月异的今天，软件和硬件周期不匹配日益突出，我认为这将是中国公司短期内竞争力所在。

现实的兼容：与现有产品实现平滑过渡(无论是软件还是数据中心基础设施)，作为硬件厂商不要幻想一朝一夕就能改变顶层用户习惯(Flexpoint的反例)，同时保留通用性适应未来的发展和建立自己的生态。

贴身的服务：软件能力(其实是软硬件联调能力)决定芯片的成败已经成为一个共识，而能够本地化服务于客户，提供优秀解决方案的服务能力也会是芯片技术之外的分水岭。

充裕的资金：我在AI Hardware Summit上曾把AI芯片的竞争比喻成长征，芯片的长周期和快速迭代之间的矛盾就决定了需要更大资金的投入，这也是未来竞争力的关键所在。（编辑：孟哲）