国产AI框架开源也疯狂 从生态看华为MindSpore的危机并存

国产AI框架开源也疯狂 从生态看华为MindSpore的危机并存

新冠疫情全球爆发、美股10天4次熔断,2020年3月,注定是个要被记录世界历史的时刻。或许多年以后再次回想,2020年3月仍令我们记忆犹新。

对于“两耳不闻窗外事1 r i ~ e _、一心只穿格子衫”的中国开发者而言,若干年后,这一时刻同样也令他们怀念。m @ ? d ? 0 M .

不过他们怀念的,是今年3月的国产AI框架开源热,使得未来AI在国内将像现在的水电般,随s Y @ W E地可见、随处可用。(注:下文所称的AI框架均指深度学习框架)

不止华为7 l % ) P在开源

3月28日,即华为开发者大会2020(r F O K a F Cloud)第二天,华为宣布全场景AI计算框架MindSpore正式开源,4月份开始公测。

据华为MindSpore首席科学家、IEEE Fellow陈雷教授介绍,MindSpore主要具备以下特性:原生适应端、边、云全场景,可按需协同;AI算法即代码,通过自动微分、自动? o d = p [运行、自动调优,使得代码量减少20%,效率提升50%;通过自身技术创新及MindSpore与昇腾AI处理器的协同优化,实现运行态的高效,提高计算性能;对GPU、CPU等其它处理器的支持- N U Y j x

国产AI框架开源也疯狂 从生态看华为MindSpore的危机并存

其实,在2019年8月的华为发布会上,华为轮值董事长徐直军便发布了MindSpore。早在2018年10月华为全联接大I s J 1 V i C会上,华为便首次发布AI战略与全栈全场景AI解决方案,并提出AI框架应该[ ` B是开发态友好(例如减少训练时间和成本)和运行态高效(例如+ E c 2 C c最少资源和最高能效比),且能够适应包括端、边缘和云的每个场景。

今天来看,经过一年多X 7 V P )的研发,MindSpore在这三方面j ) C A T u 均取得了成功。

但华为宣布开源MindSpore,只d C o x V是3月份国产AI框架开源事件中的一起,准确来说,是3月下旬。

3月25日,旷视联合创始人兼CTO唐文斌在其线上发布会! Y 3 ; { w 5 F x上宣布开源自家AI生产力平台Brain++的核心深度学习框架旷视天元(MegEngine),并将于6月推出公测版本。

公开资料显示,天元是一套训练推理一体化、动静态合一的工业- { $ ; s E , ! q级深度学习框m 7 V y 0 h B 2架,架构上具体分为计算接口、图表示、优化与编译、运行时管理和计算内核五层。天元的前身是旷视内部自用的算法训练推理引擎MegEngine,由旷视3名实习生在2013年着手研发,并于2014年正式上线。该框架支撑了旷视6年来在AI竞赛的表现,以及公司产品k ) ! A 2 j i 1和业务的落地,并服务于旷视研究院1M n ~ a [ P T400余名AI开发者。

旷视称,相比当下a x /主流的开源深度学习框架,天元降低了深度学习的门槛,可提升算法训练和部署的效率。目前,旷视已在OpenI启智社区和GitHub两个开源社区发布了Alpha版。

时间再回拨5天。3月20日,清华大学计算机系图形实验室r ? ` ; L Q [ l宣布开源自研深度学习框架z ^ d 8 # 6 wJittor,中文名为计图。

不同于TensorFlo) B _w、Pi o Q Y Y r t ~yto3 D @ T H &rcE w x _ 7h6 h l 5 o d等主流深度学习框架,Jittor是一个完全基于动态编译(Just-in-time)、使用元算子和统一计算图的深度学习框架。Jitt! R I B R .or研发团队表示,开发Jittor是为了更好地释放硬件、模型等能力。如在收敛精度一致情况下,与同类型框架相比,Jittor推理速度提升 10%-50% 。

c x 8 _ r B前,Jittor已经得到了国家自然科学基金项目、北京信息科学与技术国家研究中心团队项目和清华-腾讯联合实验室项目的资助和支持。

事实上,早在2016年,百度自研的PaddlePaddle飞桨深度V Z ] q 3 O学习框架便打I C =响了国产AI框架开源的第一枪,此后包括腾讯PocketFloP R G #w、阿里# $ N R l ~ J & @X-Deep Learning在内的深度学习框架均选择了开源。

不得不说,从某种意义上来看,2020年可以看作国产AI框架开源元年。

纷纷开源为哪般

不同于国内自研的AI框架进入发展期,国外AI框架早已成熟多年。且有趣的是,无论是TensorFlow、Pytorch、PaddlePaddle,还是mxnet、Keras、CNKT等,全球主流AI框架均选择了开源。

这不禁f L A令人好奇:AI框架纷纷开源究竟为哪般?或许,了解了AI框架究竟是什么,这个问题便迎刃而解。

简单理解,在互联网时代,我们借助Windowsb Q [ I i h x [ v操作系统浏览网页、办公。在当下移动互联网时代,我们借助安卓操作系统下载应用,工作生活。AI5 a k C m = }亦如此,AI也需要一个这样的“操作系统”,而这个“操作系统”便是AI框架3 / c k

可以看到,AI框( m F z . V _架下接芯片、硬件系统,上连模型以及实际应用。这便意味着,在AI框架上掌握了主动权,便在AI上掌握了主W b U [ ? O Z :动权。

而AI框架的- z M i 0 Q w r _主动权又0 N 8 Y Z A D j ?在哪呢?开发者。“得开发者c : S c u ) $ y得天下”a M Q A 4 h的结论早已不言而喻,从谷歌、苹果、微软、Face& ] 3 @ Y U 3 m bbook、华为等纷纷举办开发者( E Q 8 I B x大会便可看出。

国产AI框架开源也疯狂 从生态看华为MindSpore的危机并存

开源,则是聚集开发者最简单且有效的方式。对推出AI框架的公司或者组织机构而言,通过将AI框架开源,借助开发者的力量可以提升代码的l p O 9 f # ` _ ^质量以及AI框架的易用性。

最重要的是,通过开源掌握了开发者,便掌握了AI框架生态的主动权,进而提升AI框架贡献者在整个AI框架界的地位。

TensorFlow便是一个例子。从2015年11月谷歌宣布将TensN : Z ) -orFlow开源,四年多的时间里,这v K Q p一AI框架已成为GitHub最活跃的项目之一。Gi4 u P 3 8 W p (tHub发布的2019年度报告显示,在贡献者最多的TOP10开源项目中,TensorFlow排名第五。且仅2018年便有4.6万个项目依赖于TensorFlow。Tensm f E Q 6 Z l F GorFlow在开发人数、贡献人数、受欢迎程度、谷歌搜索量等多个方面都遥遥领先其他AI框架。

这给谷歌带来的是,TensorFlow已n ` ^ #被公认为业界数一数二的AI框架,被众多知名公司、组织、创企使用。且这样的形式使得谷歌间接“招募”了众多开发者。

MindSpore“生来不易”

理解了这些,自然也就明白华为为何要做AI框架以及为何选择将MinL 4 | PdSpore开源。只有这样,华为AI战略中的“全栈”才能实现:从底层芯片,到芯片算子库和高度自动化算子开发% n 6 w工具 C^ y { O u B ,ANN 、训练推理计 t V c u ; V L算框架 MindSpore 、再到全流程服务(ModelArts)一步到位。

也只有借助MindSpore连接,包括公有云、私有云、各种边缘计算、物联网行业终端以及消费类终端等全场景的部署环境才能实x p / H . ? u 2现,即华为] R a =AI战略中的“全场景”。

国产AI框架开源也疯狂 从生态看华为MindSpore的危机并存

可见,MindSpore这一AI框架对华为的重要性。但必须承认的是,从全球视野来看H = * 7 { + x [,华为切入AI框架的时间稍显晚,且开源的时间更晚。这便意味着,华为想Y u C e 8 8 j要在一个近乎Q h @ h w S n #成熟的市场做出些动静并不容易。

这是因为,无论是TensorFlow、Pytorch、PaddlePadf c w V s [ Idle,还是mxnet、Keras、CNKT,这些市面上流行的4 = 2 iAT k 4I框架早已被开发者优化多遍,性能足够使用。对于企业或者开发者M D 7 @ b y y而言,没必要为了“尝鲜”而放弃已经能熟练应用的AI框架,去重新学习一个新的AI框架,尤其对于企业而言。

由此A Y t I ,也引出MindSpore的社区问题。只有MindSpore的社区足够活跃,开发者足够支持,MindSpore才能越来越成熟。华为云与计算BG总裁侯金龙在HDC 2020(Cloud)上透露,华为沃土计划已聚集160万的开发者,但并不清楚有多少开发者聚焦MindSpore。

D S 1 # V =开谷歌和Facebook,看国内百度,公开数据显示,百度PaddlePaddle已累计服务超过150万开发者,其中企业用户超过6.5万,在定制化训练平台上发布了16X t { 9 v $.9万| 2 W f个模型。Github也数据显示,PaddlePaddle在Github上的star数为1.02万,fork数达2700,提交超过2.5万comM - $ % s h tmitu j `s。

其次,正如AI框架承上启下的作用一般,要想一款AI框架的易用性持续提升,除了对框架自身的优化,还x + . 7 H h要与上下游厂商一起,共同对这个AI框架生态进行优化。以微软、Facebook为例,这两家AI框架的重要参与者在2017年便携手AWS发起了深度学习开源联盟ONNG { 1 a f K e * 7X,这一联盟吸引了AMD、ARM、NVIDIA、= 9 jINTEL、高通、HPE、IBM、百度、腾讯、阿里、MathWork、CEVA、Synopsysk z + E等企业在内的众多芯片及服务器厂商、互联网厂商、以及专业软件和集成电路公司。

华为也参与了这一联盟。但华为当时尚未公布AI战略,或许更多是以服务器厂商身份参与。这就引发一个问题,华为能否在ONNX中围绕MindSpore进行整个生态的协同优化,或者自行建立另一个“ONNX”呢?

内外在优势并存

尽管MindSpore要想成功面临不少的难题,但有句话这样说到:万事皆开头难。值得关注7 , c的是,MindSpore蕴含着不少闪光点。

一方面,MindSpore自身的技术特性。当下,评判R q S一款AI框架是否好用,方便上手、快速部署、功能完备是最基本的需求。而对于新的AI框架而言,不仅不能有明显的短板,还要有亮眼的强项。这一点,MindSpore做到了。

华为在宣传MindSpore时6 6 w A z G g用了下面三个短句:开发态友好、运行态高效以及部W F m E 3 l N 0署态灵活。y a k T !这样的呈现效果,源于MindSpore的新编程范式、新执行模式以及按需协同的核心设计理念。直观表示的话,对开发者而言,这样的创新使得代码编写量减少20%,效率提升50%。

另一方面n a 8 F @ - F D x,华为自身为MindSpore构建的小生态。尽管Min* n _ u Q ,dSpore在整个业界的生态才刚刚起步,但MindSporH . D { A W Le与华为全栈全场景AI中的其他 ] B组成部分已充分融合。在此可重点关注昇腾AI处理器和ModelArts Pro。

仔细了解ONNX的话会发现,在这一深度学习开源联盟中,有一家重要的AI框架提供者没有参与——谷歌。谷歌之所以没参与,一个原因就是谷歌自己也构建了一个小生态,其中谷歌为TensorFlow量身定制的TPU发挥着不小的作用。华为亦如此。华为公开表示,c P 2 | a k :通过与昇腾AI处理器的协同优化,MindSpore将更v ] j j ,高效运行,计算性能也将提高。

在2018年华为AI战略发布时,华为便面向企业和开发者发布了一站式AI开发平台ModelArts。HDC 2020(Cloud)上伴随着MindS w E G K xSpore的开源,华为也发布了新一A N - M s 代AI开发平台ModelArts Pro。

国产AI框架开源也疯狂 从生态看华为MindSpore的危机并存

华为将ModelArts Pro定位为企业AI生产力工具,通过将算法专家的积累W a ` D T和行业专家的知识沉淀在相应N $ U N N的套件和“行业工作流”(workflow)中,Model* C % + B ;Arts Pro能真正实现赋能行业AI应用开发者,提升行业AI开发效率和落地效果。

用户既可以使用ModelArts PrG c P s v z , $o套件中特定行业场景的预置行业工作流满足快速定制的需求,也可以运用ModelArts Pro提供的原子组件(Atom)灵活编排新的行业工作流。基于AI市场,还可以$ y g q c V 2 ]相互分享不同行业场景的行业AI工作流。

第三便是华为汇集开发者的决心。早在2015年,华为便宣布沃土计划,表示5年内投入10亿美元,在开放能力、平G ( :台工具、培训赋能、成功孵0 ! e Z % J w O化、创新基金五个方面持续投入,以使能和帮助开发者获得技` 2 g 0 ] x ` #能、加速创新、持续发展。

2019年沃土计划进入2.0阶段。投资继续加大,华为S S Y / 5称将在5年内投入15亿美金,发E x B e 6展500万开发者,覆盖四个领域,分别面向高校、初创{ Z k * / D Y g企业、开发人员及合作伙伴。

为了进一步汇集开发者,在HDC 2020(Cloud)/ P e o W W 4 n a上,侯金龙表示华为已建立了以开发者为中心的人才发展体系,从学习、训练、构建、社交4个方面全方面支持开发者。得益b M G x O于此,目前,已有50多家大学加入沃* * L土高校教研扶持。

国产AI框架开源也疯狂 从生态看华为MindSpore的危机并存

同时,2020年华为云与计算BG将面向全{ l ` - 6 / = Y球开发者招收2000名实习生,开放200个挑战性课题,并举办面向高校的“2020年华为软件精英挑战赛”、 面向企业的华为开发者大赛2020(ClJ d M = S t R soud)秋季赛。

第四则F 1 , v D (是新基建带来的机遇。人工智能被明确定为新基建七大领域之一。虽然TensorFlow、Pytorch、mxnet、Keras、CNKT等AI框架相当成熟,但“外来身份”使得这些AI框架或多或少受到影响。

尽管国内百度的PaddlePaddle发展势头良好,但e ( Z V J r M整个国内的AI市场足够大,MindSpore与PaddlePaddle的竞Q l t / G :争不会太激烈。华为构建的鲲鹏生态凭借自主优势也将推动MindSpore在国内的发展。

总结来看,MindSpore现在的不足在于AI框架市场已相对成L 8 R q . l +熟,企业、开发者对现A @ E在使用的框架形成依赖,这使得MindSpore的生态、社区、开发者“拥护”不足。但能看出,这些并非什么致命缺陷。MindSpore自身特性、华为对开发者的持续投入以及新基建的机遇也@ % . ) M 7 G c将使MindSpore逐渐摆脱这些困境。

最后,跳出AI框架看开源。实际上,开Q z G [ 2 t }源近几年已经成为整个行业大势所趋。国外前有微软75亿美元收购GitHub,后有IBM340亿美元收购红帽。国内腾讯整体开源战略路线图于2019年公布,阿里参与全球多家开源基金会及组织,并上线阿里开源网站。

开源,表面上开得是项目,实际是对品牌、市场、标准的培育。归根结底,开源是对生态的开放和构筑。

上一篇

留长发最帅的男星,谢霆锋、郑伊健太有型,却都败给了郭德纲

下一篇

5G时代,智慧城市离我们越来越近

评论已经被关闭。

插入图片
返回顶部