365bet官方开户网址,第二代IPU性能优于GPU,未来将重点放在数据中心的AI培训和推理配置上

“无论是今天的GPU可以做的还是GPU不能做的,IPU都有其价值和价值主张。”几天前,在英国AI芯片初创公司Graphcore China的图形通信会议上,GraphcoreLu Tao,高级来自Graphcore中国的副总经理兼总经理,首席工程官兼AI算法科学家Jin Chen与DeepTech和其他媒体就Graphcore的新产品性能和公司在中国的登陆战略进行了同步。
在交流会议期间,Graphcore在系统级别解释了本月宣布的其主要产品IPU-M2000的应用测试数据。公布的数据显示,在典型的简历模型ResNet中,基于包折叠的ResNeXt,EfficientNet,语言模型,处理模型BERT-Large等自然语言和MCMC,IPU-M2000吞吐量,培训时间和学习等传统机器学习模型结果表明,在生成时间方面表现良好。例如,IPU-M2000上的EfficientNet吞吐量是A100使用寿命的18年。
图| IPU-M2000和GPU之间的吞吐量,训练和结果生成时间的比较(来源:Graphcore)
此前,今年7月15日,Graphcore的第二代IPU-M2000和GC200 IPU处理器发布了。据报道,GC200芯片基于台积电的7nm工艺,并集成了250TFlopsAI-Float处理能力和900MB处理器内存,是第一代产品的八倍。关于第三代IPU,Lu Tao并没有在那个沟通会议上宣布确切的发布时间表,但是他说下一代产品正在改变中,正在开发中,并将继续专注于解决内存问题。
支持PyTorch,TensorFlow以及IPU和GPU之间的无缝连接此外,Graphcore还发布了PoplarSDK1.4和PyTorch IPU版本。
Graphcore在易用性和速度方面优化了PoplarSDK1.4版本,可以并行支持模型和数据,并实现模型从1 IPU到64 IPU的水平扩展。陈进说,PoplarSDK的下一个版本预计将是水平的。将实现128个IPU的扩展。
值得一提的是,PoplarSDK1.4不仅支持自行开发的graphcore框架PopART,而且还支持Facebook的PyTorch框架和Google的TensorFlow框架。
根据Jin Chen的说法,Graphcore在PyTorch代码中引入了PopTorch轻量级接口,使用该接口,用户可以基于当前PyTorch模型创建软件包,以实现IPU和CPU之间的无障碍连接。
关于实现此功能的核心技术,金晨进一步表示,Graphcore使用PyTorch中的jit.trace机制来编译计算图并将其转换为与IPU和PyTorch兼容的表达格式,最后是自己开发的graphcore框架PopART后端使用Audiff函数自动生成倒立图,以便同一模型可以在不同平台上随机运行。
当前,PyTorch凭借其直观,易于理解,灵活和易于使用的优势而被开发人员广泛认可和使用。PoplarSDK1.4包含对PyTorch的支持,其策略是希望用户也可以在IPU上体验PyTorch,这为用户提供了切换到IPU的更多理由。但是,NVIDIA的GPU目前在fieldAI计算中占据了大部分市场,当前,用户需要考虑IPU可以提供的价值,迁移到IPU的成本等。
关于迁移的成本,卢涛说,经过几年的完善PoplarSDK,将软件和硬件从GPU迁移到IPU的困难现在比任何人想象的要困难得多。
Jin Chen补充说,在培训中,对于不太复杂的模型,迁移通常可以在一周内完成,而对于复杂的模型,则需要大约两周的时间,基本上是1-2个工作日。
谈到性能时,陆涛表示:“在训练推理,语音和图像模型处理方面,IPU基本上优于GPU。”但他也坦率地说:“不能说GPU优于GPU的100%实际上有很多算法模型,例如语音。有各种语言模型和图像,也有各种图像模型。“未来:不断优化性能并进一步降低迁移成本。IPU在机器学习性能方面的明显优势是不可否认的,但是在此之前,Nvidia是一个强大而努力的巨人,而Graphcore承受不起片刻的负担。陆涛在交流会议上也经常提到:“目前,Graphcore承受的大部分压力来自英伟达。”在“压力”下,Graphcore的近期计划将重点放在数据中心的高性能培训和推理市场上,进一步增强IPU和软件平台,优化性能并提高可用性。陶璐说:“只有在我们专注的领域中运行得更快时,Graphcore和Nvidia之间的差距才会越来越短,甚至在某些领域甚至超过Nvidia。”
他还表示,Graphcore希望在未来几年内与NVIDIA一起在AI培训,推理批量交付以及数据中心的运输和批量方面取得另一个领导地位。
为了实现这一目标,Graphcore还将添加AI框架支持和模型覆盖范围,以进一步降低用户迁移成本。除互联网和云计算外,当今使用最广泛的AI应用程序陆涛表示,该公司将在明年突破金融,汽车,智能医疗保健,智能教育,智能城市和政府服务领域中的至少一两个领域。更多主流领域。

Filed under: 365bet新网址