中国芯片排行榜2022最新安谋科技周易NPU开启端侧AI新时代智能无处不在人物迎来革命性变革
在科技的光芒照耀下，巨大的模型从云端的殿堂轻巧地飞来到了终端的舞台。这一历史性的跨越，不仅赋予了数据处理以迅捷的翅膀，更将智能体验推向了前所未有的高度。终端上的大模型以灵动的姿态，即时捕捉并回应着每一个细微的需求，将AI触角延伸至世界每一个角落。
近日，在EEVIA主办的第12届中国硬科技产业链创新趋势峰会暨百家媒体论坛上，安谋科技产品总监鲍敏祺发表了精彩演讲《端侧AI应用芯机遇，NPU加速终端算力升级》。他深入剖析了端侧AI发展广阔前景，并详细介绍了安谋科技自研NPU最新进展。
鲍敏祺表示，从近期头部大厂发布中都可以看出，端侧AI应用已经得到了业界的一致认可。当前国际和国内实际部署主流端侧大模型体量主要集中在100亿参数以下，这一限制主要是由于设备内存带宽范围通常在50-100GB/s之间。他强调，这些限制并不意味着要放弃云端AI，而是应该实现两者的互补，以产生最大的收益。
尽管挑战四伏，但鲍敏祺指出，由于数据处理发生在设备本地，可以实现实时响应，并且用户隐私得到更好的保护，因此仍需继续探索。在这方面，“周易”NPU围绕微架构、效率和并行处理等方面进行了三重升级：
· 微架构：针对Transformer进行优化，克服实际计算中的瓶颈。
· 效率：通过混合精度量化，如int4和fp16，以及无损压缩和改变稀疏度增加有效带宽。
· 并行处理：采用数据或模型并行，以及负载均衡和Tiling减少数据搬运。
“周易”NPU不仅包含能够适应多任务场景的Task Schedule Manager，而且整个架构具备可扩展能力，并增加DRAM以实现高带宽匹配，还增加OCM以支持有特殊要求的算法。此外，它还提供对异构计算的大力支持，无论是从能效还是SoC面积角度来看，都被认为是最佳选择。
此外，“周易”NPU已成功应用于汽车、AI加速卡以及AIoT场景中，其性能与灵活性为各个领域提供了一种新的解决方案。在汽车应用中，“龙鹰一号”已累计出货超过40万片，并成功定点应用于多款主力车型；而在其他领域，其多模态支持能力使其能够保持高性能与灵活性，即便是在复杂数据环境中也能稳定运行。
最后，鲍敏祺强调，为满足市场需求，“周易”NPU将持续优化精度、带宽、调度管理及算子支持，同时考虑未来各种存储介质，使其成为当前及未来市场需求的一站式解决方案。
