锐评时讯Imagination GPU为边际智能供给高效率的加快
作为奕斯伟核算的重要协作同伴，Imagination 公司受邀到会了9月10日在北京亦庄举行的“2024奕斯伟核算开发者同伴大会”，来自Imagination英国总部的专家在大会上宣布了主题为《用RISC-V CPU + PowerVR GPU迎候边际生成式AI的到来》的讲演。
本文引证地址：
在人工智能（AI）浪潮中建立的奕斯伟核算一向致力于研讨和开发立异的核算架构，并经过与Imagination这样的全球抢先处理器技能和IP产品供给商协作，针对多模态AI大模型技能带动多元化人工智能运用加快出现的新需求，开发了面向边际智能和AI PC等多种运用场景的EIC77系列芯片。这些AI SoC芯片运用了RISC-V核算架构敞开、灵敏、精简、可拓宽的优势，结合了该公司自研的NPU以及Imagination的GPU，成为了全球第一批可商用的依据RISC-V的高功能、低功耗的边际侧、端侧AI推理芯片。
大会中，Imagination公司专家介绍了与奕斯伟核算的协作效果：作为奕斯伟核算向全球发布的EIC77 系列边际智能SoC中的一款产品，全新的EIC7700X 器材依据 12nm 工艺，选用了 Imagination 的 IMG A 系列 GPU IP；该 GPU 具有 128 宽 ALU 单元和专用 AI 处理通道，可供给 0.25 TFLOPS、1 TOPS 和 8 Gpixels 的功能。EIC7700X也搭载了奕斯伟自研的NPU单元，可供给19.95 TOPS INT8、9.975 TOPS INT16、 9.975 FTOPS FP16 算力。EIC7700X为边际智能供给了微弱的核算和图形处理才干，可支撑大言语模型，其在深度神经网络（DNN）推理上的算力高达13.3TOPS INT8，可满意分类、检测、切割、追寻等各类需求。
谈到边际核算的运用多元化与架构立异，Imagination公司专家表明：首要，咱们需求保证边际核算架构可以进行有用的、可持续的扩展，在系统资源、电能和带宽等资源稀缺，以及不同运用场景对资源需求各不相同的情况下，这一点在边际核算范畴更为重要。因而，灵敏通用的异构核算架构才干保证咱们的边际智能解决方案不会由于碎片化而无法完成，这要求咱们具有的模型也将是通用的、可持续的，一起才干保证边际系统中内核算核的数量可以合理地减缩以满意功耗要求。
为了保证满足的通用性以运转现在的作业负载和未来的作业负载，就需求对边际智能SoC中方案选用的处理器功能和需求进行充沛的评价，咱们往往首要看的是两个潜在的挑选。一个挑选可以是 NPU或许在Imagination的产品组合中被称为AI，这类硬件的每瓦最高功能十分超卓，但为了到达更高的功能，运用NPU就需求献身一些灵敏性。第二种挑选是 GPU，其长处是可以供给可编程的、可扩展的硬件加快才干，并可依据运用方向上的需求来挑选相应的GPU去支撑所需烘托和核算才干。
尽管这两种器材类型各有优势，边际智能终究需求的是可以完美适用于运用的、在高功能和可扩展性，定制化和通用化中做出最正确决议计划的系列解决方案。从咱们已有的实践和Richard Sutton的《苦涩的经验》中咱们可以看到，人们在边际人工智能中期望可以运用通用的硬件和软件解决方案，尽量防止运用特定的解决方案，由于人工智能一向在开展，一切的解决方案都要保证与时俱进。
在确认了要用愈加通用的硬件和软件来推进根底模型的开发和运用这一方向之后，越来越多的核算技能正在加快比如EIC77这样的边际智能芯片走向更广泛的运用：一方面，RISC-V正在向机器学习的中心范畴进发，不仅是更多RISC-V CPU厂商在向此方向尽力，并且RISC-V的相关规范也在进一步完善，使RISC-V成为进入AI范畴的一条开支最低的途径。另一方面，边际人工智能软件也在脱节其他AI运用受制于CUDA生态的限制，越来越多比如OneAPI这样的运用程序接口可支撑作业负载的开发和运转，以及比如UXL等职业安排也供给了将CUDA上的AI作业负载转化为SYCL为在 GPU 或 CPU 上运转的移植解决方案。
展望未来，Imagination将持续支撑奕斯伟核算倡议的RISC-V数字根底设施（RISC-V Digital Infrastructure）生态，在GPU 被用于越来越多和越来越广泛的作业负载，以及支撑越来越多的根底模型和算法的一起，与更多的协作同伴在边际核算、AI PC和AI加快等范畴中，一起打造更多高功能的智能产品。