清华团队开源大模型推理引擎“赤兔Chitu”：硬件本钱减少50%
快科技3月14日音讯，据报道，清华大学高功能核算研究所翟季冬教授团队与清华系科创企业清程极智联合宣告，开源大模型推理引擎“赤兔Chitu”。这一突破性技能为国产AI芯片的广泛应用和生态建设带来了新的机会。
“赤兔Chitu”初次实现在非英伟达Hopper架构GPU及各类国产芯片上原生运转FP8精度模型，处理了FP8精度模型对英伟达Hopper架构（如H100/H200）的硬件依靠。
在A800集群的测验中，赤兔引擎在GPU使用量削减50%的情况下，推理速度提升了3.15倍，明显降低了企业的硬件本钱，一起提高了功能输出。
赤兔引擎的智能优化技能可以快速适配不同芯片架构，使国产厂商无需重复开发软件，专心于硬件晋级。现在，清程极智已与沐曦、燧原等厂商协作，推出“开箱即用”的推理一体机，广泛应用于金融、医疗等职业。
清程极智CEO汤雄超表明，当时国内涵推理引擎这一中心环节仍缺少出产级开源产品。开源“赤兔”引擎是推进国内AI生态建设的重要一步，将为职业供给更高效、更灵敏的技能支持。
内容来源：https://sonybravia.xyz/app-1/cwin0055 com,http://chatbotjud-teste.saude.mg.gov.br/app-1/bz-bet-.com
本文地址：http://w.21nx.com/news/17789854-28f31499657.html
版权声明
本文仅代表作者观点，不代表本站立场。
本文系作者授权发表，未经许可，不得转载。