曝DeepSeek绕过CUDA!为适配我国国产GPU做准备 跳出英伟达约束
快科技2月5日音讯,DeepSeek全球爆火,再一次引发外界对GPU算力约束论题的重视。
据报道,DeepSeek开发的大言语模型绕过了英伟达的CUDA结构,正为未来兼容国产GPU芯片做准备。
众所周知,英伟达的CUDA(Compute Unified Device Architecture,一致运算架构)能大幅下降研制大模型的难度,获全球开发商运用,一举将英伟达推上AI芯片范畴的独占位置。
但最新发现显现,DeepSeek运用英伟达的H800芯片练习时,运用英伟达底层硬件指令PTX(Parallel Thread Execution)言语,而非高档编程言语CUDA。
这样意味着DeepSeek绕过了CUDA,运用更底层的编程言语做优化。
关于程序开发人员来说,CUDA是一种愈加友爱的高档言语,开发者只需求专心于程序和算法最相关的运转逻辑,而不太需求考虑详细的程序是如安在GPU等硬件上详细怎么履行核算的,然后能够下降开发难度。
而PTX在挨近汇编言语的层级运转,答应进行细粒度的优化,如寄存器分配和Thread / Warp等级的调整。这种编程非常复杂且难以保护,所以职业通用的做法是运用CUDA这样的高档编程言语。
换句话说,DeepSeek把优化做到了极致。
北京航空航天大学副教授黄雷标明,绕过CUDA能够直接依据GPU的驱动函数做一些新的开发,然后完成愈加细粒度的操作。
这也阐明DeepSeek具有一些拿手写PTX言语的内部开发者。假设它之后运用国产GPU,其在硬件适配方面将会更称心如意,其只需了解这些硬件驱动供给的一些根本函数接口,就能够模仿英伟达GPU硬件的编程接口去写相关的代码,然后让自家大模型愈加简单适配国产硬件。
“这凸显了DeepSeek特殊的工程水平,并标明美国对华制裁加重的“GPU缺少危机”激发了他们紧迫感和创造力。”韩国Mirae Asset Securities Research的一名分析师标明。
内容来源:https://harmonyscentsg.com/app-1/game dau truong sieu anh hung,https://chatbotjud-hml.saude.mg.gov.br/app-1/20bet-review
(责任编辑:社会)