英伟达A800芯片也要被禁售了?中国AI大模型还能怎么玩?国产GPU能否挑大梁
需要德州仪器 (TI) 品牌产品可找现代芯城
电子发烧友网报道(文/李弯弯)近日消息,美国考虑进一步限制向中国出口AI芯片,商务部最早可能在下个月初采取行动。在没有获得许可证的情况下,美商务部将禁止英伟达等制造商向中国客户运送AI芯片。英伟达专供中国的A800芯片,在无许可证的情况下也将被禁售。
A800是英伟达专为中国客户推出的产品,用以解决美国商务部的半导体出口新规,取代A100 GPU,该产品在2022年第三季度起投产。近段时间,大模型迅猛发展,国内在新规之前采购的可流通A100并不多,目前各互联网厂商争相采购的主要是A800。
A800被禁售,国内AI大模型训练受阻?
在AI大模型的训练上,现在基本上是用英伟达的A100、H100以及特供中国的减配版 A800、H800。2020年和2022年,英伟达先后推出了A100芯片、H100芯片,其中A100显卡又提供80GB、40GB两个显存版本,H100则提供80GB显存。
A100拥有540亿晶体管,采用台积电7nm工艺制程,支持FP16、FP32和FP64浮点运算,为人工智能、数据分析和HPC数据中心等提供算力。
H100集成800亿晶体管,采用台积电定制的4nm工艺,相比于A100,H100在FP16、FP32和FP64计算上比A100快三倍,非常适用于当下流行且训练难度高的大模型。
2022年9月,美国商务部对GPU 的出口规定,主要限制是显卡的算力和带宽,算力上线是4800 TOPS,带宽上线是600 GB/s。A800的带宽为400GB/s,低于A100的600GB/s,H800的参数并未公布,据知情人士透露只有H100(900 GB/s)到约一半。
这意味着A800、H800在进行AI模型训练的时候,需要耗费更长的时间,不过这相比于其他的同类产品,性能仍然是高的。
最近大半年时间,随着ChatGPT的出圈,国内外各大互联网公司、AI企业都在大力研发自己的AI大模型产品,而这也造成了对GPU的极大需求。各大互联网厂商都在大力采购英伟达的GPU芯片,包括百度、阿里、腾讯、字节跳动等等。
在国内,还可流通的A100并不多,据一家服务器定制企业的销售经理描述,需求太过火爆,甚至有人从机房里把芯片禁运政策生效前购买的A100 80GB拆出来倒卖。
如今,国内市场还是主要倚赖在政策允许范围内的A800芯片。不过大模型火爆之后,因为需求太大,A800也出现供货周期拉长、价格上涨的情况,据业内人士透露,之前两周时间就能到货,现在乐观的情况也要4-6周的时间,甚至更长。
如今,根据美国商务部的意思,A800在无许可证的情况下将被禁售,这意味着,后续国内企业在大模型的研究中,不仅仅是买到A800需要更长时间的问题,而是很可能买不到的问题。而且不仅仅是A800,其他AI芯片向中国的销售也可能受阻,包括原本也可以用于一些模型训练,性能较差一些的V100等。这意味着,国内企业AI大模型后续的训练将受阻。
国产GPU能否挑大梁?
如此看来,国内AI后续的发展,它对算力的需求似乎就只能指望国产GPU了。目前国产GPU的情况如何呢?
大模型训练需要处理高颗粒度的信息,对云端训练芯片的芯片处理信息的精细度和算力速度要求更高,现阶段国产GPU大多数不具备支撑大模型训练所需的能力。
不同于多媒体和图形处理的单精度浮点计算(FP32)计算需求,在超算领域,双精度浮点计算能力FP64是进行高算力计算的硬性指标。
目前国内GPU芯片的云端训练公司,大多只能处理单精度浮点计算,如壁仞科技(通用GPU芯片BR100)、天数智芯(“智铠100”)、寒武纪(云端推理思元270)的产品在FP32的理论指标上做得不错,但没有处理FP64的能力。
根据公开消息,目前国内唯一支持FP64双精度浮点运算的只有某司推出的DCU(协处理器),但是它的性能只有A100的60%左右。
所以说,从短期来看,国产的GPU产品还难以支撑起AI大模型的训练,这意味着英伟达A800芯片被禁售,国内AI大模型接下来的研究将难以为继。
那是不是说,无论是国内的AI大模型企业,还是国产的GPU企业,真的就束手无策了?也并不是。据业内人士介绍,对于算力的需求主要与模型参数有关,大厂现在所做的通用大模型依然只能使用英伟达的产品。但是,垂类行业的大模型(金融、医疗等)或者参数量不像GPT那样大的模型,一些国产GPU也能够做到。
比如,国内某短视频平台参数量约为1000亿的大模型,就用了寒武纪的产品,做训练和推理。当然该模型训练使用了英伟达的A100。
此外,今年6月10日,天数智芯对外宣布,在天垓100加速卡的算力集群,基于北京智源人工智能研究院70亿参数的Aquila语言基础模型,使用代码数据进行继续训练,稳定运行19天,模型收敛效果符合预期,证明天数智芯有支持百亿级参数大模型训练的能力。
摩尔学院院长李丰此前对媒体表示,公司已经可以支持3亿参数量模型的训练。
首都在线表示,公司与燧原科技联合开发的AIGC模型方案已发布内测,产品可以从容应对前期投入大、算力要求高、算法模型快速迭代创新的需求,并广泛支持文本、语音、视觉等各技术方向的模型训练。
可见,目前国产GPU虽然在参数量较大的模型训练上存在不足,但是确实已经能够在一些中小参数模型的训练上有所作为。
登临科技联合创始人王平此前对媒体表示,相比于国际领先的GPU产品,国产GPU确实在满足大模型训练上存在差距,因为此前行业在产品定义上未朝大模型方向做设计。
而现在国产GPU公司都在朝着大模型方向去布局,相信未来终能够找到方向,进行突破。而且如今A800在无许可证的情况下如果禁售,这对于国产GPU的发展将会有强大的刺激作用,因为如果不突破,意味着国内未来AI大模型的发展将无计可施,这似乎成了唯一的出路。
目前业界正在做相关的探索,比如,思考能否通过Chiplet、先进封装的方式提高算力。研究如何提升芯片与芯片间的数据传输速度等。昆仑芯就表示,相较于第一代产品,昆仑芯2在算力、互联上都有大幅优化,公司正在不断研发新的产品和技术,以满足ChatGPT等大模型的应用需求。
小结
很显然,在A100、H100之后,若A800在无许可证下被禁售,意味着国内AI大模型后续的训练将无GPU可用。目前而言国产GPU几乎还不能用于较大规模参数模型的训练。不过可以看到,一些产品在较小规模,比如几亿、甚至百亿级别参数规模的模型训练上,已经可以有所作为。而且目前众厂商都在朝着大模型应用方向进行探索,从长远来看,必然会逐步取得进展。
需要德州仪器 (TI) 品牌产品可找现代芯城
德州仪器 (TI) 热销型号:
TPS5430DDAR
MAX3232IDR
TXS0108EPWR
ISO1050DUBR
TPS5450DDAR
INA226AIDGSR
SN65HVD230DR
REF3025AIDBZR
TLV62130RGTR