2024年1月,领先的私募股权公司黑石宣布正在建立一个250亿美元的人工智能数据帝国。几个月后,OpenAI和微软紧随其后提出了建造Stargate的提议,这是一台价值1000亿美元的人工智能超级计算机,将使该公司站在人工智能革命的最前沿。
当然,这并不意外。随着人工智能领域在过去几年中的快速发展,世界各地的行业巨头都在疯狂地抢占前排席位。专家已经预测,全球人工智能市场将出现大规模增长到2030年将达到8267亿美元,年增长率为28.46%
冯·诺依曼的体系结构是大多数通用计算机运行的设计模型(由CPU、内存、I/O设备和系统总线组成),尽管它提供了简单性和跨系统兼容性,但其固有的局限性。这种架构的单一系统总线限制了数据在内存和CPU之间的传输速度,因此CPU对于人工智能和机器学习而言不是最佳的。
这就是图形处理单元(GPU)的用武之地。通过将并行性纳入处理技术,GPU通过其多核提供了更高的性能和独立的指令执行。然而,随着人工智能技术的到来,对GPU的需求激增,导致供应链紧张,并对许多研究人员和创业公司的努力构成了严重的瓶颈。这一点尤其正确,因为全球的GPU供应仅来自一家主要生产商:英伟达。
虽然AWS、Google Cloud Platform和其他超大规模应用程序可能能够轻松访问Nvidia的A100s和H100s,但还有哪些可行的替代方案可以帮助公司、研究人员和初创公司赶上人工智能列车,而不是无限期地停留在Nvidia的等待名单上?
现场可编程门阵列
FPGAs是可重新编程的集成电路,可以配置为特定任务和应用需求服务。它们具有灵活性,可以适应不同的要求,并且具有成本效益。由于FPGAs在并行处理方面效率很高,因此它们非常适合人工智能/机器学习应用,并在现实生活中具有明显的低延迟。
一个有趣的FPGAs实现可以在中看到特斯拉D1道场芯片,该公司于2021年发布该产品,用于训练自动驾驶汽车的计算机视觉模型。然而,FPGAs的一些缺点包括设计硬件所需的高工程专业知识,这可能转化为昂贵的初始购买成本。
AMD GPUs
2023年,Meta、Oracle和微软等公司表示对AMD GPUs感兴趣,认为这是一种更具成本效益的解决方案,也是避免潜在供应商锁定主导地位的Nvidia的一种方式。例如,AMD的Instinct MI300系列被认为是科学计算和人工智能应用的可行替代产品。其图形核心Next(GCN)架构强调模块化和对开放标准的支持,加上其更实惠的价格,使其成为Nvidia GPUs的一个有前途的替代品。
张量处理单元
TPU是专用集成电路(ASICs),被编程为执行机器学习任务。TPU是谷歌的一项发明,它依靠特定领域的架构来运行神经网络,如张量运算。它们还具有高能效和优化性能的优势,是扩展和管理成本的经济实惠的替代方案。
然而,应该指出的是,TPU生态系统仍在发展中,目前的可用性仅限于谷歌云平台。
分散市场
去中心化市场也试图以自己的方式缓解GPU供应紧张的局面。通过利用遗留数据中心、学术机构甚至个人的闲置GPU资源,这些市场为研究人员、初创公司和其他机构提供了足够的GPU资源来运行他们的项目。示例包括渲染网络、FluxEdge、Bittensor等。
其中许多市场提供的消费级GPU可以充分处理中小型AI/ML公司的需求,从而减轻高端专业GPU的压力。一些市场还为想要工业级GPU的客户提供了额外的选择。
中央处理器(central processing units的缩写)
由于其有限的吞吐量和冯诺依曼瓶颈,CPU在人工智能方面通常被认为处于劣势。然而,人们正在努力研究如何在CPU上运行更高效的人工智能算法。其中包括向CPU分配特定的工作负载,例如执行复杂统计计算的简单NLP模型和算法。
虽然这可能不是一种一刀切的解决方案,但对于难以并行运行的算法来说是完美的,例如用于训练和推理的递归神经网络或推荐系统。
舍入
用于人工智能目的的GPU的稀缺可能不会很快消失,但有一个好消息。人工智能芯片技术的持续创新证明了一个充满可能性的令人兴奋的未来,有一天将确保GPU问题逐渐成为背景。人工智能领域还有很多潜力有待开发,我们可能正站在人类已知的最重大技术革命的悬崖边上。