当前位置: 首页 > news >正文

A3超级计算机虚拟机,为大型语言模型LLM和AIGC提供强大算力支持

热门大语言模型项目地址:www.suanjiayun.com/mirrorDetails?id=66ac7d478099315577961758

近几个月来,我们目睹了大型语言模型(LLMs)和生成式人工智能强势闯入我们的视野,显然,这些模型在训练和运行时需要耗费大量的计算能力。认识到这一点,谷歌云在谷歌I/O大会上宣布推出一款全新的A3超级计算机虚拟机。

A3是专门为满足这些对资源需求极高的应用场景的大量需求而打造的。 该公司在一份公告中写道:“A3 GPU虚拟机是专门为当今的机器学习工作负载提供最高性能的训练而打造的,配备了现代CPU、改进的主机内存、下一代英伟达GPU以及重大的网络升级。” 具体而言,该公司为这些机器配备了英伟达的H100 GPU,并与一个专门的数据中心相结合,从而获得了具有高吞吐量和低延迟的强大计算能力,而且据他们所说,其价格相较于通常购买此类配置所需的费用更为合理。

其具体配置参数如下,它由8块英伟达H100 GPU、第四代英特尔至强可扩展处理器、2TB的主机内存以及通过NVSwitch和NVLink 4.0实现的8块GPU之间3.6 TB的双向带宽提供动力,NVSwitch和NVLink 4.0是英伟达的两项技术,旨在帮助像本产品中的这些多块GPU之间实现吞吐量的最大化。 这些机器可提供高达26exaFLOP(每秒百亿亿次浮点运算)的算力,这将有助于缩短训练更大规模机器学习模型所需的时间并降低相关成本。此外,这些虚拟机上的工作负载在谷歌专门的朱庇特数据中心网络架构中运行,该公司将其描述为“26000个高度互联的GPU”。这使得“可按需调整拓扑结构的全带宽可重构光链路”成为可能。

该公司表示,这种方式也应有助于降低运行这些工作负载的成本。 其目的是为客户提供强大的算力,以训练要求更高的工作负载,无论是涉及复杂的机器学习模型还是运行生成式人工智能应用的大型语言模型,并且是以一种更具成本效益的方式来实现。

谷歌将通过以下几种方式提供A3:客户可以自行运行它,或者如果他们愿意,也可以选择托管服务,由谷歌为他们承担大部分繁重的工作。自行运行的方式是在谷歌Kubernetes引擎(GKE)和谷歌计算引擎(GCE)上运行A3虚拟机,而托管服务则是在Vertex AI(该公司的托管机器学习平台)上运行A3虚拟机。 虽然新的A3虚拟机在谷歌I/O大会上宣布推出,但目前只能通过注册预览等候名单来获取使用资格。

热门模型开源项目地址:应用社区 算家云


http://www.mrgr.cn/news/74955.html

相关文章:

  • AI Prompt Engineering
  • docker 部署 kvm 图形化管理工具 WebVirtMgr
  • 2024年11月22日Github流行趋势
  • Qt 日志文件的滚动写入
  • Java 实现多线程的n种方法
  • (长期更新)《零基础入门 ArcGIS(ArcMap) 》实验一(下)----空间数据的编辑与处理(超超超详细!!!)
  • 工化企业内部能源能耗过大 落实能源管理
  • 【机器学习】特征工程、降维与超参数调优:提升机器学习模型表现的三大核心技术
  • 华为HCIP-openEuler考试内容大纲:备考必看!
  • 【c++丨STL】list的使用
  • 引入第三方jar包部署服务器后找不到jar处理方法
  • 连接实验室服务器并创建虚拟环境,从本地上传文件到linux服务器,使用requirement.txt安装环境需要的依赖的方法及下载缓慢的解决方法(Linux)
  • 【golang-技巧】- 定时任务 - cron
  • 启扬RK3588核心板,助力园区管理智能化升级
  • Linux基础—ssh和nfs
  • Java面向对象编程进阶之包装类
  • ue5入门教程:EventGraph
  • 期权懂|个股期权常见的风险有哪些你知道吗?
  • 企业软文推广实战技巧:如何精准触达并促成转化?
  • 基于PLC的运料小车控制系统设计(论文+仿真)
  • Openlayers中的动画
  • 企业远程控制办公方案要考虑哪些问题?私有化部署成本高不高?
  • T265相机双目鱼眼+imu联合标定(全记录)
  • 00后卷王真卷,实在是太变态了。。
  • unity 一个物体随键盘上下左右旋转和前进的脚本
  • 上线首月吸金超1.5亿元!腾讯海外SLG新游如何做买量营销?