山东网站优化
NEWS 新闻中心
当前位置:科技

Title
华为:盘古大模型训练效能已达业界主流GPU的11倍 懂点AI

发布时间:2023-08-02 10:18:33    作者:小编    点击量:

  掌握AIGC脉动,把握科技脉搏。动点科技每天收集汇总全球AIGC进展与热点,每天5分钟带您了解AIGC,希望与您共同玩转 AIGC,解码行业发展新风向,开启智慧新时代!

  华为云数字文娱AI创新峰会2023日前在上海举行。会上,华为云全球Marketing与销售服务总裁石冀琳表示,今年以来,华为基于大模型的AIGC技术在影视、游戏、音频、动漫等多个领域落地应用,给数字文娱产业带来了可预见的巨大价值。在AI算力层面,华为云以昇腾AI云服务的方式提供给行业客户,单集群2000P Flops澎湃算力。推理场景下,原有的模型迁移到昇腾AI云服务后,其AI推理性能比业界主流提升了30%;同时在大模型训练场景下,训练效能已经达到业界主流GPU的1.1倍,为客户训练大模型带来更优选择。

  IT之家 7 月 31 日消息,用户所使用的语言对于大型语言模型(LLM)的费用有很大的影响,可能造成英语使用者和其它语言使用者之间的人工智能鸿沟。最近的一项研究显示,由于 OpenAI 等服务所采用的的服务器成本衡量和计费的方式,英语输入和输出的费用要比其他语言低得多,其中简体中文的费用大约是英语的两倍,西班牙语是英语的 1.5 倍,而缅甸的掸语则是英语的 15 倍。

  IT之家注意到,推特用户 Dylan Patel(@dlan522p)分享了一张照片,展示了牛津大学进行的一项研究,该研究发现,让一个 LLM 处理一句缅甸语句子需要 198 个词元(tokens),而同样的句子用英语写只需要 17 个词元。词元代表了通过 API(如 OpenAI 的 ChatGPT 或 Anthropic 的 Claude 2)访问 LLM 所需的计算力成本,这意味着缅甸语句子使用这种服务的成本比英语句子高出 11 倍。

  词元化模型(即人工智能公司将用户输入转换为计算成本的方式)意味着,除了英语之外的其他语言使用和训练模型要贵得多。这是因为像中文这样的语言有着不同、更复杂的结构(无论是从语法还是字符数量上),导致它们需要更高的词元化率。例如,根据 OpenAI 的 GPT3 分词器 ,“你的爱意(your affection)”的词元,在英语中只需要两个词元,但在简体中文中需要八个词元。尽管简体中文文本只有 4 个字符(你的爱意),而英文有 14 个字符。

  本文为动点科技整理,未经授权不得转载,如需转载或开白请在后台回复“转载”。

  *想要获取行业资讯、和志同道合的科技爱好者们分享心得,那就赶快扫码添加“动点君”加入群聊吧!群里更有不定期福利发放!

  特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

  4人自驾罗布泊失联细节曝光 遗体发现者:车辆油料充足,距出口大概还有二三十公里

  财联社8月2日电,美国白宫新闻发言人表示,强烈反对惠誉下调美国主权信用评级的举动。

  美国超导大涨60%!中美俄实验室同日复现室温超导晶体,华科做出抗磁样品!

  虽然发布于 3 年前,但 Chromecast with Google TV 依然值得体验

返回列表

联系我们

contact us
济南网站优化  ICP备案编号:鲁ICP备19029271号
365整形网 方舟号