助力中小企业全面提升网站营销价值

通过对搜索引擎自然优化排名,让您网站排名更靠前

共创美好未来
亿百体育官网_微软和英伟达推出迄今为止训练最大最强的语言模型 MT-NLG
日期:2021-11-26 18:31:02 编辑: 阅读:

 

  10 月 12 日动静 说话模子(Language Model)简单来讲就是一串词序列的几率散布,首要感化是为一个长度为 m 的文本肯定一个几率散布 P,暗示这段文本存在的可能性。

  大师之前可能或多或少传闻过 GPT-3,OpenAI 最新的说话模子,可谓地表最强说话模子,也被认为是革命性的人工智能模子。除此以外还 BERT、Switch Transformer 等重量级产物,并且业内其他企业也在尽力推出自家的模子。

  微软和英伟达今天公布了由 DeepSpeed 和 Megatron 驱动的 Megatron-Turing 天然说话生成模子(MT-NLG),这是迄今为止练习的最年夜和最壮大的解码说话模子。

  作为 Turing NLG 17B 和 Megatron-LM 的继任者,这个模子包罗 5300 亿个参数,并且 MT-NLG 的参数数目是同类现有最年夜模子 GPT-3 的 3 倍,并在一系列普遍的天然说话使命中展现了无与伦比的正确性,例如:

  完成猜测

  浏览理解

  常识推理

  天然说话推理

  词义消歧

  105 层、基在转换器的 MT-NLG 在零、单和少样本设置中改良了先前最早进的模子,并为两个模子范围的年夜范围说话模子设定了新尺度和质量。

  据悉,模子练习是在基在 NVIDIA DGX SuperPOD 的 Selene 超等计较机上以夹杂精度完成的,该超等计较机由 560 个 DGX A100 办事器供给撑持,这些办事器以完全的胖树(FatTree)设置装备摆设与 HDR InfiniBand 联网。每一个 DGX A100 有 8 个 NVIDIA A100 80GB Tensor Core GPU,经由过程 NVLink 和 NVSwitch 彼此完全毗连。微软 Azure NDv4 云超等计较机利用了近似的参考架构。

特殊提示: {{z(站点标题)}}信息来自在互联网,目标在在传递更多信息,其实不代表 {{z(站点标题)}}附和其不雅点。其原创性和文中陈说文字和内容未经本站证实,对本文和此中全数或部门内容、文字的真实性、完全性、和时性本站不作任何包管或许诺,并请自行核实相干内容。本站不承当此类作品侵权行动的直接责任和连带责任。如若 {{z(站点标题)}}有任何内容加害您的权益,请和时联系我们,本站将会在24小时内处置终了。

返回网站首页 本文来历:IT之家

亿百体育官网