模型发布

OpenAI 发布基于无监督预训练的语言理解模型并取得 SOTA 结果

原文标题:Improving language understanding with unsupervised learning

AI 摘要

OpenAI 用结合 Transformer 与无监督预训练的通用、任务无关系统,在多项语言任务上取得 SOTA 结果,并开源发布该系统。OpenAI 表示这一结果验证了监督学习与无监督预训练结合的有效性,希望推动在更大、更多样数据集上的后续研究。

关键信息

  • OpenAI 用结合 Transformer 与无监督预训练的通用、任务无关系统,在多项语言任务上取得 SOTA 结果,并开源发布该系统。
  • OpenAI 表示这一结果验证了监督学习与无监督预训练结合的有效性,希望推动在更大、更多样数据集上的后续研究
  • 原文说明了方法组合与开放发布,读者可以据此理解无监督预训练思路在多项语言任务上的效果

速览

发布时间
更新时间
来源
OpenAI:官网动态(RSS · 排除企业/客户案例)
分类
模型发布
AI 评分
75
阅读原文 前往信息源阅读完整正文
推荐理由

原文说明了方法组合与开放发布,读者可以据此理解无监督预训练思路在多项语言任务上的效果。

相关实体

来源与版权

本文基于 AIHOT 公开 API 的精选标题与 AI 摘要整理,已注明来源并回链;原文版权归原媒体与作者所有,本站不镜像全文。

原文链接 · AIHOT 条目

如何引用

引用本文时请保留标题、日期与永久链接,并注明来源为橙子新闻。

橙子新闻:OpenAI 发布基于无监督预训练的语言理解模型并取得 SOTA 结果。2018年6月11日。https://new.nat6.net/news/kqw3u0zsdrdahfl69kk21gyhw/

查看全部 →
  • OpenAI 打造 Dota 2 bot 在 1v1 比赛中战胜世界顶尖职业选手

    OpenAI 打造出一个在标准赛事规则下、Dota 2 1v1 比赛中战胜世界顶尖职业选手的 bot。该 bot 通过自我对弈从零学会游戏,不使用模仿学习或树搜索,OpenAI 称这是迈向在涉及真实人类的复杂场景中达成明确目标的 AI 系…

    OpenAI:官网动态(RSS · 排除企业/客户案例)模型发布AI 评分 71

  • OpenAI 发布强化学习算法 Proximal Policy Optimization (PPO)

    OpenAI 发布一类新的强化学习算法 Proximal Policy Optimization(PPO),性能与当时最先进方法相当或更好,同时实现和调参更简单。因易用且表现良好,PPO 已成为 OpenAI 内部默认的强化学习算法。

    OpenAI:官网动态(RSS · 排除企业/客户案例)模型发布AI 评分 73

  • OpenAI Five 击败 Dota 2 世界冠军战队 OG

    OpenAI Five 在周末的决赛中连赢两局击败 Dota 2 世界冠军战队 OG,成为首个战胜电竞世界冠军的 AI,也是 AI 首次在直播比赛中战胜电竞职业选手。此前 OpenAI Five 与 DeepMind 的 AlphaSta…

    OpenAI:官网动态(RSS · 排除企业/客户案例)模型发布AI 评分 82

  • OpenAI 发布 774M 参数版 GPT-2 并分享分阶段发布经验

    OpenAI 发布 774M 参数的 GPT-2 语言模型,此前已于 2 月发布 124M 小型版、5 月分阶段发布 355M 中型版,并与合作伙伴及 AI 社区研究了模型的滥用风险与社会效益。同时发布一份开源法律协议以便组织间建立模型共…

    OpenAI:官网动态(RSS · 排除企业/客户案例)模型发布AI 评分 70