新聞中心

排序方式

新一代多模态文檔理解预训练模型LayoutLM 2.0,多项任务取得新突破!

近年来,预训练模型是深度学习领域中被广泛应用的一项技术,对于自然語言處理和計算機視覺等领域的发展影响深远。2020年初,微軟亞洲研究院的研究人员提出并开源了通用文檔理解预训练模型 LayoutLM 1.0,受到了广泛关注和认可。如今,研究人员又提出了新一代的文檔理解预训练模型 LayoutLM 2.0,该模型在一系列文檔理解任务中都表现出色,并在多项任务中取得了新的突破,登顶 SROIE 和 DocVQA 两项文檔理解任务的排行榜(Leaderboard)。未来,以多模态预训练为代表的智能文檔理解技术将在更多的实际应用场景中扮演更为重要的角色。

发布時間:2021-01-13 類型:深度文章

带你读论文 | 值分布强化学习

值分布强化学习(Distributional Reinforcement Learning)是一类基于价值的强化学习算法,也是一类新兴的强化学习方法。该方法达到了非分布式强化学习方法上新的基准性能,也与神经科学有着内在联系,因此具有很高的研究价值。本文将带大家一起选读多个近期值分布强化学习相关的研究工作,这些工作的发展脉络清晰、研究动机明确,为后续的进一步研究提供了重要参考。

发布時間:2021-01-08 類型:深度文章

GLGE:業界首個通用語言生成評估基准

最近,除了针对自然语言理解(NLU)任务设计的预训练语言模型,许多针对自然语言生成(NLG)任务而设计的预训练语言模型也被不断提出。然而,这些模型往往通过不同的任务、数据集、和评测指标进行评估,目前还没有一个统一的通用评测基准。为了填补 NLG 通用评测基准这一空缺,微軟亞洲研究院提出了业内首个通用的语言生成评测基准 GLGE (General Language Generation Evaluation benchmark)。GLGE 提供了三种不同难度的的评测基准,以方便研究者们更全面或更有选择性地对模型进行评估。

发布時間:2021-01-06 類型:深度文章

星跃计划 | MSR Asia-MSR Redmond 联合科研项目人才招募中

微軟亞洲研究院、微软雷德蒙研究院联合推出“星跃计划”!

发布時間:2021-01-04 類型:深度文章

微軟亞洲研究院2020技术精选集

不平凡的2020年即将结束。在这个回顾过去、展望未来的时刻,微軟亞洲研究院推出了2020年度技术精选专辑。先让我们一起通过专辑的 “MV”,来看一下这张技术精选集都收录了哪些黑科技。

发布時間:2020-12-30 類型:深度文章

基于Transformer的高效、低延时、流式語音识别模型

Transformer 模型在自然语言领域被提出后,目前已经扩展到了計算機視覺、語音等诸多领域。然而,虽然 Transformer 模型在語音识别领域有着更好的准确率,但在流式的語音识别场景下,Transformer 模型的速度和延时往往阻碍其实际的应用。为了解决这个问题,微软 Azure 語音团队与微軟亞洲研究院的研究员们一起提出了一套结合 Transformer 家族的编码器和流式 Transducer 框架的解决方案,并提出了 Mask is all you need 的方法对模型进行快速训练以及解码,让 Transformer 模型能够在普通的计算设备上进行快速的語音识别。

发布時間:2020-12-30 類型:深度文章

發頂會論文,怎麽就那麽難?

随着 AI 领域越来越火热,各大顶会的论文发布似乎也越来越难:AAAI 2020 放榜,8800 篇提交论文创历史记录;CVPR 2020 被称为十年来最难投中的一届;IJCAI 2020 审稿堪称史上最严,创下了史上最低的接收率 12.6%;OSDI 2020 录用率不足18%;NeurIPS 2020 论文投稿数量创历史最高,但接收率却为史上最低……

发布時間:2020-12-24 類型:深度文章

巧用序數回歸,微軟小英創新主觀評測方法

如何评价一个人的语言学习水平?除了通过客观题判断外,还需要主观打分,比如作文打分、口语评测等。然而,主观评价往往成本较高,评价结果也常不能保持一致。为此,微软小英团队提出了利用序数回归的新方法,应用于发音、語音流畅度、英文写作三方面的打分。

发布時間:2020-12-17 類型:深度文章

比爾·蓋茨:糟糕一年裏的五本好書

在困難時期——2020年毫無疑問可以稱得上是困難時期——我們中那些喜愛閱讀的人嘗試了所有種類的不同書籍。今年,有些時候我選擇在一個棘手問題上深入探索,例如作爲今年“黑人的命也是命”運動基礎的不公正問題。其他時候,我需要換一個節奏,在一天結束時想點輕松些的事。這造成我讀了各種各樣的書,其中不乏優秀作品。在2020年行將結束時,我想推薦以下五本涉及各類主題的書。希望你能從中有所收獲,從而幫助你——或你認識的喜愛閱讀的朋友——給這一年畫上美好的句號。

发布時間:2020-12-11 類型:深度文章

NeurIPS 2020 | 微軟亞洲研究院论文摘录之强化学习&GAN篇

12月6日至12日,国际人工智能顶级会议 NeurIPS 2020 在线上举办。相比前几年,NeurIPS2020 无论是论文的投稿数量还是接收率都创下了记录:论文投稿数量创历史最高记录,相比去年增长了38%,接收率却为史上最低。今天,我们精选了微軟亞洲研究院入选 NeurIPS 2020 中有关强化学习和生成式对抗网络 GAN 领域的工作,为大家进行介绍。

发布時間:2020-12-10 類型:深度文章

?