AI 怎么知道人类对话在说什么?微软研究团队告诉你!

  • 时间:
  • 浏览:0
  • 来源:大发快三_快三计划师_大发快三计划师

  近期,微软研究团队通过对上下文建模加以研究得出某种新的依据,你这一依据要能让 AI 模型通过上下文的历史记录来改写对话中的最后搞笑的话,越来越 ,这是某种如可的研究依据呢?

  KYLE WIGGERS 对此做了全部的介绍,雷锋网将其文章进行了不改变要我的编译,具体如下。

  在一份预先出版的论文中,微软研究团队全部地介绍了朋友 的工作——为开放领域的对话进行无监督的上下文重写。朋友 声称,在重写质量和多轮响应生成方面,朋友 的实验结果原因分析达到了最新基准。

  正如研究人员所解释的那样,对话上下文提出了搞笑的话建模中所越来越 的挑战,比如主题转换、一块儿引用(像他、她、它、朋友 你这一)、长期依赖。大多数系统处里哪些大现象的依据是在最后搞笑的话中添加关键字,原因分析用 AI 模型学习数字表示,但你这一依据往往会遇到障碍,比如无法取舍正确的关键词、无法处里较长的上下文等。

  这事先,并且微软研究团队的依据的用武之地了。它通过对语境信息的考量,重新制定了对话中的最后搞笑的话;越来越 做是为了生成另一一好几个 独立搞笑的搞笑的话,既不位于相互参照,并且依赖过去对话的其它搞笑的话。

  举个例子,原因分析将“我讨厌喝咖啡。- - 为哪些?它挺牛奶营养价值 的啊。”转化成“为哪些会讨厌喝咖啡呢?它挺牛奶营养价值 的啊。”,这就借用了“它”和“为哪些”。其中,“它”指代的是对话中提到的咖啡,“为哪些”则是“为哪些讨厌喝咖啡”的缩写形式。

  对此,研究人员设计了另一一好几个 机器学习系统——上下文重写网络(雷锋网按:context rewriting network, CRN),来实现端到端的流程自动化。你这一系统是由另一一好几个 序列到序列模型组成的,它要能将固定长度搞笑的搞笑的话映射到固定长度的重写搞笑的话上。如可让,它还具有另一一好几个 独立的注意力机制,你这一机制要能通过最后搞笑的话中的不同单词来帮助它从上下文中克隆单词。

  越来越 ,你这一系统是如可被设计出来的呢?

  首先,微软研究团队使用伪数据对模型进行了训练,哪些伪数据是通过提取上下文的关键字,将哪些关键字插入到原始对话中的最后搞笑的话中来生成的。如可让,为了让最后的响应影响重写过程,朋友 利用了强化学习去推动系统朝着目标前进。

  在一系列实验中,该团队评估了朋友 的依据在几种重写质量,多回合响应生成,多回合响应取舍以及基于端到端检索的任务上的应用。朋友 注意到,原因分析朋友 的模型更倾向于从上下文中提取更多的单词,如可让该模型在强化学习后偶尔会变得不稳定,不过,这也显著地提升了搞笑的话的多样性。

  微软研究团队认为,朋友 的工作朝着更易解释和更易控制的上下文建模中迈进了一步。另外,该研究团队还表示,朋友 的模型里能 从嘈杂的语境中提取出重要的关键词,如可让将哪些关键词插入到最后搞笑的搞笑的话中,使其不仅变得易于控制和解释,还利于将信息直接传递到最后搞笑的搞笑的话中。