2019/04/22 08/24/04　　【丹佛斯变频器 www.dfsbp.com】他们在自己的网站上发布的结果令人震惊：这个模型能够根据我们输入的几个句子编织出一个完全清晰的故事。查看此示例：

　　这个结果让人很难以置信。ＷＯＲＤ　ＥＭＢＥＤＤＩＮＧＳ格式通常尝试使用字典将单词映射到向量。

　　ＧＰＴ－２经过训练，可以预测４０ＧＢ互联网文本数据中的下一个词。以前的方法都是一次性考虑一个词的一侧，左侧或是右侧。我们接下来会通过以下五个预处理模型来理解这一概念，我们已经为每个模型提供了研究论文和项目链接。我还提供了项目链接，这样您就可以实际了解每个主题。这对于ＮＬＰ往非英语领域的拓展有极大的帮助。简单来说，ＷＯＲＤ　ＥＭＢＥＤＤＩＮＧＳ是将文本块转换为用于执行ＮＬＰ任务的数字。下图是和其中一种模型在各类数据上的对比结果：

　　有关ＴＲＡＮＳＦＯＲＭＥＲ－ＸＬ的更多学习变频器维修 资源：

　　１．　ＧＯＯＧＬＥ’Ｓ　ＯＦＦＩＣＩＡＬ　ＢＬＯＧ　ＰＯＳＴ

　　【

　　２．　ＰＲＥＴＲＡＩＮＥＤ　ＭＯＤＥＬＳ　ＦＯＲＴＲＡＮＳＦＯＲＭＥＲ－ＸＬ

　　【

　　３．　ＲＥＳＥＡＲＣＨ　ＰＡＰＥＲ

　　【

　　０５

　　ＯＰＥＮＡＩ’Ｓ　ＧＰＴ－２

　　【项目地址：

　　这算是一个比较有争议的项目，因为一些人觉得ＧＰＴ－２的发布是ＯＰＥＮＡＩ的一个营销噱头。ＮＬＰ使用率的快速增长主要归功于通过预训练模型实现的迁移学习概念，迁移学习本质上是在一个数据集上训练模型，然后使该模型能够适应在不同的数据集上执行不同的ＮＬＰ操作。后来，开发人员已经发布了一个小得多的ＧＰＴ－２版本供研究人员和工程师测试。

　　更多关于ＧＯＯＧＬＥ’Ｓ　ＢＥＲＴ的学习资料：

　　１．　ＧＯＯＧＬＥ’ＳＯＦＦＩＣＩＡＬ　ＢＬＯＧ　ＰＯＳＴ

　　【

　　２．　ＰＲＥＴＲＡＩＮＥＤ　ＭＯＤＥＬＳ　ＦＯＲ　ＢＥＲＴ

　　【

　　３．　ＲＥＳＥＡＲＣＨ　ＰＡＰＥＲ

　　【

　　０４

　　ＧＯＯＧＬＥ’Ｓ　ＴＲＡＮＳＦＯＲＭＥＲ－ＸＬ

　　【项目地址：

　　从长远来看谷歌发布的这一版本的ＴＲＡＮＳＦＯＲＭＥＲ模型可能是ＮＬＰ中一个非常重要的版本。当时，循环神经网络（ＲＮＮ）被用于语言任务，如机器翻译和问答系统等。

　　转自　｜　磐创ＡＩ（ＩＤ：ＸＵＮＩＸＳ）

　　作者　｜　ＡＩ小昕

　　编者按：近年来，自然语言处理（ＮＬＰ）的应用程序已经无处不在。在文本分类任务方面，ＵＬＭＦＩＴ要优于许多最先进的技术，这个方法涉及到将一个在ＷＩＫＩＴＥＸ１０３数据集上训练的预处理语言模型微调为一个新的数据集，使其不会忘记它以前学到的东西。这一突破使得每个人都能轻松地开启ＮＬＰ任务，尤其是那些没有时间和资源从头开始构建ＮＬＰ模型的人。也许我们有时可以回想起来它是什么，但计算机很难建立这种长期的依赖关系模型。

　　有关ＧＰＴ－２的更多学习资源：

　　１．　ＯＰＥＮＡＩ’ＳＯＦＦＩＣＩＡＬ　ＢＬＯＧ　ＰＯＳＴ

　　【

　　２．　ＰＲＥＴＲＡＩＮＥＤ　ＭＯＤＥＬＳ　ＦＯＲ　ＧＰＴ－２

　　【

　　３．　ＲＥＳＥＡＲＣＨ　ＰＡＰＥＲ

　　【

　　０４

　　词嵌入向量模型（ＷＯＲＤ　ＥＭＢＥＤＤＩＮＧＳ）

　　我们使用的大多数机伟肯变频器器学习和深度学习算法都无法直接处理字符串和纯文本。它在２０１７年由谷歌推出。这件事一下子引起了社会各界的关注。这些模型不仅经过实验室的测试，还被作者用于２０１７年和２０１８年康奈尔大学的竞赛。这些技术要求我们在文本数据执行任何任务（如回归或分类）之前将其转换为数字。这些多用途ＮＬＰ模型的核心是语言建模的概念。正如我们上边降到的ＴＲＡＮＳＦＯＲＭＥＲＳ可以很容易的做到这一点，但它是用固定长度的上下文实现的，也就导致了这种方式最大的缺点是没有太多的灵活性。

　　ＴＲＡＮＳＦＯＲＭＥＲ－ＸＬ很好的弥补了这个差距，它由谷歌人工智能团队研发的一种新型的ＮＬＰ架构，可以帮助计算机理解超出固定长度限制的上下文。而这种ＴＲＡＮＳＦＯＲＭＥＲ结构要优于ＲＮＮ和ＣＮＮ，且训练模型所需的计算资源也减少了。

　　先交代一个背景：ＯＰＥＮＡＩ在２月份的时候写了一篇博文

　　【链接为：声称他们设计了一个名为ＧＰＴ－２的ＮＬＰ模型，这个模型非常好，以至于他们担心恶意使用而没有发布完整版本的费用。不过，我们至少要尝试一下ＯＰＥＮＡＩ发布的代码，这是很重要的。

　　０２

　　预训练模型的分类

　　根据预训练模型的应用，我们可以将其分为三类：

　　ＭＵＬＴＩ－ＰＵＲＰＯＳＥ　ＮＬＰ　ＭＯＤＥＬＳ

　　ＵＬＭＦＩＴ

　　ＴＲＡＮＳＦＯＲＭＥＲ

　　ＧＯＯＧＬＥ’Ｓ　ＢＥＲＴ

　　ＴＲＡＮＳＦＯＲＭＥＲ－ＸＬ

　　ＯＰＥＮＡＩ’Ｓ　ＧＰＴ－２

　　ＷＯＲＤ　ＥＭＢＥＤＤＩＮＧＳ

　　ＥＬＭＯ

　　ＦＬＡＩＲ

　　ＯＴＨＥＲ　ＰＲＥＴＲＡＩＮＥＤ　ＭＯＤＥＬＳ

　　ＳＴＡＮＦＯＲＤＮＬＰ下面我们来一一看下这三个分类：

　　０３

　　多用途ＮＬＰ模型（ＭＵＬＴＩ－ＰＵＲＰＯＳＥ　ＮＬＰ　ＭＯＤＥＬＳ）

　　多用途模型是ＮＬＰ领域的热门话题。

　　在本节中，我们将介绍两个最先进的ＮＬＰ单词嵌入。”它使用了固定大小的上下文（也就是前面的单词）来实现这一点。

　　此外，我们还应该关注ＳＴＡＮＦＯＲＤＮＬＰ的两个主要原因是：

　　１．　用于执行文本分析的完整神经网络ＰＩＰＥＬＩＮＥ，包括：

　　符号化（ＴＯＫＥＮＩＺＡＴＩＯＮ）

　　ＭＵＬＴＩ－ＷＯＲＤ　ＴＯＫＥＮ　（ＭＷＴ）扩展

　　词形还原

　　词性标注（ＰＯＳ）和形态特征标记

　　依赖性解析（ＤＥＰＥＮＤＥＮＣＹ　ＰＡＲＳＩＮＧ）

　　２．　一个稳变频器维修 定的官方维护的ＣＯＲＥＮＬＰ　ＰＹＴＨＯＮ接口

　　下面为大家提供更多的关于ＳＴＡＮＦＯＲＤＮＬＰ的学习资源：

　　１．　ＩＮＴＲＯＤＵＣＴＩＯＮ　ＴＯ　ＳＴＡＮＦＯＲＤＮＬＰ：　ＡＮ　ＩＮＣＲＥＤＩＢＬＥＳＴＡＴＥ－ＯＦ－ＴＨＥ－ＡＲＴ　ＮＬＰ　ＬＩＢＲＡＲＹ　ＦＯＲ　５３　ＬＡＮＧＵＡＧＥＳ　（ＷＩＴＨ　ＰＹＴＨＯＮ　ＣＯＤＥ）

　　【

　　２．　ＰＲＥＴＲＡＩＮＥＤ　ＭＯＤＥＬＳ　ＦＯＲ　ＳＴＡＮＦＯＲＤＮＬＰ

　　【

　　【总结】：本文为大家详细总结、概述了八个ＮＬＰ的预处理模型。

　　此外，该团队已经为以下ＮＬＰ任务发布了几个预训练模型：

　　１．　ＮＡＭＥ－ＥＮＴＩＴＹ　ＲＥＣＯＧＮＩＴＩＯＮ　（ＮＥＲ）

　　２．　ＰＡＲＴＳ－ＯＦ－ＳＰＥＥＣＨ　ＴＡＧＧＩＮＧ　（ＰＯＳ）

　　３．　ＴＥＸＴ　ＣＬＡＳＳＩＦＩＣＡＴＩＯＮ

　　４．　ＴＲＡＩＮＩＮＧ　ＣＵＳＴＯＭ　ＭＯＤＥＬＳ

　　下表格展示了其效果：

　　有关ＦＬＡＩＲ更多的学习资源：

　　１．　ＩＮＴＲＯＤＵＣＴＩＯＮＴＯ　ＦＬＡＩＲ　ＦＯＲ　ＮＬＰ：　Ａ　ＳＩＭＰＬＥ　ＹＥＴ　ＰＯＷＥＲＦＵＬ　ＳＴＡＴＥ－ＯＦ－ＴＨＥ－ＡＲＴ　ＮＬＰ　ＬＩＢＲＡＲＹ

　　【

　　２．　ＰＲＥＴＲＡＩＮＥＤＭＯＤＥＬＳ　ＦＯＲ　ＦＬＡＩＲ

　　【

　　０５

　　其它预训练模型（ＯＴＨＥＲ　ＰＲＥＴＲＡＩＮＥＤ　ＭＯＤＥＬＳ）

　　０１

　　ＳＴＡＮＦＯＲＤ　ＮＬＰ

　　【项目地址：

　　该作者声明　作者声称ＳＴＡＮＦＯＲＤＮＬＰ支持超过５３种语言，真正开辟了很多在非英语语言中应用ＮＬＰ技术的可能性。此外，ＢＥＲＴ还可以进行多任务学习，即可以同时执行不同的ＮＬＰ任务。　原始模型有１５亿个参数，开源样本模型有１．１７亿个。

　　此外，以下是学习ＮＬＰ的一些有用资源：

　　１．　ＮＡＴＵＲＡＬ　ＬＡＮＧＵＡＧＥ　ＰＲＯＣＥＳＳＩＮＧ　ＵＳＩＮＧ　ＰＹＴＨＯＮ　ＣＯＵＲＳＥ

　　【

　　２．　ＣＥＲＴＩＦＩＥＤ　ＰＲＯＧＲＡＭ：　ＮＬＰ　ＦＯＲ　ＢＥＧＩＮＮＥＲＳ

　　【

　　３．　ＣＯＬＬＥＣＴＩＯＮ　ＯＦ　ＡＲＴＩＣＬＥＳ　ＯＮ　ＮＡＴＵＲＡＬ　ＬＡＮＧＵＡＧＥ　ＰＲＯＣＥＳＳＩＮＧ（ＮＬＰ）

　　【

　　推荐阅读：

　　星标我，每天多一点智慧

　　。此外，ＴＲＡＮＳＦＯＲＭＥＲ－ＸＬ比一般的ＴＲＡＮＳＦＯＲＭＥＲＳ速度要快１８００倍。文章发布于公号【数智物语】　（ＩＤ：ＤＥＣＩＳＩＯＮ＿ＥＮＧＩＮＥ），关注公号不错过每一篇干货。而ＥＬＭＯ单词表示考虑用于计算单词ＥＭＥＢＥＤＤＩＮＧＳ的完整输入句子。

　　ＢＥＲＴ是第一个用于预训练ＮＬＰ模型的无监督方法、深度双向系统，但它只能使用纯文本语料库进行训练。

　　０１

　　ＥＬＭＯ

　　【项目地址：

　　ＥＬＭＯ是语言模型嵌入（ＥＭＢＥＤＤＩＮＧＳ　ＦＲＯＭ　ＬＡＮＧＵＡＧＥ　ＭＯＤＥＬＳ）的缩写，在构建ＮＬＰ模型的环境中非常有用。所以，使用预训练模型处理ＮＬＰ任务是目前非常热门的研究方向，本文将重点介绍八个预训练的ＮＬＰ模型以及每个模型的相关资源。例如：ＳＨＥ　ＦＯＵＮＤ　ＴＨＥ　ＳＨＥＬＬＳ　ＯＮ　ＴＨＥ　ＢＡＮＫ　ＯＦ　ＴＨＥ　ＲＩＶＥＲ。ＴＲＡＮＳＦＯＲＭＥＲ模型可以一步理解“ＢＡＮＫ”在这里指的是海岸，而不是金融机构。在发布时，ＢＥＲＴ正在为１１项自然语言处理任务生成最新的结果，可以支持用户在短短几个小时内（在单个ＧＰＵ上）使用ＢＥＲＴ训练自己的ＮＬＰ模型（如：问答系统）。在ＳＴＡＮＦＯＲＤＮＬＰ中打包的所有预训练的ＮＬＰ模型都是基于ＰＹＴＯＲＣＨ构建的，我们可以在自己的注释数据上进行训练和评估。这些模型为我们所关注的ＮＬＰ应用提供了动力——机器翻译、问答系统、聊天机器人、情感分析等。

　　通过以下资料可以学习更多有关ＴＲＡＮＳＦＯＲＭＥＲ的资源：

　　１．　ＧＯＯＧＬＥ’ＳＯＦＦＩＣＩＡＬ　ＢＬＯＧ　ＰＯＳＴ

　　【

　　２．　ＰＲＥＴＲＡＩＮＥＤ　ＭＯＤＥＬＳ　ＦＯＲ　ＴＲＡＮＳＦＯＲＭＥＲ

　　【

　　３．　ＲＥＳＥＡＲＣＨ　ＰＡＰＥＲ

　　【

　　０３

　　ＧＯＯＧＬＥ’Ｓ　ＢＥＲＴ

　　【项目地址：

　　自谷歌发布结果以来，ＢＥＲＴ框架就掀起了一股波澜，并且还开放了源代码背后的代码。想象一下，当你正在读书时，突然出现一个单词或句子，而这个单词和句子在书的开头已经提到过来。

　　ＢＥＲＴ是双向编码器的缩写，它考虑单词两侧的上下文。

　　０１

　　ＵＬＭＦＩＴ

　　【项目地址：

　　ＵＬＭＦＩＴ是由ＪＥＲＥＭＹＨＯＷＡＲＤ和ＤＥＥＰＭＩＮＤ的ＳＥＢＡＳＴＩＡＮ　ＲＵＤＥＲ三位科学家提出并设计的。简单来说，语言模型的目的是预测序列中的下一个单词或字符。我们可以将ＦＬＡＩＲ称为ＮＬＰ库，它结合了诸如ＧＬＯＶＥ，ＢＥＲＴ，ＥＬＭＯ等ＷＯＲＤＥＭＢＥＤＤＩＮＧＳ的内容。此外，使用这些最先进的预训练模型，可以帮助我们节省大量的时间和计算资源。但现有的预处理模型不仅有这些，我们可以访问：学习更多的ＮＬＰ预处理模型。具体来看，ＥＬＭＯ是一种在向量和ＥＭＢＥＤＤＩＮＧＳ中表示单词的新方法，这些ＥＬＭＯ　ＥＭＢＥＤＤＩＮＧＳ有助于我们在多个ＮＬＰ任务上获得最棒的结果，如下所示：

　　让我们来了解一下ＥＬＭＯ的工作原理：　回想一下我们之前讨论过的双向语言模型，从中我们可以得到启示，ＥＬＭＯ单词向量是在双层双向语言模型（ＢＩＬＭ）之上计算的，　这个ＢＩＬＭ模型有两层堆叠在一起，每层都有２次传递（前传和后传）。

　　０１

　　为什么要使用预训练模型？

　　先前的研究者已经为我们设计了一个基准模型，我们可以很方便地在自己的ＮＬＰ数据集上使用该预训练模型，而不是从头开始构建模型来解决类似的ＮＬＰ问题。由ＺＡＬＡＮＤＯ　ＲＥＳＥＡＲＣＨ的优秀人员开发并开源了代码ＦＬＡＩＲ。另一方面，ＵＬＭＦＩＴ需要很少的例子就能产生这些令人印象深刻的结果，这使得它更容易让人理解和实现。这种双向性的方法可以有助于模型更好地理解使用单词的上下文。

　　有关ＥＬＭＯ的更多学习资源：

　　１．　ＳＴＥＰ－ＢＹ－ＳＴＥＰ　ＮＬＰ　ＧＵＩＤＥ　ＴＯ　ＬＥＡＲＮ　ＥＬＭＯ　ＦＯＲ　ＥＸＴＲＡＣＴＩＮＧＦＥＡＴＵＲＥＳ　ＦＲＯＭ　ＴＥＸＴ

　　【

　　２．　ＧＩＴＨＵＢ　ＲＥＰＯＳＩＴＯＲＹ　ＦＯＲ　ＰＲＥＴＲＡＩＮＥＤ　ＭＯＤＥＬＳ

　　３．　ＲＥＳＥＡＲＣＨ　ＰＡＰＥＲ

　　【

　　０２

　　ＦＬＡＩＲ

　　【项目地址：

　　ＦＬ伟肯变频器ＡＩＲ不完全是一个ＷＯＲＤ　ＥＭＢＥＤＤＩＮＧＳ，而是一个ＷＯＲＤ　ＥＭＢＥＤＤＩＮＧＳ的组合。我们可以参考以下的比较：

　　谷歌官方解释说：“ＴＲＡＮＳＦＯＲＭＥＲ应用了一种自我关注机制，它可以直接模拟句子中所有单词之间的关系，而不用考虑它们的位置如何。这个模型其实也是一个基于ＴＲＡＮＳＦＯＲＭＥＲ训练的模型，它训练了一个８００万网页的数据集。

　　ＳＴＡＮＦＯＲＤＮＬＰ是由一系列经过预先训练的ＮＬＰ模型组成的集合。如：印度语、中文和日语。ＢＥＲＴ也许不能标志着一个新的ＮＬＰ时代，但毫无疑问，ＢＥＲＴ是一个非常有用的框架，可以很好的适用于各种ＮＬＰ任务。

　　此外，如果我们想了解更多的关于ＵＬＭＦＩＴ的信息，请参阅：

　　ＴＵＴＯＲＩＡＬ　ＯＮ　ＴＥＸＴ　ＣＬＡＳＳＩＦＩＣＡＴＩＯＮ　（ＮＬＰ）ＵＳＩＮＧ　ＵＬＭＦＩＴ　ＡＮＤ　ＦＡＳＴＡＩ　ＬＩＢＲＡＲＹ　ＩＮ　ＰＹＴＨＯＮ

　　【

　　ＰＲＥＴＲＡＩＮＥＤ　ＭＯＤＥＬＳ　ＦＯＲ　ＵＬＭＦＩＴ

　　【

　　ＲＥＳＥＡＲＣＨ　ＰＡＰＥＲ

　　【

　　０２

　　ＴＲＡＮＳＦＯＲＭＥＲ

　　【项目地址：

　　ＴＲＡＮＳＦＯＲＭＥＲ结构是近几年来ＮＬＰ主要发展的核心。

　　ＴＲＡＮＳＦＯＲＭＥＲ－ＸＬ在和各种语言建模的对比上，取得了不错的结果

20190422082404