在预印服务器Arxiv.org上发表的一篇论文中，Facebook的研究人员描述了检索和生成(MARGE)的多语言自动编码器。它是一种语言模型，通过检索不同语言中的相关单词、句子和段落并识别其中的模式来生成单词、句子和段落。

研究人员声称，MARGE不需要任何调整就能学会转述、翻译和总结文本，这是一个潜在的步骤，可以让系统在训练前就能完成任何文本任务。

在机器学习中，预训练包括在大量数据上训练人工智能模型，然后在为特定任务量身定制的狭窄数据集(如总结)上进行微调。掩蔽模型是一种通过去除输入文本的部分内容，然后对其进行重构来进行预训练的模型，它在语言领域中得到了广泛的应用。但在设计上，他们必须记住大量百科全书式的知识，才能取得优异的成绩。

与此相反，MARGE强调转述，同时减少了所需的知识量。在训练前，它摄取成批的“证据”文件和目标文件，并在找出证据与目标的相关性的同时，学会准确地总结和翻译特定的文本片段(以证据文件为条件)。

MARGE首先计算每对文件之间的关联分数，以鼓励它更多地关注相关证据文件。然后，它使用修改的seq2seq模型计算重构每个目标的可能性，seq2seq模型是一种用于语言处理的通用编码器-解码器模型。最后，利用关联模型对证据文档进行批量构建，使证据文档与目标相关。

在实验中，研究人员创建了一个名为“MARGE-NEWS”的具有9.6亿个参数的Transformer模型，该模型由2048名“工人”组成，他们处理4份文件(2个证据和2个目标)的子批，每批处理55万步。他们进一步对它进行了10万步的预训练，并每1万步重新构建索引，因此每个目标文档平均需要4个单语和4个跨语链接。(这些文件共有26种语言。)

研究人员报告说，在跨语言句子检索的任务中，MARGE的表现优于其他所有无人监督的句子检索。根据一个基准(BUCC)，模型在未标记的数据集中寻找模式，并与Facebook领先的XLM-R模型进行比较，以另一个基准(Tatoeba)。在衡量语言翻译质量的指标BLEU上，MARGE在没有进行微调的系统中，德语到英语的成绩是3.58分。

在确定两个句子是否为意译以及回答有关中文文件的问题时，玛吉还淘汰了最先进的模式。在某些情况下，它很难生成非英语语言，尤其是那些非拉丁字母的语言，但研究人员报告说，从英语到法语的效果很好。

"MARGE在许多语言中的一系列判别和生成任务上表现出强大的性能，无论是有微调还是没有微调 我们表明，微调在许多语言中的一系列判别和生成任务上给出了强大的性能，使MARGE成为迄今为止最普遍适用的预训练方法，"共同作者写道。"未来的工作应该将MARGE扩展到更多领域和语言，并研究如何将预训练目标与不同的最终任务更紧密地结合起来。

值得注意的是，研究人员似乎并没有对MARGE进行数据测试，这些数据旨在揭示性别、种族、民族和其他偏见，比如StereoSet。考虑到Facebook最近糟糕的道德记录，这多少有些令人担忧。一位发言人最近告诉VentureBeat，该公司没有统计出Facebook人工智能研究等团队的多样性统计数据，该团队制作了这项研究。在最近的一次推特交流中，Facebook首席人工智能科学家扬·勒库表示，仅是数据就会导致有偏见的人工智能系统，这一观点遭到了一些学者的反对，比如谷歌道德人工智能联合负责人蒂姆尼特·格布鲁。