如何通过几行 Python 代码，使用BERT进行词嵌入？

<blockquote> <p>在自然语言处理领域中，诞生于 2018 年末的 BERT 非常的“火热”。强悍如 BERT，在十多项 NLP 的任务上强势屠榜，业界声称 BERT 将开创自然语言处理领域新的纪元。在本文中，作者 Anirudh_S 将展示如何只使用几行 Python 代码，就可以使用深度学习自然语言处理模型（BERT）将单词嵌入到向量中。</p> </blockquote> <p><strong>本文最初发表于 Towards Data Science，经原作者 Anirudh_S 授权，InfoQ 中文站翻译并分享。</strong></p> <h2>词嵌入：它们是什么？</h2> <p>在自然语言处理领域中，以向量形式或词嵌入表示单词或句子的方式，为各种潜在应用打开了大门。这种将单词编码为向量的函数，对自然语言处理任务来说是一个强大的工具，例如计算单词之间的语义相似度，人们可以用来构建语义搜索引擎，就像<a href="https://www.blog.google/products/search/search-language-understanding-bert/">Google 将 BERT 应用于搜索一样</a>。可以说，BERT 是最强大的语言模型之一，在机器学习社区中非常流行。</p> <p>BERT（Bidirectional Encoder Representations from Transformers）模型已使用大型句子语料库进行预训练。简而言之，训练是通过在一个句子中对一些单词进行掩码（根据论文作者的说法，大约为 15% 的单词），然后让模型去预测那些被掩码的单词。随着模型的预测训练，它学会了生成一个强大的单词内部表示，即词嵌入（Word embedding）。今天，我们将介绍如何轻松地构建并运行 BERT 模型，并将单词编码为词嵌入。</p> <h2>BERT 词嵌入模型设置</h2> <p>有一组可用的选项来运行带 Python 和 TensorFlow 的 BERT 模型。但是，为了能够让你非常容易地获得 BERT 模型，我们将使用一个 Python 库，它可以帮助我们立即进行设置！</p><div align='right'><a href='https://www.infoq.cn/article/QK7zfPgQPCmZyITumZNG?utm_source=rss&utm_medium=article'>点击查看原文></a></div>