可以创作诗歌的语言生成系统

 
在过去的几十年中，研究人员开发了越来越先进的人工智能(AI)工具和计算技术，可以将其应用于各种环境中。其中，可以产生书面或口头语言的技术引起了相当大的关注，特别是随着新语音助手，机器人和新交互设备的引入。
科罗拉多大学(UC)-科罗拉多斯普林斯分校和德鲁里大学的研究人员最近开发了一种独特的语言生成系统，该系统可以产生创造性的诗歌经文。在arXiv上预先发表的一篇论文中介绍了他们的系统，它是对GPT-2(由OpenAI开发的一种预先训练的语言模型)的微调改编。
加州大学科罗拉多斯普林斯分校的教授Jugal Kalita负责最近的这项研究，从他在宾夕法尼亚大学毕业的那一天开始，过去30年来一直在进行自然语言生成的研究。他于1988年发表的有关自然语言生成的第一篇论文旨在遵循一组基本规则，制作可能出现在典型期刊中的文字段落。最近，在自然语言处理(NLP)的人工神经网络技术进步的启发下，卡利塔(Kalita)教授和他的学生开始开发深度学习技术，以生成简短的文章，对话和富有创意的写作。
“研究自动诗歌生成这一主题的想法是在2019年夏季初提出的，当时密苏里州德鲁里大学的科罗拉多大学科罗拉多斯普林斯分校的暑期实习生Brendan Bena对自动生成歌曲感兴趣。歌词。” Kalita教授告诉TechXplore。 “他最初想研究一种系统，该系统试图模仿通过歌词产生的情感。”
由于大多数歌曲歌词均受版权保护，因此寻找大型数据集来训练歌词生成深度学习模型可能非常具有挑战性。 Bena和Kalita教授因此决定改为开发一种用于诗歌生成的深度学习工具。然而，与其像大多数以前的诗歌研究一样，他们没有像诗歌的结构或节奏那样关注诸如诗歌的结构或节奏之类的特征，而是探索了其更具情感和创造力的方面。
Bena告诉TechXplore：“在意识到诗歌产生领域中有大量的研究和数据之后，我们将重点转移到了这个特定主题上。” “这项工作很大程度上是基于先前大量研究带来的文本生成的首要任务。但是，与先前的努力不同，我们希望更多地关注文本的内容，情感和创造力，而不是所发现的结构或节奏在以前的诗歌研究中。”
为了发展他们的诗歌生成系统，Bena和Kalita教授首先从Gutenberg项目和UC-Santa Cruz Dreambank数据库中收集了大量文本。他们浏览了古腾堡(Gutenberg)数据库，寻找EmoLex中的单词，EmoLex是加拿大国家研究委员会开发的情感词典数据集。
然后，研究人员将结果数据集划分为不同的“情感类别”，查看每个提取物中包含的EmoLex单词的数量，并使用这些数据来训练深度神经网络。他们训练的模型是GPT-2的改编，通过建模来训练其数据所使用的语言样式，从而学习生成新的文本片段的体系结构。
贝纳解释说：“我们还把梦境数据和诗歌结合在一起给人工神经网络，以创造所谓的’梦境诗歌’。” “最后，我们为欢乐，悲伤，信任，愤怒和期待的情感建立了五个单​​独的情感模型，但我们也有一个梦境诗歌模型。如前所述，该系统较少关注很多结构。诗歌创作的作品，以及更多关于诗歌的自由诗风格，它们看起来是模仿和再现真实诗人的技巧和创造力。”
研究人员要求人类用户评估他们的系统创作的诗歌，同时还使用Coh-Metrix工具评估其产生的诗歌的质量。他们发现，这种诗歌创作的诗歌分别有效地引起了87.5%和85%的悲伤和欢乐。此外，在接受梦境数据和诗歌训练时，他们的系统生成了独特的“梦境式”诗歌经文，这些经文捕捉了所谓的“梦境诗歌”的要素，其李克特量表的得分为3.2。
贝纳说：“我们的发现表明，实际上可以产生文本，从而引起读者的共鸣，并且可以像艺术家希望在其作品中注入的创造力一样。” “我们相信我们的研究将是创造诗歌创作领域的新作品，并希望我们的研究将为该领域的未来工作打开大门。”
贝纳(Bena)和卡利塔(Kalita)教授是最早在诗歌创作中展现出机器创造力的最初微光的人之一。在接下来的研究中，研究人员计划提高其系统组成的诗歌的质量，同时还将其方法应用到其他语言的诗歌创作中。
贝纳说：“如果我们进一步整理训练数据，我们相信神经网络架构可以更好地捕捉我们想要创作的诗歌的情感和像梦一样的方面。” “实际上，尽管EmoLex词典是一个非常有用的数据集，但其词汇表并不能说明在一些古腾堡诗歌中发现的所有较旧的英语。”
将来，研究人员希望将他们的实验重点放在短语或片段级词典上，因为这可以使他们更有效地捕获基于情感的文本中的依存关系。他们的研究也可以使用更加复杂的基于神经网络的体系结构进行重复，这可以从语法和句子结构两方面提高诗歌的质量。
由于Bena和Kalita教授已经使用他们的系统制作了梦诗诗，因此他们最终可以将其应用于其他创作风格，例如抹除诗。通过从现有文本中选取特定或随机的单词，然后使用它们来构成新的经文，可以产生删除诗。
Kalita教授说：“最后，我们还致力于通过迁移学习来生成各种不同语言的诗歌。” “例如，加州大学科罗拉多分校斯普林斯分校的硕士生肖恩·塔克(Shaun Tucker)已使用OpenAI的预先训练的GPT-2模型以多种印欧语言创作诗歌。到目前为止，我们已经用英语，西班牙语，乌克兰语创作了诗歌。 ，印地语，孟加拉语和阿萨姆语，发现深度学习生成模型GPT-2(已经用大量英语文本进行了预训练)可以用所有这些语言的散文和诗歌进行训练，以产生诗歌。”