微软的CodeBERT提取公共GitHub存储库以帮助您查找代码

 
大型的经过预先训练的语言模型改进了一系列自然语言处理任务的最新技术，主要是因为它们能够在无需监督的情况下从文本中学习上下文表示。在预印本论文中，Microsoft Research Asia的一组研究人员利用它的优势创建了一个系统-CodeBERT-用于编程语言(例如Python，Java，JavaScript等)，以支持自然语言理解任务(例如代码搜索)和生成任务(例如代码文档生成)。
CodeBERT(“ BERT”的首字母缩写，指Google用于自然语言处理的BERT架构)，建立在多层双向Transformer神经框架上。与所有深层神经网络一样，变形金刚包含排列在互连层中的神经元(数学功能)，这些层传输来自输入数据的信号并缓慢调整每个连接的突触强度(权重)。这就是所有AI模型提取特征并学习进行预测的方式，但是Transformers的独特之处在于，每个输出元素都连接到每个输入元素。实际上，它们之间的权重是动态计算的。
在预训练阶段，研究人员向CodeBERT提供了两个带有特殊分隔符的段：(1)自然语言文本和(2)某种编程语言的代码。该模型使用双峰数据和单峰数据进行训练，双峰数据是指自然语言代码对的并行数据，单峰数据是指没有成对自然语言文本的代码。
培训数据集包含从公共GitHub存储库中捕获的数据点-特别是包含Python，Java，JavaScript，PHP上的210万个双峰数据点(具有成对文档的单个函数)和640万个单峰代码(无成对文档的函数)的数据集。 ，Ruby和Go。他们先对CodeBERT进行微调，然后再在CodeSearchNet中查找代码，CodeSearchNet是GitHub与Weights&Biases合作发布的开源数据集，并为预训练步骤中未遇到的代码生成文档。
研究人员说，CodeBERT在自然语言代码搜索和代码到文档生成方面都达到了最先进的性能。在未来的工作中，他们计划研究更好的一代和更复杂的神经体系结构，以及与新一代有关的学习目标。