基于改进Transformer模型的文本摘要生成方法

传统的文本摘要方法，如基于循环神经网络和Encoder-Decoder框架构建的摘要生成模型等，在生成文本摘要时存在并行能力不足或长期依赖的性能缺陷，以及文本摘要生成的准确率和流畅度的问题。对此，提出了一种动态词嵌入摘要生成方法。该方法基于改进的Transformer模型，在文本预处理阶段引入先验知识，将ELMo(Embeddings from Language Models)动态词向量作为训练文本的词表征，结合此词对应当句的文本句向量拼接生成输入文本矩阵，将文本矩阵输入到Encoder生成固定长度的文本向量表达，然后通过Decoder将此向量表达解码生成目标文本摘要。实验采用Rouge值作为摘要的评测指标，与其他方法进行的对比实验结果表明，所提方法所生成的文本摘要的准确率和流畅度更高。