基于结构-语义融合的评论文本情感分类研究

为了解决当前部分情感分析模型片面依赖文本语义特征、忽视句法结构特征的问题,提出了一种基于结构-语义融合的情感分类模型SF-TLSTM（sentiment-fusion-tree LSTM),即将句法结构信息与语义信息进行融合,全面提取文本特征。首先,将BERT（bidirectional encoder representation from transformers）模型引入TreeLSTM（tree-structured bidirectional LSTM）网络结构中;其次,利用SimCSE（simple contrastive learning of sentence embeddings）模型的自监督训练对BERT获得的向量表示进行数据增强;最后,通过节点编码的方式在构建的TreeLSTM网络上实现结构语义特征融合,并与基线模型进行多组对比分析。结果表明：在斯坦福大学发布的SST(stanford sentiment tree-bank)数据集上,SF-TLSTM模型相较于经典树形结构情感分类模型获得更高的准确率,其中在二分类任务中的准确率达到了96.79%。所提方法能够全面有效地提取评论文本的特征,增强文本的向量表示,对自然语言处理领域中的文本处理具有重要意义。     

基于用户兴趣的多属性效用算法的研究

针对用户兴趣提供个性化的搜索服务一直是搜索引擎系统追求的目标。提出了基于用户兴趣的多属性效用算法,该算法使用效用性算法并结合了实体多个属性偏好因子和遗忘因子,更好地表达用户的兴趣偏好并实现动态更新,提高检索的准确性,实现搜索过程的个性化服务。     

基于词向量和变分自动编码器的短文本主题模型

为了解决短文本稀疏性问题,提高主题模型的性能,提出了一种词向量嵌入的主题模型。首先,假设一篇文档只包含一个主题;其次,利用词向量对每一轮迭代的主题进行扩充与调整,即对每一个主题,利用一种非参数化的概率采样方法得到一些词,再用词向量找出相似词,提升该主题下相似词的权重;最后,用拉普拉斯近似主题分布,使其更好地运用在变分自动编码器训练中,从而加快训练速度。实验结果表明,本文模型训练出的主题具有较好的解释性,并优于其他主流的模型,可为短文本的主题提取提供更多的可能。在主题模型训练的过程中,利用词向量干预主题词分布可以得到较好的主题质量,并可以通过变分自动编码器加快训练速度,对自然语言处理问题的研究具有一定的创新性和参考价值。     

基于变分自动编码器的动态主题模型

传统动态主题模型的后验分布推断需要复杂的推理过程,仅模型假设的细微变化就需要重新进行推断,时间成本较高,制约了模型的可变性和通用性。为了提高动态主题模型的性能,提出了基于变分自动编码器融合动态因子图进行推断的动态主题模型。该模型对变分下界进行再参数化,生成一个下界估计器,将隐变量转换为一组辅助参数,使得新的参数不依赖于变分参数,用标准随机梯度下降法直接优化变分目标,同时融合动态因子图对状态空间模型进行建模,弱化推断的概率特性,简化优化过程,实现有效的推断。结果表明,提出的模型不仅保证了准确性,而且其简化模型有效降低了推断的时间成本,从而为动态主题模型能有效应用于复杂的时间场景提供更多可能。