词义相似度
基于整个网络海量的高质量数据和深层神经网络技术,通过词向量化计算两个词之间的相似度,以满足高精度业务场景的要求
功能介绍
1深层语义分析
这项技术通常用于计算两个给定单词的语义相似度,这是基于自然语言中的分布假设,即常见词越多,相似度越高
2领先的技术应用
词义相似度是自然语言处理中一项重要的基础技术。它是专有名称挖掘、查询重写和词性标注的基础之一
应用场景
1、专有名称挖掘
通过计算词与词之间的语义相关性,找出与人名、地名、机构名称等相关的词,扩充专有名词词典,更好地辅助应用
2、查询重写
通过在搜索查询中搜索相似词,可以合理地替换它们,从而达到重写查询的目的,提高搜索结果的多样性
技术特点
1、词汇覆盖面广
利用百度大规模网页数据进行模型训练,样本数据丰富及时,词汇量覆盖面广,召回率高
2、深度学习训练
在DNN深度学习的基础上,训练大量样本完成词的矢量化,建立了一个高精度的词向量表示系统
3、描述精度高
基于高精度的词向量表示系统和大量的样本训练和学习,能够准确描述词义相似度,满足高精度商业场景的需求