用于分词的方法和装置
摘要:
本申请实施例公开了用于分词的方法和装置。该方法的一具体实施方式包括:获取预设词汇集合和待分词文本,其中,预设词汇集合为基于预设文本集合预先生成的词汇集合,预设词汇集合中的词汇包括第一信息和第二信息;基于预设词汇集合,对待分词文本进行分词,获得至少一个词汇序列;对于至少一个词汇序列中的词汇序列,确定该词汇序列中的词汇的第一信息和第二信息,以及基于所确定的第一信息和第二信息,确定该词汇序列的概率,其中,对于词汇序列中的词汇,该词汇的第二信息为基于与该词汇相邻的词汇确定出的第二信息;从至少一个词汇序列中选取概率最大的词汇序列作为分词结果。该实施方式提高了分词的准确性。
公开/授权文献
0/0