论文名称：基于动态规划的最小代价路径汉语自动分词
论文类型：期刊论文
发表刊物：小型微型计算机系统
收录刊物：PKU、ISTIC、CSCD
卷号：27
期号：3
页面范围：516-519
ISSN号：1000-1220
关键字：汉语自动分词;最长次长匹配;最小代价路径;切分歧义消解;未知词特征词
摘要：基于最长次长匹配的方法建立汉语切分路径有向图,将汉语自动分词转换为在有向图中选择正确的切分路径,其中有向图中的节点代价对应单词频度,而边代价对应所连接的两个单词的接续频度;运用改进后Dijkstra最小代价路径算法,求出有向图中路径代价最小的切分路径作为切分结果.在切分歧义的处理上采用分步过滤逐步解消的方法,并引入了基于未知词特征词驱动的机制,对未知词进行了前处理,减少了因未知词的出现而导致的切分错误.实验结果表明,该方法有效地提高了汉语分词的精确率和召回率.
发表时间：2006-03-30