zaqxsw
新手上路
新手上路
阅读:6845回复:10

为小小们奉献一个语料库的制作资料和制作方法:

楼主#
更多 发布于:2013-07-18 17:31
       语料库其实就是语言模型库,是智能水平的关键。词库为输入法提供了组词和组句的基本单位,而语料库为输入法提供了词库中词语组合的方法和规则。语料库的作用是智能组词,不使用语料库有些词组会打不出来,或者说准确率会有所降低,不使用语料库,输入法智能组词的时候主要使用用户词库和自带词库,所以有局限性。好的语料库可以让智能组词在千变万化的情况下仍然保持较高的水准。
    
小小提供一个制作语料库的命令:learn -mb mb/pinyin.txt -dict dict.txt -o mb/pypre.bin -adjust adjust.txt

1、语料库帮助(或看看小小中的yong.chm):http://yong.dgod.net/read.php?tid=32&fid=7
2、输入法工具下载(learn.exe制作工具):http://yongim.ys168.com/
3、拼音词库pinyin.txt的组合文件参考使用
特别说明:
1、语料库pypre.bin不能使用简拼组词,很遗憾!这是小小简拼鸡肋的地方。
2、本语料库的调整文件adjust.txt还要优化、调整、修改。自己动手吧!
3、真正智能性、正确性还是云输入,那小小云拼音吧!
4、不明之处,由dgod老大解析吧……

最新喜欢:

yanqianyanqia...
zaqxsw
新手上路
新手上路
沙发#
发布于:2013-07-18 18:14
由dgod老大解析吧!!!
zaqxsw
新手上路
新手上路
板凳#
发布于:2013-07-19 18:14
小小语料库并不可以当词库使用!只因由txt编译成bin时,词序混乱了,词频大的不在前面,举个例:
1 cai_zhi 才知
2 cai_zhi 才值
3 cai_zhi 才只
无论编码是cai_zhi还是caizhi,无论这些词的优先级是多少,1还是0。
当输入caizhi得结果:1、才值 2、才只 3、才知--------这明显不按原词序“才知--才值--才只”排列。
这个是不是bug,那请dgod查一查了!
游客

返回顶部