如何制作启程输入法词库

setoutsoft

启程输入法的词库包含词及词频信息。
词频信息由于设计上只使用了一个字节存储，所以限制词频的范围在0-250（>250为保留值）。
通常我们获取到的词库，如果有词频信息，词频会是大量文章中出现次数的统计值。
下面我以一个2015年人民日报词频数据为例来说明如何制作。
我们可以先将词频排序，然后用excel制作折线图，观察词频的分布。

直接通过词频做统计，高频字范围很小。这种情况下数据的有效性很差，基本上只能识别出前面头部几个词。
我们可以简单的做一个对数转换。
转换以后，LOG分布如下：

可以看出经过log转换后，词频的分布基本呈现指数分布模式，基本可以区分出调频词，常用词及稀有词。
现在我们可以以对数转换词频为基础，把词频的取值范围调整到0-250。
做法很简单，就是把最高频的字设定为250, 然后计算出放大倍数，再将其它字的词频值乘以这个倍数，再取整数就可以了。

最后将词及词频输出为制表符分隔的文本文件即可。

setoutsoft

上面讲了如何使用有统计词频的数据制作启程输入法的词库原始文件。
这里再讲一下如何通过原始文件制作启程输入法词库。
首先确定你的词库是有词频信息的。
从菜单的工具中打开“词库编辑器”
界面左边是一个列表，右边是一个词频导入范围数据。
词频导入范围用来将词库根据词频来分组。
例如根据上面的词频分布数据，我将词频>50的词认为是高频词，可以在这里限定最大值为250,最小值为50, 再从原始文件导入。
程序自动过滤出在指定范围的词形成一组。
再将值调整为最大值49,最小值20,重新用这个文件再导入新组，形成常用词。
最后再将最大值调整为19, 最小值调整为0, 导入就获得了稀有词组。
最后按照自己的情况修改一下组信息保存就好了。

setoutsoft

上面讲的是如何从有词频的词库制作启程输入法词库。
如果获得的词库没有有效词频怎么办？
这个时候启程输入法提供了参考词频数据库。
打开词库编辑器，在导入词库前，先从文件菜单中选择“打开词频数据库”来加载一个已有的启程输入法词库（通常是一个大词频文件）
加载后，就可以按照上一回复讲的方法一样来从文本导入词库了。
导入词库的逻辑就是：
1、先看词库里有没有词频，有就直接使用这个词频数据。
2、没有词频就从加载的词频数据库查找，如果在数据库中找到这个词，就使用数据库中的词频。
3、在词频数据库中没有找到，就使用界面上指定的默认词频值作为该词的词频。
下面我上传一下我制作的50W词的启程输入法词库，可以作为这里用的词频数据库。
人民日报2015.zip (3.59 MB, 下载次数: 48)

2020-5-5 10:20 上传

点击文件名下载附件

haozhujia

需要更多的词库，自己创造

晴天

长知识了，越深入了解越觉得启程输入法的不凡之处，继续加油！！