mirror of
https://github.com/yanyiwu/cppjieba.git
synced 2025-07-18 00:00:12 +08:00
2.7 KiB
2.7 KiB
CppJieba ChangeLog
v2.4.2 (is coming)
- 适当使用
vector::reserve
,约提高性能30%
。 - 在
1.
的基础上,使用Limonp/LocalVector.hpp
作为Unicode
的类型,约提高性能13%
。 - 使
cjserver
支持用户自定义词典,通过在conf/server.conf
里面配置user_dict_path
来实现。
v2.4.1
- 完善一些特殊字符和字母串的切词效果。
- 提高关键词抽取的速度。
- 提供用户自定义词典的接口。
- 将server相关的代码独立出来,单独放在
server/
目录下。 - 修复用户自定义词典中单字会被MixSegment的新词发现功能给忽略的问题。也就是说,现在的词典是用户词典优先级最高,其次是自带的词典,再其次是新词发现出来的词。
v2.4.0
- 适配更低级版本的
g++
和cmake
,已在g++ 4.1.2
和cmake 2.6
上测试通过。 - 修改一些测试用例的文件,减少测试时编译的时间。
- 修复
make install
相关的问题。 - 增加HTTP服务的POST请求接口。
- 拆分
Trie.hpp
成DictTrie.hpp
和Trie.hpp
,将trie树这个数据结构抽象出来,并且修复Trie这个类潜在的bug并完善单元测试。 - 重写cjserver的启动和停止,新启动和停止方法详见README.md。
v2.3.4
- 修改了设计上的问题,删除了
TrieManager
这个类,以避免造成一些可能的隐患。 - 增加
stop_words.utf8
词典,并修改KeywordExtractor
的初始化函数用以使用此词典。 - 优化了
Trie
树相关部分代码结构。
v2.3.3
- 修复因为使用unordered_map导致的在不同机器上结果不一致的问题。
- 将部分数据结果从unordered_map改为map,提升了差不多1/6的切词速度。(因为unordered_map虽然查找速度快,但是在范围迭代的效率较低。)
v2.3.2
- 修复单元测试的问题,有些case在x84和x64中结果不一致。
- merge进词性标注的简单版本。
v2.3.1
- 修复安装时的服务启动问题(不过安装切词服务只是linux下的一个附加功能,不影响核心代码。)
v2.3.0
- 增加
KeywordExtractor.hpp
来进行关键词抽取。 - 使用
gtest
来做单元测试。
v2.2.0
- 性能优化,提升切词速度约6倍。
- 其他暂时也想不起来了。
v2.1.1 (v2.1.1之前的统统一起写在 v2.1.1里面了)
- 完成__最大概率分词算法__和__HMM分词算法__,并且将他们结合起来成效果最好的
MixSegment
。 - 进行大量的代码重构,将主要的功能性代码都写成了hpp文件。
- 使用
cmake
工具来管理项目。 - 使用
Limonp
作为工具函数库,比如日志,字符串操作等常用函数。 - 使用
Husky
搭简易分词服务的服务器框架。