210 Commits

Author SHA1 Message Date
yanyiwu
c3fd357a6d [QuerySegment] add SetMaxWordLen,GetMaxWordLen, and filter the english sentence in secondary Cut 2015-10-29 14:23:01 +08:00
yanyiwu
83cc67cb15 [code style] uppercase function name 2015-10-29 12:39:10 +08:00
yanyiwu
6f51373280 support optional user word freq weight 2015-10-09 11:20:06 +08:00
yanyiwu
ecacf118e6 [code style] lower case namespace 2015-10-08 21:13:11 +08:00
yanyiwu
16b69e35c1 delete Application.hpp, use Jieba.hpp instead 2015-10-08 21:03:09 +08:00
yanyiwu
4d56be920b support optional user word freq weight 2015-10-08 20:05:27 +08:00
yanyiwu
b28d6db574 code style 2015-10-08 17:08:57 +08:00
yanyiwu
5bf7454ad2 add multi user dict unittest 2015-09-25 16:07:01 +08:00
yanyiwu
ea4d81cde7 add segment cut case 2015-09-18 14:28:34 +08:00
yanyiwu
eb6f47b6b0 refactor unittest 2015-09-13 18:09:56 +08:00
yanyiwu
8eef9a13a8 fix bug about optional argument hmm 2015-09-13 18:06:44 +08:00
yanyiwu
14974d51b4 abondom ISegment 2015-09-13 17:02:04 +08:00
yanyiwu
e9241d9025 fixed the bug in the last commit 2015-09-13 16:18:48 +08:00
yanyiwu
28bcb3bf57 use PreFilter in SegmentBase 2015-09-13 16:05:17 +08:00
yanyiwu
0542dd1cfd add PreFilter 2015-09-13 15:10:10 +08:00
yanyiwu
1babe57ebc 细粒度分词功能 2015-08-30 16:35:21 +08:00
yanyiwu
3c60c35906 修复FullSegment对于有些单字没有输出的bug 2015-08-30 13:09:37 +08:00
yanyiwu
001a69d8c6 增加MPSegment的细粒度分词功能。 2015-08-30 01:04:30 +08:00
yanyiwu
0e0318f6ad 集成LevelSegment进Application 2015-08-11 11:57:58 +08:00
yanyiwu
41e4300c9a LevelSegment 2015-08-11 00:53:06 +08:00
yanyiwu
efd029c20b namespace husky; namespace limonp; 2015-08-08 12:30:14 +08:00
yanyiwu
8a3ced2b27 去掉一些没必要的返回值判断,精简代码 2015-07-24 14:39:03 +08:00
yanyiwu
4d86abb001 新增findByLimit函数 2015-07-23 21:10:56 +08:00
yanyiwu
0e16e000ea 解决一些历史遗留问题 2015-07-21 14:32:05 +08:00
yanyiwu
620d276887 底层常用结构修整 2015-07-21 12:11:43 +08:00
yanyiwu
2ae6eba3a7 更新insertUserWord的示例程序 2015-06-27 13:16:25 +08:00
yanyiwu
d33c09d74a 增加单元测试 2015-06-27 12:34:27 +08:00
yanyiwu
64d073d194 支持insertUserWord接口 2015-06-27 11:39:43 +08:00
yanyiwu
c5f7d4d670 重构trie前先ci一下 2015-06-26 14:29:44 +08:00
yanyiwu
e0db070529 开放insertUserWord接口;增加cut的默认参数,默认切词算法为Mix 2015-06-26 12:22:11 +08:00
yanyiwu
67cc5941be update demo 2015-06-07 11:13:33 +08:00
yanyiwu
3528b6296a 修改 cjserver 服务,可以通过http参数使用不同切词算法进行切词。
修改 make install 的安装目录,统一安装到同一个目录 /usr/local/cppjieba
2015-06-05 21:59:16 +08:00
yanyiwu
8ce2af9706 更新Demo示例文件,demo只使用一个Application实例即可。 2015-06-05 18:12:27 +08:00
yanyiwu
e5d1ac7bc8 把dict/{extra_dict,gbk_dict} 挪进 test/testdata 2015-06-05 16:31:43 +08:00
yanyiwu
a3d9b40c2a 修改QuerySegment的构造函数参数顺序 2015-06-05 16:23:51 +08:00
yanyiwu
45588b75cc 增加 Application 这个类,整合了所有CppJieba的功能进去,以后用户只需要使用这个类即可。 2015-06-05 16:00:32 +08:00
yanyiwu
c04b2dd0d4 增加更详细的错误日志,在初始化过程中合理使用LogFatal。 2015-05-07 20:03:19 +08:00
yanyiwu
bb32234654 astyle --style=google --indent=spaces=2 2015-05-06 17:53:20 +08:00
yanyiwu
b3d928a450 rename aszxqw -> yanyiwu 2015-02-11 17:11:37 +08:00
qinwf
c0bdef74fb 添加英文+数字分词规则 qinwf/jiebaR#7 2015-02-06 10:19:43 +08:00
yanyiwu
660cd9d93e upload limonp for Colors.hpp and use ColorPrintln in load_test.cpp 2015-01-28 21:27:46 +08:00
yanyiwu
2488738b55 update unittest 2015-01-24 15:51:24 +08:00
yanyiwu
4e72d4a06f KeywordExtractor 支持自定义词典(可选参数)。 2015-01-24 15:34:34 +08:00
yanyiwu
269bc0fd0d make QuerySegment support user.dict.utf8 2015-01-23 01:10:12 +08:00
wyy
e9cbec02c2 增加两条词性标注的规则,针对连续英文和数字。 2014-11-29 12:45:11 +08:00
wyy
c119dc0a93 use localvector in dag 2014-11-12 21:18:30 +08:00
wyy
3ced451212 use automation 2014-11-12 18:55:17 +08:00
wyy
b9736ee132 update trie and dag , make cut faster . see details in changelog.md 2014-11-05 15:31:09 +08:00
wyy
11b041ed52 make load_test test time longer 2014-11-05 14:57:34 +08:00
wyy
471a68e08e 增加测试 2014-11-03 11:30:45 +08:00