338 Commits

Author SHA1 Message Date
yanyiwu
64d073d194 支持insertUserWord接口 2015-06-27 11:39:43 +08:00
yanyiwu
c5f7d4d670 重构trie前先ci一下 2015-06-26 14:29:44 +08:00
yanyiwu
e0db070529 开放insertUserWord接口;增加cut的默认参数,默认切词算法为Mix 2015-06-26 12:22:11 +08:00
yanyiwu
1d27559209 refactor DictTrie, and expose function: insertUserWord 2015-06-26 11:49:35 +08:00
yanyiwu
389914ae1b 修复部分代码在 windows 上编译不通过的问题,提升兼容性。 2015-06-09 15:31:43 +08:00
yanyiwu
e3c57c0ba1 提升兼容性,修复在某些特定环境下的编译错误问题。 2015-06-08 15:01:59 +08:00
yanyiwu
3528b6296a 修改 cjserver 服务,可以通过http参数使用不同切词算法进行切词。
修改 make install 的安装目录,统一安装到同一个目录 /usr/local/cppjieba
2015-06-05 21:59:16 +08:00
yanyiwu
a3d9b40c2a 修改QuerySegment的构造函数参数顺序 2015-06-05 16:23:51 +08:00
yanyiwu
45588b75cc 增加 Application 这个类,整合了所有CppJieba的功能进去,以后用户只需要使用这个类即可。 2015-06-05 16:00:32 +08:00
yanyiwu
d56bf2cc68 重构:增加让各个分词类的构造函数,为后面的憋大招做准备。 2015-06-04 22:38:55 +08:00
yanyiwu
b99d0698f0 将 HMMSegment 里面关于模型文件的数据独立成 HMMModel 2015-06-04 17:52:18 +08:00
yanyiwu
9218ccb9c9 set default argument in QuerySegment: size_t maxWordLen = 4 2015-06-04 14:37:09 +08:00
yanyiwu
aed1c8f4a6 删除一些无必要的错误检查 2015-05-21 16:04:41 +08:00
yanyiwu
6e3bb7d057 use reverse_iterator 2015-05-18 23:57:13 +08:00
yanyiwu
c04b2dd0d4 增加更详细的错误日志,在初始化过程中合理使用LogFatal。 2015-05-07 20:03:19 +08:00
yanyiwu
2b18a582fc code style 2015-05-06 23:02:03 +08:00
yanyiwu
bb32234654 astyle --style=google --indent=spaces=2 2015-05-06 17:53:20 +08:00
yanyiwu
b70875f412 update LogFatal, print more readable error message when errors happened 2015-05-06 17:20:15 +08:00
yanyiwu
5121bf675e __APPLE__ 2015-02-28 12:49:07 +08:00
qinwf
c0bdef74fb 添加英文+数字分词规则 qinwf/jiebaR#7 2015-02-06 10:19:43 +08:00
yanyiwu
10e9b32258 little adjustment 2015-01-31 12:58:49 +08:00
yanyiwu
660cd9d93e upload limonp for Colors.hpp and use ColorPrintln in load_test.cpp 2015-01-28 21:27:46 +08:00
yanyiwu
8c23da4332 remove debug log in hmm 2015-01-28 20:29:38 +08:00
yanyiwu
4e72d4a06f KeywordExtractor 支持自定义词典(可选参数)。 2015-01-24 15:34:34 +08:00
yanyiwu
269bc0fd0d make QuerySegment support user.dict.utf8 2015-01-23 01:10:12 +08:00
wyy
e0e0a6b976 修复typename在不同版本编译器的兼容问题 2014-12-16 12:44:48 +08:00
wyy
e84d57426d fix warnings 2014-11-30 01:13:25 +08:00
wyy
a63fe809b1 rm unused file 2014-11-30 00:34:17 +08:00
Qin Wenfeng
2b522b20ff 使用 uint8_t 通过 UBSAN 测试 2014-11-29 19:41:12 +08:00
Qin Wenfeng
61f2031e4b 删除 MPSegment.hpp 中的重复头文件 2014-11-29 19:36:55 +08:00
wyy
e9cbec02c2 增加两条词性标注的规则,针对连续英文和数字。 2014-11-29 12:45:11 +08:00
wyy
7868f7cdff 去除一些 template 代码 2014-11-13 01:16:38 +08:00
wyy
c119dc0a93 use localvector in dag 2014-11-12 21:18:30 +08:00
wyy
99c3405e13 move flag 2014-11-12 20:03:32 +08:00
wyy
75367a20c9 little modification 2014-11-12 19:45:20 +08:00
wyy
3ced451212 use automation 2014-11-12 18:55:17 +08:00
wyy
b9736ee132 update trie and dag , make cut faster . see details in changelog.md 2014-11-05 15:31:09 +08:00
wyy
fbae0f6075 增加两条分词规则 2014-11-03 10:54:53 +08:00
wyy
ef5766904a 修改自定义词性的格式为: word tag 2014-09-28 13:43:30 +08:00
wyy
6a8ebae344 支持自定义词性 2014-09-28 13:22:37 +08:00
wyy
28246fba5d 去除 PosTagger 构造函数里一些暂时无用的参数,和增加 PosTagger 的单元测试。 2014-09-28 11:59:30 +08:00
wyy
da1b9e0c1c update limonp 2014-09-18 00:05:43 +08:00
wyy
fbbcfbdec7 update limonp and husky for threadpool using 2014-09-15 17:52:33 +08:00
wyy
40eb40288d compatiable with -std=c++0x 2014-08-15 22:09:21 +08:00
wyy
9571a4d0d5 remove InitOnOff to make code lighter 2014-08-12 00:34:37 +08:00
wyy
5bfd3d0c49 update fullsegment for reducing memory cost 2014-08-11 23:34:29 +08:00
wyy
8df0a1c89e fix max probability segmentor's bug : result is imcomplete while speical symbol in sentence 2014-07-08 23:38:06 -07:00
wyy
007649494d avoid warning in cmake about Loggger.hpp 2014-07-05 19:18:39 +08:00
wyy
4a8f63fcd2 make segments NonCopyable 2014-06-11 16:18:09 +08:00
wyy
12d3741562 avoid warning in g++ 2014-06-05 19:29:57 +08:00