third_codes/cppjieba
1
0
Fork 0
mirror of https://github.com/yanyiwu/cppjieba.git synced 2025-07-18 00:00:12 +08:00
Code Issues Packages Projects Releases Wiki Activity

modify ChineseFilter.hpp to identify ansi char to speed up

Browse Source
This commit is contained in:
wyy 2013-12-06 04:20:57 -08:00
parent 0e61f02afe
commit 1576d15b2f
2 changed files with 2 additions and 2 deletions
Show Stats Download Patch File Download Diff File Expand all files Collapse all files

2
src/ChineseFilter.hpp
View File

@ -51,7 +51,7 @@ namespace CppJieba
private: private:
CHAR_TYPE _charType(uint16_t x)const CHAR_TYPE _charType(uint16_t x)const
{ {
if((0x0030 <= x && x<= 0x0039) || (0x0041 <= x && x <= 0x005a ) || (0x0061 <= x && x <= 0x007a)) if(x < 0x0080)
{ {
return DIGIT_OR_LETTER; return DIGIT_OR_LETTER;
} }

2
test/testlines.utf8
View File

@ -2,7 +2,7 @@
他来到了网易杭研大厦 他来到了网易杭研大厦
杭研 杭研
小明硕士毕业于中国科学院计算所，后在日本京都大学深造 小明硕士毕业于中国科学院计算所，后在日本京都大学深造
我来自北京邮电大学。。。学号091111xx。。。 我来自北京邮电大学。。。 学号 091111xx。。。
来这里看看别人正在搜索什么吧 来这里看看别人正在搜索什么吧
我来到南京市长江大桥 我来到南京市长江大桥
请在一米线外等候 请在一米线外等候