From 1576d15b2f46a1afbd165e2b4d728676a0c86fac Mon Sep 17 00:00:00 2001 From: wyy Date: Fri, 6 Dec 2013 04:20:57 -0800 Subject: [PATCH] modify ChineseFilter.hpp to identify ansi char to speed up --- src/ChineseFilter.hpp | 2 +- test/testlines.utf8 | 2 +- 2 files changed, 2 insertions(+), 2 deletions(-) diff --git a/src/ChineseFilter.hpp b/src/ChineseFilter.hpp index 2957828..0c12f3f 100644 --- a/src/ChineseFilter.hpp +++ b/src/ChineseFilter.hpp @@ -51,7 +51,7 @@ namespace CppJieba private: CHAR_TYPE _charType(uint16_t x)const { - if((0x0030 <= x && x<= 0x0039) || (0x0041 <= x && x <= 0x005a ) || (0x0061 <= x && x <= 0x007a)) + if(x < 0x0080) { return DIGIT_OR_LETTER; } diff --git a/test/testlines.utf8 b/test/testlines.utf8 index 9157964..bbbf7dc 100644 --- a/test/testlines.utf8 +++ b/test/testlines.utf8 @@ -2,7 +2,7 @@ 他来到了网易杭研大厦 杭研 小明硕士毕业于中国科学院计算所,后在日本京都大学深造 -我来自北京邮电大学。。。学号091111xx。。。 +我来自北京邮电大学。。。 学号 091111xx。。。 来这里看看别人正在搜索什么吧 我来到南京市长江大桥 请在一米线外等候