From 8df0a1c89e23b8a8589d53a2cb2f7c4237fd68fa Mon Sep 17 00:00:00 2001 From: wyy Date: Tue, 8 Jul 2014 23:38:06 -0700 Subject: [PATCH] fix max probability segmentor's bug : result is imcomplete while speical symbol in sentence --- src/MPSegment.hpp | 7 +- test/testdata/review.100.res | 146 +++++++++++++++++------------------ test/unittest/TSegments.cpp | 5 +- 3 files changed, 79 insertions(+), 79 deletions(-) diff --git a/src/MPSegment.hpp b/src/MPSegment.hpp index 2945483..01834ce 100644 --- a/src/MPSegment.hpp +++ b/src/MPSegment.hpp @@ -73,13 +73,14 @@ namespace CppJieba { return false; } - res.resize(words.size()); + size_t offset = res.size(); + res.resize(res.size() + words.size()); for(size_t i = 0; i < words.size(); i++) { - if(!TransCode::encode(words[i], res[i])) + if(!TransCode::encode(words[i], res[i + offset])) { LogError("encode failed."); - res[i].clear(); + res[i + offset].clear(); } } return true; diff --git a/test/testdata/review.100.res b/test/testdata/review.100.res index 18ccdc0..56920d5 100644 --- a/test/testdata/review.100.res +++ b/test/testdata/review.100.res @@ -1,151 +1,151 @@ 标　　签：保湿还不错比商场便宜补水效果好乳液很好用是正品心　　得：感觉还蛮好吸收的，不错啦 -["不错", "啦"] +["标", "&", "#", "1", "2", "2", "8", "8", ";", "&", "#", "1", "2", "2", "8", "8", ";", "签", "：", "保湿", "还", "不错", "比", "商场", "便宜", "补水", "效果", "好", "乳液", "很", "好", "用", "是", "正品", "心", "&", "#", "1", "2", "2", "8", "8", ";", "&", "#", "1", "2", "2", "8", "8", ";", "得", "：", "感觉", "还", "蛮", "好", "吸收", "的", "，", "不错", "啦"] 标　　签：还可以心　　得：不错~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ ["标", "&", "#", "1", "2", "2", "8", "8", ";", "&", "#", "1", "2", "2", "8", "8", ";", "签", "：", "还", "可以", "心", "&", "#", "1", "2", "2", "8", "8", ";", "&", "#", "1", "2", "2", "8", "8", ";", "得", "：", "不错", "~", "~", "~", "~", "~", "~", "~", "~", "~", "~", "~", "~", "~", "~", "~", "~", "~", "~", "~", "~", "~", "~", "~", "~", "~", "~", "~", "~", "~"] 标　　签：是正品心　　得：下次我还要咋京东这里买不错 ["标", "&", "#", "1", "2", "2", "8", "8", ";", "&", "#", "1", "2", "2", "8", "8", ";", "签", "：", "是", "正品", "心", "&", "#", "1", "2", "2", "8", "8", ";", "&", "#", "1", "2", "2", "8", "8", ";", "得", "：", "下次", "我", "还要", "咋", "京东", "这里", "买", "不错"] 标　　签：挺保湿的心　　得：价格实惠，适合夏天用，很轻薄 -["很", "轻薄"] +["标", "&", "#", "1", "2", "2", "8", "8", ";", "&", "#", "1", "2", "2", "8", "8", ";", "签", "：", "挺", "保湿", "的", "心", "&", "#", "1", "2", "2", "8", "8", ";", "&", "#", "1", "2", "2", "8", "8", ";", "得", "：", "价格", "实惠", "，", "适合", "夏天", "用", "，", "很", "轻薄"] 标　　签：皮肤滑滑的味道不错挺保湿的很好用物流速度快心　　得：使用的挺好的一直用着这个的 ["标", "&", "#", "1", "2", "2", "8", "8", ";", "&", "#", "1", "2", "2", "8", "8", ";", "签", "：", "皮肤", "滑", "滑", "的", "味道", "不错", "挺", "保湿", "的", "很", "好", "用", "物流", "速度", "快", "心", "&", "#", "1", "2", "2", "8", "8", ";", "&", "#", "1", "2", "2", "8", "8", ";", "得", "：", "使用", "的", "挺", "好", "的", "一直", "用", "着", "这个", "的"] 标　　签：价格实惠比商场便宜心　　得：不错不错，活动买的很划算 -["活动", "买", "的", "很", "划算"] +["标", "&", "#", "1", "2", "2", "8", "8", ";", "&", "#", "1", "2", "2", "8", "8", ";", "签", "：", "价格", "实惠", "比", "商场", "便宜", "心", "&", "#", "1", "2", "2", "8", "8", ";", "&", "#", "1", "2", "2", "8", "8", ";", "得", "：", "不错", "不错", "，", "活动", "买", "的", "很", "划算"] 标　　签：吸收快品牌好是正品挺保湿的心　　得：一直使用3年，值得信赖，好用 -["好", "用"] +["标", "&", "#", "1", "2", "2", "8", "8", ";", "&", "#", "1", "2", "2", "8", "8", ";", "签", "：", "吸收", "快", "品牌", "好", "是", "正品", "挺", "保湿", "的", "心", "&", "#", "1", "2", "2", "8", "8", ";", "&", "#", "1", "2", "2", "8", "8", ";", "得", "：", "一直", "使用", "3", "年", "，", "值得", "信赖", "，", "好", "用"] 标　　签：是正品皮肤滑滑的补水效果好乳液很好用心　　得：不错不错老婆很喜欢我值 ["标", "&", "#", "1", "2", "2", "8", "8", ";", "&", "#", "1", "2", "2", "8", "8", ";", "签", "：", "是", "正品", "皮肤", "滑", "滑", "的", "补水", "效果", "好", "乳液", "很", "好", "用心", "&", "#", "1", "2", "2", "8", "8", ";", "&", "#", "1", "2", "2", "8", "8", ";", "得", "：", "不错", "不错", "老婆", "很", "喜欢", "我", "值"] 标　　签：保湿还不错心　　得：挺好的。。。。。。。。。。 ["标", "&", "#", "1", "2", "2", "8", "8", ";", "&", "#", "1", "2", "2", "8", "8", ";", "签", "：", "保湿", "还", "不错", "心", "&", "#", "1", "2", "2", "8", "8", ";", "&", "#", "1", "2", "2", "8", "8", ";", "得", "：", "挺", "好", "的", "。", "。", "。", "。", "。", "。", "。", "。", "。", "。"] 标　　签：是正品很好用心　　得：一直在京东买，可以信赖 -["可以", "信赖"] +["标", "&", "#", "1", "2", "2", "8", "8", ";", "&", "#", "1", "2", "2", "8", "8", ";", "签", "：", "是", "正品", "很", "好", "用心", "&", "#", "1", "2", "2", "8", "8", ";", "&", "#", "1", "2", "2", "8", "8", ";", "得", "：", "一直", "在", "京东", "买", "，", "可以", "信赖"] 标　　签：是正品挺保湿的效果不错心　　得：送货快！是正品，大品牌的用的放心！ -["大", "品牌", "的", "用", "的", "放心", "！"] +["标", "&", "#", "1", "2", "2", "8", "8", ";", "&", "#", "1", "2", "2", "8", "8", ";", "签", "：", "是", "正品", "挺", "保湿", "的", "效果", "不错", "心", "&", "#", "1", "2", "2", "8", "8", ";", "&", "#", "1", "2", "2", "8", "8", ";", "得", "：", "送货", "快", "！", "是", "正品", "，", "大", "品牌", "的", "用", "的", "放心", "！"] 标　　签：乳液很好用心　　得：很好的东东，下次还会买 -["下次", "还", "会", "买"] +["标", "&", "#", "1", "2", "2", "8", "8", ";", "&", "#", "1", "2", "2", "8", "8", ";", "签", "：", "乳液", "很", "好", "用心", "&", "#", "1", "2", "2", "8", "8", ";", "&", "#", "1", "2", "2", "8", "8", ";", "得", "：", "很", "好", "的", "东东", "，", "下次", "还", "会", "买"] 心　　得：送同学的，希望她喜欢 -["希望", "她", "喜欢"] +["心", "&", "#", "1", "2", "2", "8", "8", ";", "&", "#", "1", "2", "2", "8", "8", ";", "得", "：", "送", "同学", "的", "，", "希望", "她", "喜欢"] 标　　签：价格实惠心　　得：一直用，还可以吧，性价比高 -["性价比", "高"] +["标", "&", "#", "1", "2", "2", "8", "8", ";", "&", "#", "1", "2", "2", "8", "8", ";", "签", "：", "价格", "实惠", "心", "&", "#", "1", "2", "2", "8", "8", ";", "&", "#", "1", "2", "2", "8", "8", ";", "得", "：", "一直", "用", "，", "还", "可以", "吧", "，", "性价比", "高"] 心　　得：不错够速度，效果也不错，希望大家用着也一样，顶顶顶 -["顶", "顶", "顶"] +["心", "&", "#", "1", "2", "2", "8", "8", ";", "&", "#", "1", "2", "2", "8", "8", ";", "得", "：", "不错", "够", "速度", "，", "效果", "也", "不错", "，", "希望", "大家", "用", "着", "也", "一样", "，", "顶", "顶", "顶"] 标　　签：挺保湿的心　　得：用着还不错。挺好的。 -["挺", "好", "的", "。"] +["标", "&", "#", "1", "2", "2", "8", "8", ";", "&", "#", "1", "2", "2", "8", "8", ";", "签", "：", "挺", "保湿", "的", "心", "&", "#", "1", "2", "2", "8", "8", ";", "&", "#", "1", "2", "2", "8", "8", ";", "得", "：", "用", "着", "还", "不错", "。", "挺", "好", "的", "。"] 优　　点：东西很好哦!不　　足：暂时还没有发现缺点哦！心　　得：很好，也很划算 -["也", "很", "划算"] +["优", "&", "#", "1", "2", "2", "8", "8", ";", "&", "#", "1", "2", "2", "8", "8", ";", "点", "：", "东西", "很", "好", "哦", "!", "不", "&", "#", "1", "2", "2", "8", "8", ";", "&", "#", "1", "2", "2", "8", "8", ";", "足", "：", "暂时", "还", "没有", "发现", "缺点", "哦", "！", "心", "&", "#", "1", "2", "2", "8", "8", ";", "&", "#", "1", "2", "2", "8", "8", ";", "得", "：", "很", "好", "，", "也", "很", "划算"] 标　　签：脸上很舒服是正品心　　得：哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈和 ["标", "&", "#", "1", "2", "2", "8", "8", ";", "&", "#", "1", "2", "2", "8", "8", ";", "签", "：", "脸上", "很", "舒服", "是", "正品", "心", "&", "#", "1", "2", "2", "8", "8", ";", "&", "#", "1", "2", "2", "8", "8", ";", "得", "：", "哈哈哈", "哈哈哈", "哈哈哈", "哈哈哈", "哈哈哈", "和"] 优　　点：用了一下，感觉还不错不　　足：暂时还没有发现缺点哦！心　　得：用了一下，还可以 -["还", "可以"] +["优", "&", "#", "1", "2", "2", "8", "8", ";", "&", "#", "1", "2", "2", "8", "8", ";", "点", "：", "用", "了", "一下", "，", "感觉", "还", "不错", "不", "&", "#", "1", "2", "2", "8", "8", ";", "&", "#", "1", "2", "2", "8", "8", ";", "足", "：", "暂时", "还", "没有", "发现", "缺点", "哦", "！", "心", "&", "#", "1", "2", "2", "8", "8", ";", "&", "#", "1", "2", "2", "8", "8", ";", "得", "：", "用", "了", "一下", "，", "还", "可以"] 标　　签：品牌好心　　得：东西还行，就是线太少了 -["就是", "线", "太", "少", "了"] +["标", "&", "#", "1", "2", "2", "8", "8", ";", "&", "#", "1", "2", "2", "8", "8", ";", "签", "：", "品牌", "好心", "&", "#", "1", "2", "2", "8", "8", ";", "&", "#", "1", "2", "2", "8", "8", ";", "得", "：", "东西", "还", "行", "，", "就是", "线", "太", "少", "了"] 标　　签：还可以老婆买的心　　得：代买的，据说还不错，搞优惠屯着。 -["搞", "优惠", "屯", "着", "。"] +["标", "&", "#", "1", "2", "2", "8", "8", ";", "&", "#", "1", "2", "2", "8", "8", ";", "签", "：", "还", "可以", "老婆", "买", "的", "心", "&", "#", "1", "2", "2", "8", "8", ";", "&", "#", "1", "2", "2", "8", "8", ";", "得", "：", "代", "买", "的", "，", "据说", "还", "不错", "，", "搞", "优惠", "屯", "着", "。"] 标　　签：保湿还不错很好用心　　得：一直在用这个，现在继续。 -["现在", "继续", "。"] +["标", "&", "#", "1", "2", "2", "8", "8", ";", "&", "#", "1", "2", "2", "8", "8", ";", "签", "：", "保湿", "还", "不错", "很", "好", "用心", "&", "#", "1", "2", "2", "8", "8", ";", "&", "#", "1", "2", "2", "8", "8", ";", "得", "：", "一直", "在", "用", "这个", "，", "现在", "继续", "。"] 标　　签：很好用心　　得：正品，方便好用，比店里便宜 -["比", "店里", "便宜"] +["标", "&", "#", "1", "2", "2", "8", "8", ";", "&", "#", "1", "2", "2", "8", "8", ";", "签", "：", "很", "好", "用心", "&", "#", "1", "2", "2", "8", "8", ";", "&", "#", "1", "2", "2", "8", "8", ";", "得", "：", "正品", "，", "方便", "好", "用", "，", "比", "店里", "便宜"] 标　　签：保湿还不错妈妈买的比商场便宜挺保湿的吸收快心　　得：可以先去专柜试试~然后再京东上购买，由京东的发票，还是比较放心的~ -["还是", "比较", "放心", "的", "~"] +["标", "&", "#", "1", "2", "2", "8", "8", ";", "&", "#", "1", "2", "2", "8", "8", ";", "签", "：", "保湿", "还", "不错", "妈妈", "买", "的", "比", "商场", "便宜", "挺", "保湿", "的", "吸收", "快", "心", "&", "#", "1", "2", "2", "8", "8", ";", "&", "#", "1", "2", "2", "8", "8", ";", "得", "：", "可以", "先", "去", "专柜", "试试", "~", "然后", "再", "京东", "上", "购买", "，", "由", "京东", "的", "发票", "，", "还是", "比较", "放心", "的", "~"] 心　　得：很好很滋润又不油 ["心", "&", "#", "1", "2", "2", "8", "8", ";", "&", "#", "1", "2", "2", "8", "8", ";", "得", "：", "很", "好", "很", "滋润", "又", "不", "油"] 标　　签：吸收快脸上很舒服保湿还不错很好用比商场便宜心　　得：用过几瓶了http://club.jd.com/JdVote/TradeComment.aspx?ruleid=586763684&ot=0#none，感觉很不错，不油腻，吸收快，还保湿。 -["还", "保湿", "。"] +["标", "&", "#", "1", "2", "2", "8", "8", ";", "&", "#", "1", "2", "2", "8", "8", ";", "签", "：", "吸收", "快", "脸上", "很", "舒服", "保湿", "还", "不错", "很", "好", "用", "比", "商场", "便宜", "心", "&", "#", "1", "2", "2", "8", "8", ";", "&", "#", "1", "2", "2", "8", "8", ";", "得", "：", "用", "过", "几瓶", "了", "h", "t", "t", "p", ":", "/", "/", "c", "l", "u", "b", ".", "j", "d", ".", "c", "o", "m", "/", "J", "d", "V", "o", "t", "e", "/", "T", "r", "a", "d", "e", "C", "o", "m", "m", "e", "n", "t", ".", "a", "s", "p", "x", "?", "r", "u", "l", "e", "i", "d", "=", "5", "8", "6", "7", "6", "3", "6", "8", "4", "&", "o", "t", "=", "0", "#", "n", "o", "n", "e", "，", "感觉", "很", "不错", "，", "不", "油腻", "，", "吸收", "快", "，", "还", "保湿", "。"] 标　　签：还可以心　　得：一般吧，还没怎么用。现在不知道效果。 -["现在", "不", "知道", "效果", "。"] +["标", "&", "#", "1", "2", "2", "8", "8", ";", "&", "#", "1", "2", "2", "8", "8", ";", "签", "：", "还", "可以", "心", "&", "#", "1", "2", "2", "8", "8", ";", "&", "#", "1", "2", "2", "8", "8", ";", "得", "：", "一般", "吧", "，", "还", "没", "怎么", "用", "。", "现在", "不", "知道", "效果", "。"] 标　　签：还可以心　　得：东西很不错。很好。很喜欢！ -["很", "喜欢", "！"] +["标", "&", "#", "1", "2", "2", "8", "8", ";", "&", "#", "1", "2", "2", "8", "8", ";", "签", "：", "还", "可以", "心", "&", "#", "1", "2", "2", "8", "8", ";", "&", "#", "1", "2", "2", "8", "8", ";", "得", "：", "东西", "很", "不错", "。", "很", "好", "。", "很", "喜欢", "！"] 标　　签：比商场便宜价格实惠心　　得：一直都在用，没有刺激，很舒服，价格合适 -["价格", "合适"] +["标", "&", "#", "1", "2", "2", "8", "8", ";", "&", "#", "1", "2", "2", "8", "8", ";", "签", "：", "比", "商场", "便宜", "价格", "实惠", "心", "&", "#", "1", "2", "2", "8", "8", ";", "&", "#", "1", "2", "2", "8", "8", ";", "得", "：", "一直", "都", "在", "用", "，", "没有", "刺激", "，", "很", "舒服", "，", "价格", "合适"] 标　　签：包装好服务好比商场便宜皮肤滑滑的很好用心　　得：送货速度也很快！非常好，质量不错，推荐购买！包装很好！ -["推荐", "购买", "！", "包装", "很", "好", "！"] +["标", "&", "#", "1", "2", "2", "8", "8", ";", "&", "#", "1", "2", "2", "8", "8", ";", "签", "：", "包装", "好", "服务", "好比", "商场", "便宜", "皮肤", "滑", "滑", "的", "很", "好", "用心", "&", "#", "1", "2", "2", "8", "8", ";", "&", "#", "1", "2", "2", "8", "8", ";", "得", "：", "送货", "速度", "也", "很快", "！", "非常", "好", "，", "质量", "不错", "，", "推荐", "购买", "！", "包装", "很", "好", "！"] 标　　签：吸收快服务好心　　得：质量不错，值得信赖，网购上京东，放心又轻松！ -["放心", "又", "轻松", "！"] +["标", "&", "#", "1", "2", "2", "8", "8", ";", "&", "#", "1", "2", "2", "8", "8", ";", "签", "：", "吸收", "快", "服务", "好心", "&", "#", "1", "2", "2", "8", "8", ";", "&", "#", "1", "2", "2", "8", "8", ";", "得", "：", "质量", "不错", "，", "值得", "信赖", "，", "网", "购", "上", "京东", "，", "放心", "又", "轻松", "！"] 标　　签：味道不错吸收快心　　得：不油腻，味道也不错，美白效果嘛暂时没有，毕竟只用了几次而已。 -["毕竟", "只用", "了", "几次", "而已", "。"] +["标", "&", "#", "1", "2", "2", "8", "8", ";", "&", "#", "1", "2", "2", "8", "8", ";", "签", "：", "味道", "不错", "吸收", "快", "心", "&", "#", "1", "2", "2", "8", "8", ";", "&", "#", "1", "2", "2", "8", "8", ";", "得", "：", "不", "油腻", "，", "味道", "也", "不错", "，", "美", "白", "效果", "嘛", "暂时", "没有", "，", "毕竟", "只用", "了", "几次", "而已", "。"] 标　　签：还可以价格实惠心　　得：还不错，促销活动买的......... -["促销", "活动", "买", "的", ".", ".", ".", ".", ".", ".", ".", ".", "."] +["标", "&", "#", "1", "2", "2", "8", "8", ";", "&", "#", "1", "2", "2", "8", "8", ";", "签", "：", "还", "可以", "价格", "实惠", "心", "&", "#", "1", "2", "2", "8", "8", ";", "&", "#", "1", "2", "2", "8", "8", ";", "得", "：", "还", "不错", "，", "促销", "活动", "买", "的", ".", ".", ".", ".", ".", ".", ".", ".", "."] 标　　签：挺保湿的效果不错脸上很舒服很好用心　　得：帮朋友买的，她觉得非常不错，继续关注ZA -["继续", "关注", "Z", "A"] +["标", "&", "#", "1", "2", "2", "8", "8", ";", "&", "#", "1", "2", "2", "8", "8", ";", "签", "：", "挺", "保湿", "的", "效果", "不错", "脸上", "很", "舒服", "很", "好", "用心", "&", "#", "1", "2", "2", "8", "8", ";", "&", "#", "1", "2", "2", "8", "8", ";", "得", "：", "帮", "朋友", "买", "的", "，", "她", "觉得", "非常", "不错", "，", "继续", "关注", "Z", "A"] 标　　签：乳液很好用心　　得：比较清爽，补水效果并不是很好，夏天用用吧 -["夏天", "用", "用", "吧"] +["标", "&", "#", "1", "2", "2", "8", "8", ";", "&", "#", "1", "2", "2", "8", "8", ";", "签", "：", "乳液", "很", "好", "用心", "&", "#", "1", "2", "2", "8", "8", ";", "&", "#", "1", "2", "2", "8", "8", ";", "得", "：", "比较", "清爽", "，", "补水", "效果", "并", "不是", "很", "好", "，", "夏天", "用", "用", "吧"] 标　　签：是正品补水效果好还可以心　　得：补水效果不错，很好用 -["很", "好", "用"] +["标", "&", "#", "1", "2", "2", "8", "8", ";", "&", "#", "1", "2", "2", "8", "8", ";", "签", "：", "是", "正品", "补水", "效果", "好", "还", "可以", "心", "&", "#", "1", "2", "2", "8", "8", ";", "&", "#", "1", "2", "2", "8", "8", ";", "得", "：", "补水", "效果", "不错", "，", "很", "好", "用"] 优　　点：东西很好哦！不　　足：暂时还没有发现缺点哦！心　　得：一直在用，信任京东，感觉不错，下次再来。。 -["下次", "再", "来", "。", "。"] +["优", "&", "#", "1", "2", "2", "8", "8", ";", "&", "#", "1", "2", "2", "8", "8", ";", "点", "：", "东西", "很", "好", "哦", "！", "不", "&", "#", "1", "2", "2", "8", "8", ";", "&", "#", "1", "2", "2", "8", "8", ";", "足", "：", "暂时", "还", "没有", "发现", "缺点", "哦", "！", "心", "&", "#", "1", "2", "2", "8", "8", ";", "&", "#", "1", "2", "2", "8", "8", ";", "得", "：", "一直", "在", "用", "，", "信任", "京东", "，", "感觉", "不错", "，", "下次", "再", "来", "。", "。"] 标　　签：皮肤滑滑的味道不错价格实惠保湿还不错乳液很好用心　　得：用的很好的下次还会购买 ["标", "&", "#", "1", "2", "2", "8", "8", ";", "&", "#", "1", "2", "2", "8", "8", ";", "签", "：", "皮肤", "滑", "滑", "的", "味道", "不错", "价格", "实惠", "保湿", "还", "不错", "乳液", "很", "好", "用心", "&", "#", "1", "2", "2", "8", "8", ";", "&", "#", "1", "2", "2", "8", "8", ";", "得", "：", "用", "的", "很", "好", "的", "下次", "还", "会", "购买"] 标　　签：很好用皮肤滑滑的心　　得：好用啊，一如既往的好用 -["一如既往", "的", "好", "用"] +["标", "&", "#", "1", "2", "2", "8", "8", ";", "&", "#", "1", "2", "2", "8", "8", ";", "签", "：", "很", "好", "用", "皮肤", "滑", "滑", "的", "心", "&", "#", "1", "2", "2", "8", "8", ";", "&", "#", "1", "2", "2", "8", "8", ";", "得", "：", "好", "用", "啊", "，", "一如既往", "的", "好", "用"] 心　　得：买了以后就知道不后悔的呢 ["心", "&", "#", "1", "2", "2", "8", "8", ";", "&", "#", "1", "2", "2", "8", "8", ";", "得", "：", "买", "了", "以后", "就", "知道", "不", "后悔", "的", "呢"] 心　　得：非常满意，五星 -["五星"] +["心", "&", "#", "1", "2", "2", "8", "8", ";", "&", "#", "1", "2", "2", "8", "8", ";", "得", "：", "非常", "满意", "，", "五星"] 心　　得：非常满意，五星 -["五星"] +["心", "&", "#", "1", "2", "2", "8", "8", ";", "&", "#", "1", "2", "2", "8", "8", ";", "得", "：", "非常", "满意", "，", "五星"] 心　　得：非常满意，五星 -["五星"] +["心", "&", "#", "1", "2", "2", "8", "8", ";", "&", "#", "1", "2", "2", "8", "8", ";", "得", "：", "非常", "满意", "，", "五星"] 心　　得：宝贝很喜欢，连作业都不肯做，在那儿看呢，呵呵 -["呵呵"] +["心", "&", "#", "1", "2", "2", "8", "8", ";", "&", "#", "1", "2", "2", "8", "8", ";", "得", "：", "宝贝", "很", "喜欢", "，", "连", "作业", "都", "不肯", "做", "，", "在", "那儿", "看", "呢", "，", "呵呵"] 心　　得：非常满意，五星 -["五星"] +["心", "&", "#", "1", "2", "2", "8", "8", ";", "&", "#", "1", "2", "2", "8", "8", ";", "得", "：", "非常", "满意", "，", "五星"] 心　　得：非常满意，五星 -["五星"] +["心", "&", "#", "1", "2", "2", "8", "8", ";", "&", "#", "1", "2", "2", "8", "8", ";", "得", "：", "非常", "满意", "，", "五星"] 心　　得：非常满意，五星 -["五星"] +["心", "&", "#", "1", "2", "2", "8", "8", ";", "&", "#", "1", "2", "2", "8", "8", ";", "得", "：", "非常", "满意", "，", "五星"] 心　　得：非常满意，五星 -["五星"] +["心", "&", "#", "1", "2", "2", "8", "8", ";", "&", "#", "1", "2", "2", "8", "8", ";", "得", "：", "非常", "满意", "，", "五星"] 标　　签：服务好很好用心　　得：不错，正品，还会继续关注 -["还", "会", "继续", "关注"] +["标", "&", "#", "1", "2", "2", "8", "8", ";", "&", "#", "1", "2", "2", "8", "8", ";", "签", "：", "服务", "好", "很", "好", "用心", "&", "#", "1", "2", "2", "8", "8", ";", "&", "#", "1", "2", "2", "8", "8", ";", "得", "：", "不错", "，", "正品", "，", "还", "会", "继续", "关注"] 标　　签：乳液很好用心　　得：比较滋润还不错。。。。。。。。。。 ["标", "&", "#", "1", "2", "2", "8", "8", ";", "&", "#", "1", "2", "2", "8", "8", ";", "签", "：", "乳液", "很", "好", "用心", "&", "#", "1", "2", "2", "8", "8", ";", "&", "#", "1", "2", "2", "8", "8", ";", "得", "：", "比较", "滋润", "还", "不错", "。", "。", "。", "。", "。", "。", "。", "。", "。", "。"] 标　　签：品牌好心　　得：送货快，还没有用，具体效果还不清楚 -["具体", "效果", "还", "不", "清楚"] +["标", "&", "#", "1", "2", "2", "8", "8", ";", "&", "#", "1", "2", "2", "8", "8", ";", "签", "：", "品牌", "好心", "&", "#", "1", "2", "2", "8", "8", ";", "&", "#", "1", "2", "2", "8", "8", ";", "得", "：", "送货", "快", "，", "还", "没有", "用", "，", "具体", "效果", "还", "不", "清楚"] 标　　签：很好用心　　得：一直用这个，在京东买方便。 -["在", "京东", "买", "方便", "。"] +["标", "&", "#", "1", "2", "2", "8", "8", ";", "&", "#", "1", "2", "2", "8", "8", ";", "签", "：", "很", "好", "用心", "&", "#", "1", "2", "2", "8", "8", ";", "&", "#", "1", "2", "2", "8", "8", ";", "得", "：", "一直", "用", "这个", "，", "在", "京东", "买", "方便", "。"] 标　　签：保湿还不错包装好脸上很舒服吸收快物流速度快心　　得：必须要说的是，这是我老婆自己买的。 -["这", "是", "我", "老婆", "自己", "买", "的", "。"] +["标", "&", "#", "1", "2", "2", "8", "8", ";", "&", "#", "1", "2", "2", "8", "8", ";", "签", "：", "保湿", "还", "不错", "包装", "好", "脸上", "很", "舒服", "吸收", "快", "物流", "速度", "快", "心", "&", "#", "1", "2", "2", "8", "8", ";", "&", "#", "1", "2", "2", "8", "8", ";", "得", "：", "必须", "要说", "的", "是", "，", "这", "是", "我", "老婆", "自己", "买", "的", "。"] 标　　签：效果不错心　　得：一直用这个存货中************** ["标", "&", "#", "1", "2", "2", "8", "8", ";", "&", "#", "1", "2", "2", "8", "8", ";", "签", "：", "效果", "不错", "心", "&", "#", "1", "2", "2", "8", "8", ";", "&", "#", "1", "2", "2", "8", "8", ";", "得", "：", "一直", "用", "这个", "存货", "中", "*", "*", "*", "*", "*", "*", "*", "*", "*", "*", "*", "*", "*", "*"] 标　　签：很好用心　　得：还可以，常规的东东。. -["."] +["标", "&", "#", "1", "2", "2", "8", "8", ";", "&", "#", "1", "2", "2", "8", "8", ";", "签", "：", "很", "好", "用心", "&", "#", "1", "2", "2", "8", "8", ";", "&", "#", "1", "2", "2", "8", "8", ";", "得", "：", "还", "可以", "，", "常规", "的", "东东", "。", "."] 标　　签：包装好乳液很好用补水效果好物流速度快价格实惠心　　得：挺好的，脸上不紧绷，舒服 -["舒服"] +["标", "&", "#", "1", "2", "2", "8", "8", ";", "&", "#", "1", "2", "2", "8", "8", ";", "签", "：", "包装", "好", "乳液", "很", "好", "用", "补水", "效果", "好", "物流", "速度", "快", "价格", "实惠", "心", "&", "#", "1", "2", "2", "8", "8", ";", "&", "#", "1", "2", "2", "8", "8", ";", "得", "：", "挺", "好", "的", "，", "脸上", "不", "紧", "绷", "，", "舒服"] 标　　签：物流速度快价格实惠心　　得：应该是正品吧，价格比超市便宜些。正在使用中 -["正在", "使用", "中"] +["标", "&", "#", "1", "2", "2", "8", "8", ";", "&", "#", "1", "2", "2", "8", "8", ";", "签", "：", "物流", "速度", "快", "价格", "实惠", "心", "&", "#", "1", "2", "2", "8", "8", ";", "&", "#", "1", "2", "2", "8", "8", ";", "得", "：", "应该", "是", "正品", "吧", "，", "价格比", "超市", "便宜", "些", "。", "正在", "使用", "中"] 标　　签：还可以心　　得：挺滋润的，价钱也合适！ -["价钱", "也", "合适", "！"] +["标", "&", "#", "1", "2", "2", "8", "8", ";", "&", "#", "1", "2", "2", "8", "8", ";", "签", "：", "还", "可以", "心", "&", "#", "1", "2", "2", "8", "8", ";", "&", "#", "1", "2", "2", "8", "8", ";", "得", "：", "挺", "滋润", "的", "，", "价钱", "也", "合适", "！"] 标　　签：是正品效果不错心　　得：用过以后效果挺好的，不错是正品 -["不错", "是", "正品"] +["标", "&", "#", "1", "2", "2", "8", "8", ";", "&", "#", "1", "2", "2", "8", "8", ";", "签", "：", "是", "正品", "效果", "不错", "心", "&", "#", "1", "2", "2", "8", "8", ";", "&", "#", "1", "2", "2", "8", "8", ";", "得", "：", "用", "过", "以后", "效果", "挺", "好", "的", "，", "不错", "是", "正品"] 标　　签：很好用比商场便宜心　　得：用这个产品一年了，比较认可。 -["比较", "认可", "。"] +["标", "&", "#", "1", "2", "2", "8", "8", ";", "&", "#", "1", "2", "2", "8", "8", ";", "签", "：", "很", "好", "用", "比", "商场", "便宜", "心", "&", "#", "1", "2", "2", "8", "8", ";", "&", "#", "1", "2", "2", "8", "8", ";", "得", "：", "用", "这个", "产品", "一年", "了", "，", "比较", "认可", "。"] 标　　签：保湿还不错心　　得：第一次用乳液，感觉还不错 -["感觉", "还", "不错"] +["标", "&", "#", "1", "2", "2", "8", "8", ";", "&", "#", "1", "2", "2", "8", "8", ";", "签", "：", "保湿", "还", "不错", "心", "&", "#", "1", "2", "2", "8", "8", ";", "&", "#", "1", "2", "2", "8", "8", ";", "得", "：", "第一次", "用", "乳液", "，", "感觉", "还", "不错"] 标　　签：价格实惠心　　得：便宜，东西还行吧，用着不习惯，感觉有酒精 -["感觉", "有", "酒精"] +["标", "&", "#", "1", "2", "2", "8", "8", ";", "&", "#", "1", "2", "2", "8", "8", ";", "签", "：", "价格", "实惠", "心", "&", "#", "1", "2", "2", "8", "8", ";", "&", "#", "1", "2", "2", "8", "8", ";", "得", "：", "便宜", "，", "东西", "还", "行", "吧", "，", "用", "着", "不", "习惯", "，", "感觉", "有", "酒精"] 标　　签：价格实惠包装好心　　得：看牌子买的，先试着用用看效果 -["先", "试", "着", "用", "用", "看", "效果"] +["标", "&", "#", "1", "2", "2", "8", "8", ";", "&", "#", "1", "2", "2", "8", "8", ";", "签", "：", "价格", "实惠", "包装", "好心", "&", "#", "1", "2", "2", "8", "8", ";", "&", "#", "1", "2", "2", "8", "8", ";", "得", "：", "看", "牌子", "买", "的", "，", "先", "试", "着", "用", "用", "看", "效果"] 心　　得：配套用的不错个人觉得 ["心", "&", "#", "1", "2", "2", "8", "8", ";", "&", "#", "1", "2", "2", "8", "8", ";", "得", "：", "配套", "用", "的", "不错", "个人", "觉得"] 标　　签：味道刺激心　　得：不怎么样，用后脸上会起红点 -["用", "后", "脸上", "会", "起", "红", "点"] +["标", "&", "#", "1", "2", "2", "8", "8", ";", "&", "#", "1", "2", "2", "8", "8", ";", "签", "：", "味道", "刺激", "心", "&", "#", "1", "2", "2", "8", "8", ";", "&", "#", "1", "2", "2", "8", "8", ";", "得", "：", "不怎么样", "，", "用", "后", "脸上", "会", "起", "红", "点"] 标　　签：挺保湿的物流速度快比商场便宜品牌好心　　得：正品，平价，比商场便宜，物流很快。 -["物流", "很快", "。"] +["标", "&", "#", "1", "2", "2", "8", "8", ";", "&", "#", "1", "2", "2", "8", "8", ";", "签", "：", "挺", "保湿", "的", "物流", "速度", "快", "比", "商场", "便宜", "品牌", "好心", "&", "#", "1", "2", "2", "8", "8", ";", "&", "#", "1", "2", "2", "8", "8", ";", "得", "：", "正品", "，", "平价", "，", "比", "商场", "便宜", "，", "物流", "很快", "。"] 标　　签：服务好心　　得：还没有使用过，就发现YMX只要79元，我哭！为什么京东价格拼不过YMX呀~~~ -["我", "哭", "！", "为什么", "京东", "价格", "拼", "不过", "Y", "M", "X", "呀", "~", "~", "~"] +["标", "&", "#", "1", "2", "2", "8", "8", ";", "&", "#", "1", "2", "2", "8", "8", ";", "签", "：", "服务", "好心", "&", "#", "1", "2", "2", "8", "8", ";", "&", "#", "1", "2", "2", "8", "8", ";", "得", "：", "还", "没有", "使用", "过", "，", "就", "发现", "Y", "M", "X", "只要", "7", "9", "元", "，", "我", "哭", "！", "为什么", "京东", "价格", "拼", "不过", "Y", "M", "X", "呀", "~", "~", "~"] 标　　签：挺保湿的心　　得：第一次购买,用了感觉还不错 ["标", "&", "#", "1", "2", "2", "8", "8", ";", "&", "#", "1", "2", "2", "8", "8", ";", "签", "：", "挺", "保湿", "的", "心", "&", "#", "1", "2", "2", "8", "8", ";", "&", "#", "1", "2", "2", "8", "8", ";", "得", "：", "第一次", "购买", ",", "用", "了", "感觉", "还", "不错"] 标　　签：服务好物流速度快脸上很舒服心　　得：刚送到家。。用用在发表好坏。 -["用", "用", "在", "发表", "好坏", "。"] +["标", "&", "#", "1", "2", "2", "8", "8", ";", "&", "#", "1", "2", "2", "8", "8", ";", "签", "：", "服务", "好", "物流", "速度", "快", "脸上", "很", "舒服", "心", "&", "#", "1", "2", "2", "8", "8", ";", "&", "#", "1", "2", "2", "8", "8", ";", "得", "：", "刚", "送到", "家", "。", "。", "用", "用", "在", "发表", "好坏", "。"] 心　　得：还没用看看包装蛮好的晒　　单：共3张图片查看晒单> ["心", "&", "#", "1", "2", "2", "8", "8", ";", "&", "#", "1", "2", "2", "8", "8", ";", "得", "：", "还", "没用", "看看", "包装", "蛮", "好", "的", "晒", "&", "#", "1", "2", "2", "8", "8", ";", "&", "#", "1", "2", "2", "8", "8", ";", "单", "：", "共", "3", "张", "图片", "查看", "晒", "单", ">"] 标　　签：品牌好价格实惠脸上很舒服味道不错心　　得：防晒，不油腻，还可以使皮肤稍稍增白些， -["还", "可以", "使", "皮肤", "稍稍", "增白", "些", "，"] +["标", "&", "#", "1", "2", "2", "8", "8", ";", "&", "#", "1", "2", "2", "8", "8", ";", "签", "：", "品牌", "好", "价格", "实惠", "脸上", "很", "舒服", "味道", "不错", "心", "&", "#", "1", "2", "2", "8", "8", ";", "&", "#", "1", "2", "2", "8", "8", ";", "得", "：", "防晒", "，", "不", "油腻", "，", "还", "可以", "使", "皮肤", "稍稍", "增白", "些", "，"] 标　　签：价格实惠保湿还不错心　　得：东西好用，分不清楚是不是正品。 -["分", "不", "清楚", "是不是", "正品", "。"] +["标", "&", "#", "1", "2", "2", "8", "8", ";", "&", "#", "1", "2", "2", "8", "8", ";", "签", "：", "价格", "实惠", "保湿", "还", "不错", "心", "&", "#", "1", "2", "2", "8", "8", ";", "&", "#", "1", "2", "2", "8", "8", ";", "得", "：", "东西", "好", "用", "，", "分", "不", "清楚", "是不是", "正品", "。"] 标　　签：服务好乳液很好用心　　得：乳液还是不错的用用不错的 ["标", "&", "#", "1", "2", "2", "8", "8", ";", "&", "#", "1", "2", "2", "8", "8", ";", "签", "：", "服务", "好", "乳液", "很", "好", "用心", "&", "#", "1", "2", "2", "8", "8", ";", "&", "#", "1", "2", "2", "8", "8", ";", "得", "：", "乳液", "还是", "不错", "的", "用", "用", "不错", "的"] 标　　签：物流速度快效果不错心　　得：常用这个，夏天用，美白效果还好 -["美", "白", "效果", "还好"] +["标", "&", "#", "1", "2", "2", "8", "8", ";", "&", "#", "1", "2", "2", "8", "8", ";", "签", "：", "物流", "速度", "快", "效果", "不错", "心", "&", "#", "1", "2", "2", "8", "8", ";", "&", "#", "1", "2", "2", "8", "8", ";", "得", "：", "常用", "这个", "，", "夏天", "用", "，", "美", "白", "效果", "还好"] 标　　签：还可以心　　得：不错 ["标", "&", "#", "1", "2", "2", "8", "8", ";", "&", "#", "1", "2", "2", "8", "8", ";", "签", "：", "还", "可以", "心", "&", "#", "1", "2", "2", "8", "8", ";", "&", "#", "1", "2", "2", "8", "8", ";", "得", "：", "不错"] 标　　签：价格实惠比商场便宜服务好心　　得：真的还不错而且价格也实惠快递速度 @@ -153,48 +153,48 @@ 标　　签：比商场便宜脸上很舒服很好用物流速度快是正品心　　得：京东就是好一日既往的好 ["标", "&", "#", "1", "2", "2", "8", "8", ";", "&", "#", "1", "2", "2", "8", "8", ";", "签", "：", "比", "商场", "便宜", "脸上", "很", "舒服", "很", "好", "用", "物流", "速度", "快", "是", "正品", "心", "&", "#", "1", "2", "2", "8", "8", ";", "&", "#", "1", "2", "2", "8", "8", ";", "得", "：", "京东", "就是", "好", "一日", "既往", "的", "好"] 活动时购买的很划算，用下来觉得还可以吧，等用完了才能知道有没有效果吧。反正很划算，随便用用看 -["随便", "用", "用", "看"] +["活动", "时", "购买", "的", "很", "划算", "，", "用", "下来", "觉得", "还", "可以", "吧", "，", "等", "用", "完", "了", "才能", "知道", "有没有", "效果", "吧", "。", "反正", "很", "划算", "，", "随便", "用", "用", "看"] 新能真皙美白乳液很好用，有美白的效果，吸收也很快，搞活动买的，比外面便宜好多~~~~~ -["比", "外面", "便宜", "好多", "~", "~", "~", "~", "~"] +["新", "能", "真", "皙", "美", "白", "乳液", "很", "好", "用", "，", "有", "美", "白", "的", "效果", "，", "吸收", "也", "很快", "，", "搞", "活动", "买", "的", "，", "比", "外面", "便宜", "好多", "~", "~", "~", "~", "~"] 三八妇女节买的，Z的产品随便用用可以的。女人要对自己好一点。 -["女人", "要", "对", "自己", "好", "一点", "。"] +["三八妇女节", "买", "的", "，", "Z", "的", "产品", "随便", "用", "用", "可以", "的", "。", "女人", "要", "对", "自己", "好", "一点", "。"] 标　　签：是正品挺保湿的心　　得：好东东，ZA我的最爱。 -["Z", "A", "我", "的", "最", "爱", "。"] +["标", "&", "#", "1", "2", "2", "8", "8", ";", "&", "#", "1", "2", "2", "8", "8", ";", "签", "：", "是", "正品", "挺", "保湿", "的", "心", "&", "#", "1", "2", "2", "8", "8", ";", "&", "#", "1", "2", "2", "8", "8", ";", "得", "：", "好", "东东", "，", "Z", "A", "我", "的", "最", "爱", "。"] 优　　点：没有让这次的尝试失望不　　足：货运慢，慢，慢心　　得：很舒适，用的不错 -["用", "的", "不错"] +["优", "&", "#", "1", "2", "2", "8", "8", ";", "&", "#", "1", "2", "2", "8", "8", ";", "点", "：", "没有", "让", "这次", "的", "尝试", "失望", "不", "&", "#", "1", "2", "2", "8", "8", ";", "&", "#", "1", "2", "2", "8", "8", ";", "足", "：", "货运", "慢", "，", "慢", "，", "慢", "心", "&", "#", "1", "2", "2", "8", "8", ";", "&", "#", "1", "2", "2", "8", "8", ";", "得", "：", "很", "舒适", "，", "用", "的", "不错"] 标　　签：挺保湿的心　　得：一直用还可以~~~~~~~~~~~~~~~~ ["标", "&", "#", "1", "2", "2", "8", "8", ";", "&", "#", "1", "2", "2", "8", "8", ";", "签", "：", "挺", "保湿", "的", "心", "&", "#", "1", "2", "2", "8", "8", ";", "&", "#", "1", "2", "2", "8", "8", ";", "得", "：", "一直", "用", "还", "可以", "~", "~", "~", "~", "~", "~", "~", "~", "~", "~", "~", "~", "~", "~", "~", "~"] 很滋润效果好味道接受 ["很", "滋润", "效果", "好", "味道", "接受"] 朋友推荐，醇润型，有点稠，我是混合型皮肤，很好吸收，不粘腻 -["不", "粘", "腻"] +["朋友", "推荐", "，", "醇", "润", "型", "，", "有点", "稠", "，", "我", "是", "混合型", "皮肤", "，", "很", "好", "吸收", "，", "不", "粘", "腻"] 乳液很适合，价格比商场便宜 -["价格比", "商场", "便宜"] +["乳液", "很", "适合", "，", "价格比", "商场", "便宜"] 效果挺好的滋润保湿了味道清淡 ["效果", "挺", "好", "的", "滋润", "保湿", "了", "味道", "清淡"] 瓶子盖子都有刮痕了，是不是都用过了啊。以前也在卓越买过za的其他化妆品，都还算满意。这一次真觉得很恶心，以后不会在这买了 -["以后", "不会", "在", "这", "买", "了"] +["瓶子", "盖子", "都", "有", "刮", "痕", "了", "，", "是不是", "都", "用", "过", "了", "啊", "。", "以前", "也", "在", "卓越", "买", "过", "z", "a", "的", "其他", "化妆品", "，", "都", "还", "算", "满意", "。", "这", "一次", "真", "觉得", "很", "恶心", "，", "以后", "不会", "在", "这", "买", "了"] 好用不知道是不是正品啊 ["好", "用", "不", "知道", "是不是", "正品", "啊"] 很好用 ["很", "好", "用"] za乳液不够滋润，全新但是怎么没有密封？ -["全新", "但是", "怎么", "没有", "密封", "？"] +["z", "a", "乳液", "不够", "滋润", "，", "全新", "但是", "怎么", "没有", "密封", "？"] 还不错，一直在用 -["一直", "在", "用"] +["还", "不错", "，", "一直", "在", "用"] 妈妈收到了 ["妈妈", "收到", "了"] 商品的包装居然坏了，像是被拆开过的 -["像是", "被", "拆开", "过", "的"] +["商品", "的", "包装", "居然", "坏", "了", "，", "像是", "被", "拆开", "过", "的"] 蛮滋润的 ["蛮", "滋润", "的"] 很润，很好用。味道也不错！ -["味道", "也", "不错", "！"] +["很", "润", "，", "很", "好", "用", "。", "味道", "也", "不错", "！"] 还可以 ["还", "可以"] 挺好的，这个用上也不是很油腻.. -["这个", "用", "上", "也", "不是", "很", "油腻", ".", "."] +["挺", "好", "的", "，", "这个", "用", "上", "也", "不是", "很", "油腻", ".", "."] 纯度不够。 ["纯度", "不够", "。"] 这个给婆婆买的，我就用过几次，但感觉挺滋润 -["但", "感觉", "挺", "滋润"] +["这个", "给", "婆婆", "买", "的", "，", "我", "就", "用", "过", "几次", "，", "但", "感觉", "挺", "滋润"] diff --git a/test/unittest/TSegments.cpp b/test/unittest/TSegments.cpp index 0eed1e6..ac2ad79 100644 --- a/test/unittest/TSegments.cpp +++ b/test/unittest/TSegments.cpp @@ -23,6 +23,7 @@ TEST(MixSegmentTest, Test1) ASSERT_EQ(words, vector(res, res + sizeof(res)/sizeof(res[0]))); ASSERT_TRUE(segment.cut(str2, words)); ASSERT_EQ(words, vector(res2, res2 + sizeof(res2)/sizeof(res2[0]))); + //exit(0); } TEST(MixSegmentTest, NoUserDict) @@ -50,7 +51,7 @@ TEST(MixSegmentTest, UserDict) TEST(MPSegmentTest, Test1) { - MPSegment segment("../dict/extra_dict/jieba.dict.small.utf8");; + MPSegment segment("../dict/jieba.dict.utf8");; const char* str = "我来自北京邮电大学。"; const char* res[] = {"我", "来自", "北京邮电大学", "。"}; vector words; @@ -63,8 +64,6 @@ TEST(MPSegmentTest, Test1) const char * res[] = {"B超", " ", "T恤"}; vector words; ASSERT_TRUE(segment.cut(str, words)); - cout << words << endl; - exit(0); ASSERT_EQ(words, vector(res, res + sizeof(res)/sizeof(res[0]))); } }