📌 📄 内容摘要:
xu t 在 NLP自然语言处理，jieba中文分词，python ，c++版本分词结果不一致 中发帖
求助各位大佬，在做NLP处理的时候需要用jieba进行中文分词，离线模型训练用的python版本，线上处理是c++版本。早些时候排查问题发现，这两个办法分词结果不一样。感觉自己排查了很久也不清楚原因
对于相同query:爱奇艺在线观看打开入口
python jieba分词结果：‘爱奇艺在线观看打开’，‘入口’，
c++ jieba分词结果：‘爱奇艺在线观看’，‘打开入口’，
目前已知jieba自定义词典，除HMM模型外都是相同的
"/jieba.dict.utf8", // 主词典，相同
"/hmm_model.utf8", // HMM模型，不知道如何排查是否相同
"/user_dict", // 用户词典相同
"/idf.utf8", // IDF文件相同
"/stop_words.utf8")); ...
────────── 链接信息 ──────────
🔗 论坛链接: linux.do
📎 访问地址: https://linux.do/t/topic/586294/1
─────────────────────────────
📢 来源：LINUX DO
