理工酷

简介

支持分词模式

• 搜索模式，用于对用户查询词分词
• 索引模式，用于对索引文档分词

特性

• 支持多种分词模式
• 全角统一转成半角
• 用户词典功能
• conf目录有整理的搜狗细胞词库
• 因为性能原因，最新的快照版本去除词性标注，也希望有更好的Pull Request可以提供该功能。

新特性：tfidf算法提取关键词

public static void main(String[] args)
    {
        String content="孩子上了幼儿园 安全防拐教育要做好";
        int topN=5;
        TFIDFAnalyzer tfidfAnalyzer=new TFIDFAnalyzer();
        List<Keyword> list=tfidfAnalyzer.analyze(content,topN);
        for(Keyword word:list)
            System.out.println(word.getName()+":"+word.getTfidfvalue()+",");
        // 防拐:0.1992,幼儿园:0.1434,做好:0.1065,教育:0.0946,安全:0.0924
    }

如何使用

演示版

@Test
public void testDemo() {
    JiebaSegmenter segmenter = new JiebaSegmenter();
    String[] sentences =
        new String[] {"这是一个伸手不见五指的黑夜。我叫孙悟空，我爱北京，我爱Python和C++。", "我不喜欢日本和服。", "雷猴回归人间。",
                      "工信处女干事每月经过下属科室都要亲口交代24口交换机等技术性器件的安装工作", "结果婚的和尚未结过婚的"};
    for (String sentence : sentences) {
        System.out.println(segmenter.process(sentence, SegMode.INDEX).toString());
    }
}

算法

• 基于trie树结构实现高效词图扫描
• 生成所有切词可能的有向无环图 DAG
• 采用动态规划算法计算最佳切词组合
• 基于HMM模型，采用Viterbi（维特比）算法实现未登录词识别

性能评估

• 测试机配置

  Processor 2 Intel(R) Pentium(R) CPU G620 @ 2.60GHz
  Memory：8GB
  分词测试时机器开了许多应用(eclipse、emacs、chrome...)，可能
  会影响到测试速度
  

• 测试文本

• 测试结果（单线程，对测试文本逐行分词，并循环调用上万次）

  循环调用一万次
  第一次测试结果：
  time elapsed:12373, rate:2486.986533kb/s, words:917319.94/s
  第二次测试结果：
  time elapsed:12284, rate:2505.005241kb/s, words:923966.10/s
  第三次测试结果：
  time elapsed:12336, rate:2494.445880kb/s, words:920071.30/s
  循环调用2万次
  第一次测试结果：
  time elapsed:22237, rate:2767.593144kb/s, words:1020821.12/s
  第二次测试结果：
  time elapsed:22435, rate:2743.167762kb/s, words:1011811.87/s
  第三次测试结果：
  time elapsed:22102, rate:2784.497726kb/s, words:1027056.34/s
  统计结果:词典加载时间1.8s左右，分词效率每秒2Mb多，近100万词。
  2 Processor Intel(R) Core(TM) i3-2100 CPU @ 3.10GHz
  12G 测试效果
  time elapsed:19597, rate:3140.428063kb/s, words:1158340.52/s
  time elapsed:20122, rate:3058.491639kb/s, words:1128118.44/s
  

转载自：https://github.com/huaban/jieba-analysis