Анализаторы в Lucene.NET

В предыдущих статьях я описал основы Lucene.NET и язык запросов. В этой статье хотел бы остановиться на анализаторах в Lucene.NET, необходимых для создания индекса и поиска по нему.

Для начала приведу пример из первой статьи:

1. Analyzer analyzer = new StandardAnalyzer();
2. IndexWriter writer = new IndexWriter("tmp", analyzer);
3. for (int i = 0; i < 1000000; i++)
4. {
5.  Document doc = new Document();
6.  doc.Add(
7.   new Field(
8.    "id",
9.    i.ToString(),
10.    Field.Store.YES,
11.    Field.Index.NO));
12.  doc.Add(
13.   new Field(
14.    "text",
15.    string.Format("{0} string.", i),
16.    Field.Store.YES,
17.    Field.Index.TOKENIZED));
18.  writer.AddDocument(doc);
19.  if (i % 100000 == 0)
20.    Console.WriteLine(
21.    "[{1}]: {0} documents are saved.",
22.    i,
23.    DateTime.Now);
24. }
25. writer.Optimize();
26. writer.Close();

* This source code was highlighted with Source Code Highlighter.

Как видно из первой строки, для построения индекса нам необходим Analyzer, давайте рассмотрим, что это и для чего нужен.

Анализатор используется для разбора, разбивки и индексирования ваших данных. Lucene поставляется с несколькими Analyzer’ами, но StandardAnalyzer является наиболее простым и часто используемым. Он производит несколько операций над вашим текстом, включая удаление слов из стоп-листа, пунктуации. StandardAnalyzer понимает английскую пунктуацию, имеет встроенный стоп-лист, а также производит сравнение без учета регистра символов.
Еще один полезный анализатор, но который не входит в поставку Lucene.NET – SnowballAnalyzers. Он удаляет префиксы и суффиксы и позволяет добиться лучших результатов поиска, но насколько я понимаю, делает это он только над английским текстом.
Остальные анализаторы, входящие в состав Lucene.NET:

1. KeywordAnalyzer – данный анализатор рассматривает всю индексируемую строку как один терм. Используется для индексирования различных названий, идентификаторов, и совсем нежелательно использовать его для больших кусков текста.
2. WhitespaceAnalyzer – похож на StandardAnalyzer, но не учитывает пунктуацию и разбивает слова разделенные пробелами. Данный анализатор не имеет стоп-листа.
3. StopAnalyzer – также похож на StandardAnalyzer, знает английский слова, которые необходимо игнорировать. Вот список этих слов:

   "a", "an", "and", "are", "as", "at", "be", "but", "by", "for", "if",
   "in", "into", "is", "it", "no", "not", "of", "on", "or", "such", "that",
   "the", "their", "then", "there", "these", "they", "this", "to", "was",
   "will", "with"
   

4. PerFieldAnalyzerWrapper – данный анализатор используется, когда вы хотите использовать различные анализаторы для разных полей. При создании данного анализатора указывается анализатор по умолчанию, а потом при помощи метода AddAnalyzer можете указывать различные анализаторы для различных полей вашего документа.

Для большинства случаев данных анализаторов хватит, но если по каким-то причинам они вам не подходят, то вы всегда можете написать свой собственный, унаследовав его от базового Analyzer. Описание того, как это можно сделать можете посмотреть здесь.

Ссылки

1. Lucene Analysys
2. Getting started with Lucene.NET
3. Analyzers in Lucene.NET
4. Custom Synonym Analyzer