Семантический поиск

В MS SQL 2012 появилось интересное расширение полнотекстового поиска - семантический поиск. Семантический поиск использует полнотекстовый поиск, но позволяет решать совершенно другие задачи. С помощью семантического поиска, можно находить ключевые слова, то есть наиболее статистически значимые слова документа. Можно находить слова, которые делают два документа похожими. Есть возможность искать документы, которые больше всего походят на данный документ. Приступим к изучению. Отметим, что для использования семантического поиска, необходимо установить базу данных семантической статистики языков. Для этого с сайта Microsoft необходимо скачать установщик SemanticLanguageDatabase.msi. После его установки в выбранной директории будут файлы данных и журнала базы данных semanticsdb. Ее необходимо присоединить к серверу (при этом для базы можно выбрать любое имя). Например, можно сделать это с помощью такого кода:

create database DbName

       on

       (

             filename = 'C:\Microsoft Semantic Language Database\semanticsdb.mdf' )

       )

       log on

       (

             filename = 'C:\Microsoft Semantic Language Database\semanticsdb_log.ldf'

       )

       for attach

После того как база данных семантической статистики присоединена, ее необходимо зарегистрировать. Это делается таким кодом:
exec sp_fulltext_semantic_register_language_statistics_db DbName

Базу данных семантической статистики не нужно менять, не нужно вносить в нее какие-либо изменения, так как это может негативно сказаться на семантическом поиске. Сама база несет в себе код, позволяющий анализировать семантику текстов для различных языков. Делать семантичекские поиски можно в любой другой базе на этом же экземпляре сервера. Признаком регистрации базы для семантического поиска служит то, что запрос ниже возвращает о ней данные:

select *

from sys.fulltext_semantic_language_statistics_database

Для проверки списка языков, для которых поддерживается семантический поиск, можно воспользоваться таким запросом:

select *

from sys.fulltext_semantic_languages

Теперь продемонстрируем возможности семантического поиска. Создадим таблицу для хранения документов:

create table dbo.Texts

(

       iDocId int identity ( 1, 1 )      not null,

       vcText nvarchar ( max )                 not null,

       constraint PK_Texts_iDocId primary key ( iDocId asc ) on [PRIMARY]

) on [PRIMARY]

Заполним таблицу тестовыми данными:

insert into dbo.Texts ( vcText )

       values

             ( N'Я пришел к тебе с приветом рассказать что солнце встало.' ),

             ( N'Солнце это ближайшая к нам звезда.' ),

             ( N'Данные таблиц очень важны.' ),

             ( N'Твои данные очень важны для меня.' ),

             ( N'Я очень люблю наше солнце.' ),

             ( N'Я пришел к тебе с важным делом.' )

Построим полнотекстовый каталог:

create fulltext catalog Docs

       on filegroup [PRIMARY]

       with accent_sensitivity = off

       authorization dbo

Теперь создаем и одновремено заполняем полнотекстовый индекс:

create fulltext index on dbo.Texts

       (
             vcText language 1049
             statistical_semantics
       )
       key index PK_Texts_iDocId
       on Docs
       with stoplist = system, change_tracking = auto

В коде выше мы указали опцию statistical_semantic. Задав значение auto для опции change_tracking мы инициировали фоновое наполнение индекса. При наполнении строится полнотекстовый индекс. Параллельно с этим находятся ключевые фразы документов. Затем определяется подобие документов.

Изучим подобие документов. Напишем такие запросы:

select *

from Texts

select txt.iDocId, txt.vcText, data.score

from

       semanticsimilaritytable ( Texts, vcText, 2 ) data

             inner join

       dbo.Texts txt on data.matched_document_key = txt.iDocId

order by data.score desc

То есть служба семантического поиска определила, что для фразы "Солнце это ближайшая к нам звезда." с идентификатором 2 есть 2 похожие фразы:
"Я очень люблю наше солнце." и "Я пришел к тебе с приветом рассказать что солнце встало." !
И что первая более похожа чем вторая (по полю score). Столбец score - это относительное значение подобия, оно варьируется от 0 до 1. Такой запрос:

select *

from Texts

select *

from semanticsimilaritydetailstable

     (

        dbo.Texts,

        vcText, 2,

        vcText, 5

    )

показывает, что фразы "Солнце это ближайшая к нам звезда." и "Я очень люблю наше солнце." похожи по слову "солнце".

Запрос ниже показывает какие слова наиболее статистически значимы для фразы:

select *

from semantickeyphrasetable ( dbo.Texts, vcText, 1 )

Здесь опять-таки указано относительно значение значимости слова, по которому можно делать сортировку. Функция semantickeyphrasetable может запускаться без третьего параметра и может возвращать данные о словах всех документов. В этом случае в запросе к ней можно задать условие на слово и определить документы, в которых наиболее часто встречается какое-нибудь слово:

select *

from semantickeyphrasetable ( dbo.Texts, vcText )

where keyphrase = N'солнце'

Пока это все функции, доступные для семантического поиска. Для администрирования семантических индексов можно использовать динамические административные представления. Например, запрос ниже показывает размер индексов:

select

       object_name ( object_id ) Таблица,

       fulltext_index_page_count * 8 [Размер полнотекстового индекса (Кб)],

       keyphrase_index_page_count * 8 [Размер индекса ключевых фраз (Кб)],

       similarity_index_page_count * 8 [Размер индекса подобия документов (Кб)]

from sys.dm_db_fts_index_physical_stats

Статус заполнения семантического индекса можно отслеживать с помощью такого запроса:

select [status], status_description

from sys.dm_fts_semantic_similarity_population

where object_name ( table_id, database_id ) = 'Texts' and database_id = db_id ()