В настоящее время ведется активная работа по разработке методов интегрирования схем данных [1, 2]. Предлагаются новые подходы и методы автоматизированного интегрирования [3]. Как следствие встает проблема оценки адекватности методов интегрирования схем данных [4]. Важную роль в оценке результатов применения методов интегрирования схем данных играет эталонное отображение элементов, построенное экспертами.
Рис. 1. Сравнение эталонного и автоматически построенного отображения элементов схем данных
На базе такого эталонного отображения можно различными методами вычислять количественные оценки качества отображения построенного автоматизированным методом.
На рисунке 1 представлены возможные варианты отождествлений. Множество А - это множество истинных, определенных экспертом, соответствий между элементами схем данных. По своей сути множество A - это ошибочно не распознанные соответствия. Множество B - это множество истинных соответствий, которые были включены в автоматически построенное отображение элементов схем данных. По своей сути множество B - это та часть соответствий, которая была верно распознана методом. Множество C - это множество соответствий, которые были включены в автоматически построенное отображение, но на самом деле не являющихся истинными. По своей сути множество C - это множество ошибочно распознанных соответствий. Множество D - это множество ложных соответствий. По своей сути множество D является множеством верно отброшенных методом соответствий. Очевидно, что чем точнее совпадают множества соответствий эталонного отображения и автоматически построенного отображения, тем выше адекватность автоматически построенного отображения.
Наиболее простыми оценками адекватности построенного отображения могут служить следующие численные характеристики [0]:
(1)
Данная оценка отображает долю найденных истинных соответствий по отношению к общему числу соответствий вошедших в автоматически построенное отображение.
(2)
Данная оценка отображает долю автоматически найденных истинных соответствий по отношению к общему числу истинных соответствий.
В случае, когда автоматически построенное отображение дает идеальный результат, имеем 
. Однако рассмотренные отдельно друг от друга ни оценка P, ни оценка 
не дают возможности сделать выводы о качестве рассматриваемого отображения. Действительно, оценка P может быть увеличена путем включения в отображения малого числа соответствий с предельно высоким уровнем достоверности. При этом оценка будет заведомо занижена. Включая в отображение как можно большее количество соответствий, будет увеличена оценка . При этом оценка P будет заведомо снижена.
Представленные ниже оценки лишены указанных выше недостатков:
(3)
Комбинированная оценка, которая с помощью параметра 
позволяет изменять вклад оценок P и в конечный результат. При 
, оценка не учитывает. При 
, оценка P не учитывает. При 
оценки P и учитываются равноценно и можно получить следующую комбинированную оценку [5]:
(4)
В работе [0] была представлена, а в работе [0] использована следующая оценка:
(5)
С учетом вышесказанного предлагается следующий метод оценки адекватности метода интегрирования схем данных:
Сравнительный анализ методов должен проводиться на заранее подготовленных тестовых задачах. Тестовые задачи должны быть стандартизированы и общепризнанны.
Эталонное отображение в каждой тестовой задаче должно быть построено с учетом мнения нескольких экспертов. Возможно усреднение отображений построенных каждым экспертом для получения единого эталонного отображения. Или же возможно сравнение результатов автоматизированного отождествления с эталонным отображением каждого эксперта и усреднение полученных величин качества.
Для численного анализа результатов предлагается использовать количественные оценки качества 
и 
.
СПИСОК ЛИТЕРАТУРЫ:
- Брюхов Д.О. Интероперабельные информационные системы: архитектуры и технологии. / Задорожный В.И., Калиниченко Л.А., Курошев М.Ю., Шумилов С.С. // СУБД, № 4, 1995
- Калиниченко Л. А. Методы и средства интеграции неоднородных баз данных. - М.: Наука, 1983. - 423 c.
- Do Hong-Hai, Rahm Erhard. COMA - A System for Flexible Combination of Schema Matching Approach. // VLDB, 2002.
- Do Hong-Hai, Melnik Sergey, Rahm, Erhard. Comparison of Schema Matching Evaluations // Proc. GI-Workshop "Web and Databases", Erfurt, Oct. 2002.
- Melnik Sergey, Garcia-Molina Hector, Rahm Erhard. Similarity Flooding: A Versatile Graph Matching Algorithm (Extended Technical Report) 2001.