Классические одноязычные задачи оценки устранения неоднозначности смысла слова используют WordNet в качестве смыслового инвентаря и в значительной степени основаны на контролируемой / полуконтролируемой классификации с аннотированными вручную корпусами: [1]
Во время первого семинара Senseval был принят сенсорный опросник HECTOR. Причина принятия ранее неизвестного реестра смыслов заключалась главным образом в том, чтобы избежать использования популярных детальных значений слов (таких как WordNet), которые могли бы сделать эксперименты несправедливыми или предвзятыми. Однако, учитывая недостаточность охвата таких реестров, после второго семинара Senseval был принят реестр смыслов WordNet. Для упражнений WSD требуется словарь, чтобы указать значения слов, которые необходимо устранить неоднозначность, а также корпус языковых данных, которые необходимо устранить неоднозначность. WordNet — самый популярный пример смысловой инвентаризации. Причиной использования базы данных HECTOR во время Senseval-1 было то, что инвентаризация WordNet уже была общедоступной. [2]
Сравнение методов можно разделить на 2 группы по количеству проверяемых слов. Разница заключается в объеме анализа и обработки:
Предполагается, что первый вариант является более реалистичной оценкой, хотя и с весьма трудоемкой проверкой результатов. Первоначально при оценке использовался только последний, но позже был включен и первый.
Организаторам лексической выборки пришлось выбирать образцы, на которых будут тестироваться системы. Критика более ранних попыток оценки WSD по лексическим образцам заключается в том, что лексический образец выбирался по прихоти экспериментатора (или чтобы совпадать с выбором предыдущих экспериментаторов). Для английского Senseval была разработана основа выборки, в которой слова классифицировались в зависимости от их частоты (в BNC) и уровня многозначности (в WordNet). Кроме того, обсуждалась проблема включения POS-тегов, и было решено, что образцы должны представлять собой слова с известной частью речи и некоторыми неопределенными значениями (например, 15 задач с существительными, 13 задач с глаголами, 8 прилагательных и 5 неопределенных значений).
Для целей сравнения используются известные, но простые алгоритмы, называемые базовыми линиями. К ним относятся различные варианты алгоритма Леска или алгоритма наиболее частого смысла.
При оценке систем WSD используются два основных показателя производительности:
Если система присваивает каждое слово, то точность и полнота одинаковы, и их можно назвать точностью . Эта модель была расширена для учета систем, которые возвращают набор значений с весами для каждого события.