Электронные словари и их применимость для традиционного машинного перевода

Lingvo, по словам руководителя лингвистического отдела фирмы Владимира

Селегея, составляет электронный словарь собственной разработки. Каждая

новая версия Lingvo дополняется актуальной лексикой, и в ней исправляются

найденные ошибки и неточности. Таким образом, благодаря лексикографическим

исследованиям англо-русский словарь фирмы Abbyy близок к языковой практике.

Удачной находкой Abbyy выглядит приглашение всем желающим размещать на

их Интернет-узле словари собственного изготовления

http://www.lingvo.ru/dictionaries/index.htm. Такое вовлечение пользователей

в лексикографическую работу вполне соответствует духу открытых Интернет-

сообществ. Дополнительных словарей на сайте уже набралось 23 штуки. Причем

всякий желающий может скачать их из Интернета и присоединить хоть все к уже

имеющимся в базовой версии. Надо сказать, что базовая версия Lingvo-7.0

содержит миллион двести тысяч словарных статей. Причем основные статьи

тщательно проработаны. Например, не самая большая статья о слове 'go'

содержит более двадцати пяти тысяч знаков.

Первое, что бросается в глаза, когда мы говорим об электронных словарях

- это резкое сокращение объема. На десятиграммовом компакт-диске помещается

целая полка толстых словарей общим весом в двадцать пять килограмм. Но,

естественно, не это главное. Важно, что электронный словарь принципиально

может обойти ключевое противоречие книжной лексикографии: чем больше

информации предлагает словарь, чем развитее его научный аппарат, тем

сложнее им пользоваться. Поэтому классические словари разделяется на две

категории. Первая - популярные, относительно удобные, но довольно простые.

Вторая - обстоятельные академические издания, не позволяющие быстро

получить искомую информацию.

Современные электронные словари не только значительно превосходят по

объему книжные, но и находят искомое слово или словосочетание за несколько

секунд. Причем искать можно в любой форме. Некоторые, например Lingvo,

встраиваются во все основные офисные приложения и выделенное слово можно

переводить нажатием нескольких клавиш.

Преимущества электронных словарей

При традиционном подходе минимальной единицей доступа является лексема

(имя словарной статьи): нужно прочесть всю статью, чтобы определить,

содержится ли в ней ответ на наш запрос. Для таких словарей, как

оксфордский, это представляет серьезную проблему. Например, глагол 'set'

имеет там 400 только основных значений (и у многих из них имеются

подзначения).

Пользователь хотел бы, чтобы словарь максимально локализовал релевантную

информацию. При этом речь не идет об автоматическом выборе переводного

эквивалента (если мы говорим о переводном словаре). Специфика словарного

ответа в том, что он дает весьма разнообразную информацию о слове или

словосочетании, а не просто переводное соответствие, предполагает активный

выбор пользователя из нескольких возможных хорошо обоснованных альтернатив.

Однако попытка решить проблему адекватной реакции словаря на запрос

неизбежно наталкивается на сопротивление самого словарного материала,

перенесенного из бумажного словаря.

Электронные словари не только содержат транскрипцию, но и могут

произносить слова. Здесь тоже существует два подхода. В МультиЛекс встроен

синтезатор звука и произносятся все слова. Однако полностью доверять такому

подходу, не контролируя его по транскрипции, опасно. Синтезатор может

неправильно поставить ударение или вообще исказить произношение слова. В

Abbyy Lingvo основную лексику озвучивает диктор с оксфордским

произношением.

Но, конечно, самое главное преимущество хороших электронных словарей -

одновременный поиск не только по названию словарной статьи, но и по всему

огромному объему словарей, что просто нереально в бумажном варианте. Такой

поиск создает многомерный портрет слова, при этом извлекаются из глубин

словарной статьи не только конкретные примеры его использования и

устойчивые выражения, в которых слово встречается, но и обнажаются,

становятся явными языковые законы, которым подчиняются правила

словообразования. Даже мобильный электронный словарь не может отразить все

сиюминутные движения языка, но он может дать ключ для расшифровки и

понимания этих изменений, делая пользователя соавтором лексикографа. Что

очень важно, когда требуется точный смысловой перевод, ведь это не задача

подбора подходящего выражения, а в широком смысле отображение одной

культуры с помощью языка другой. Поэтому в Lingvo можно строить и свой

собственный словарь под общей оболочкой.

Язык — отражение реальной жизни. А жизнь не стоит на месте: появляются

новые отрасли производства, науки, бизнеса, культуры. В обычную разговорную

речь приходят новые слова, термины, устойчивые словосочетания. Можно ли

представить в речи наших сограждан лет десять назад такие слова, как

"холдинг", "транш"? Выражение "конечный пользователь" вызвало бы у них

недоумение, и никто не мог бы предположить, что слово "мыло" будет означать

на компьютерном жаргоне электронную почту (вольная русская транскрипция

английского слова "e-mail").

Вся эта лексика не может быть адекватно отражена в "бумажных" словарях

по той простой причине, что они слишком долго готовятся. Так, известный

англо-русский словарь Мюллера, сочетающий относительную простоту

пользования (один том, хотя и тяжелый!) и полноту содержания, был издан в

1960 году и с тех пор претерпел лишь косметические изменения в 1978 и 1994

годах.

Фактически многие словари, которые сформировались в языковой атмосфере

середины века, сильно устарели. В них не указаны современные значения

старых слов, а многие новые слова просто отсутствуют. Буквальное

перенесение таких словарей на компьютеры бесперспективно. Это стало

особенно очевидно в связи с развитием Интернета: большая часть Веб-страниц

состоит из английских текстов, написанных живым современным языком, обильно

использующим разговорную лексику и сленг. Вряд ли какой-либо из

существующих англо-русских словарей может ответить на этот вызов. Решить

данную задачу под силу лишь электронным словарям.

Большинство "бумажных" словарей ориентировано на человека, читающего на

иностранном языке, то есть человека, который в непонятном ему тексте

находит "опорные" слова, помогающие выстроить общую смысловую картину.

Человек "пишущий", кроме знания всех используемых слов, должен четко

представлять, как эти слова сочетаются друг с другом, какие предлоги при

этом используются, есть ли устойчивые выражения, передающие необходимый

смысл.

Увы, если "бумажный" словарь и удовлетворяет нужды Читателя, то уж

интересы Писателя на неродном языке он чаще всего попросту игнорирует! А

ведь в наш век электронных коммуникаций Писателем стал практически каждый

пользователь Интернета!

И здесь электронный словарь оказывается намного полезнее "бумажного".

Даже буквальное воспроизведение приличного "бумажного" словаря на

компьютере дает возможность извлечь из него столь необходимую Писателю

информацию, похороненную в глубинах словарных статей. Например,

пользователь может открыть на экране сразу несколько словарных статей,

характеризующих все значения слова "достать" (брать, получать, надоесть и

т. д.) как на одном языке, так и на другом, и, таким образом, изучить все

нюансы использования слова.

Однако более правильный путь — подумать о Писателе заранее, при

составлении словаря. Чтобы учесть его интересы, надо уметь описывать

способы образования сложных словосочетаний. Например, как передать по-

английски смысл "подтасовать или фальсифицировать результаты выборов"? Это

выражение не относится к идиоматическим, потому его не следует искать в

словнике целиком. С другой стороны, оно не может быть правильно переведено

и по частям. Логичнее всего искать это выражение в статье "election"

(выборы). Однако, чтобы оно там оказалось, нужно желание разработчиков

словаря его туда поместить.

Чтобы Писатель смог почувствовать оттенки слова, необходимо привести в

словаре максимально возможное количество синонимов — слов, близких по

смыслу. Например, английский глагол break означает, в частности: 1) ломать,

разрушать, разбивать и 2) рвать, разрывать, отрывать. Для первого случая

синонимами будут слова crush (давить, дробить) и smash (разбиваться

вдребезги). Второму значению близки слова separate (отделять, разделять —

более деликатный смысл) и tear off (отрывать, срывать). Через общую "карту"

синонимов становится яснее, как перевести на иностранный язык слово с тем

или иным смысловым оттенком. Очень полезны иллюстрирующие примеры, особенно

на использование слов с предлогами или в устойчивых словосочетаниях.

Например: "уехать отсюда", "уехать куда-то", "уехать за чем-то", "уехать" в

значении "отсутствовать".

Информацию о синонимах, словосочетаниях и случаях употребления

правильнее всего предоставить на родном языке пишущего: если Писатель

русский - то в русско-английском словаре, если он англичанин — то в англо-

русском. Ни для кого не секрет, насколько лучше помогают толковые

английские словари при решении мучительной проблемы, какое слово

употребить. А вот жесткая ориентация словаря на перевод, а не на ОПИСАНИЕ

языка делает его использование Писателем непростым и неочевидным. Таким

образом, в современных электронных словарях отражено пионерское достижение

российской лексикографии - двуязычный словарь во многом становится

толковым. Кроме того, такой электронный словарь, как Lingvo, строит

нажатием нужной клавиши парадигму, то есть совокупность всех форм слова.

Новые мехи требуют нового вина.

Итак, мы видим новое противоречие: между новыми языковыми компьютерными

технологиями и старым традиционным словарным содержанием, не позволяющим

воспользоваться этими технологиями в полном объеме. Иными словами, новые

мехи требуют нового вина!

Источник этого противоречия тоже ясен: словарь представляет собой модель

языка, устроенную на совершенно иных принципах, чем те формальные модели,

которые лежат в основе этих технологий. И если в области морфологии

противоречие еще не очень существенно, то в области синтаксиса и семантики

оно становится почти непреодолимым.

Действительно, технология морфологического анализа всего лишь позволяет

установить соответствие между исходной формой слова из текста и множеством

лексем (словарных входов), для которой такая форма возможна. Синтаксический

анализ позволяет сделать то же самое для словосочетаний, являющихся

отдельными словарными входами.

Однако, для всех этих технологий само словарное содержание является

"непрозрачным", полностью ими игнорируется. Заглянуть "внутрь" словарной

статьи позволяет только полнотекстовый поиск. Однако, этот мощный

инструмент работает со словарным содержимым как с текстом на естественном

языке, что резко ограничивает его возможности.

Первый и очевидный шаг, на который уже идут создатели электронных

словарей, это первичная разметка словарной статьи, формализация той

внутренней структуры, которая в той или иной мере имеется в хороших

бумажных словарях. В результате полнотекстовый поиск может различать, к

примеру, переводы, примеры использования и комментарии, что принципиально

усиливает его возможности с точки зрения пользователя.

Однако все эти меры являются поверхностными. Ясно, что задача состоит в

том, чтобы единицей описания было отдельное лексическое значение, и

технологии анализа могли бы устанавливать соответствие между исходным

запросом и теми лексическими значениями, которые релевантны для этого

запроса по синтаксическим и семантическим критериям.

В качестве иллюстрирующего примера можно привести практически любой

глагол, принадлежащий ядру языка. Например, глагол "развести" может

встретиться в таких контекстах:

разводить руками;

разводить спирт водой;

разводить супругов;

разводить мосты;

разводить баранов;

разводить дерущихся;

разводить пилу;

разводить/разбивать сады

(английские эквиваленты: bring; conduct; part, separate; mix;

dissolve; divorce; breed; plant, etc...)

Задача создания такого словарного содержания, которое позволило бы

сделать единицей анализа отдельное лексическое значение, а не

морфологическую лексему, является, вероятно, наиболее перспективным

направлением в компьютерной лексикографии. Ясно, что для ее решения

требуется "синхронизация" словарных описаний и формальных моделей,

используемых технологиями анализа. В пределе это должно быть единое

интегральное лексико-синтактико-семантическое описание.

Читатели и писатели

Интегральный подход к лексическим описаниям позволяет также решить и

проблему "монофункциональности" бумажных словарей.

К примеру, особенностью большинства бумажных переводных словарей

является ориентация описания структуры лексического значения в исходном

языке на лексическую систему языка перевода и на реализацию ровно одной

функции - собственно перевода с языка А на язык Б в предположении, что язык

А является иностранным, а язык Б - родным. Нечего и говорить, что такое

ограничение делает словарь исключительно неудобным при необходимости

перехода от пользовательской модели Читатель к модели Писатель.

Фактически сегодня такие модели реализуются разными типами словарей, что

достаточно неудобно читателю. Поэтому интегральный подход к лексическим

описаниям оправдан не только методически (и, что немаловажно,

экономически), но и с точки зрения учета интересов пользователя.

Проблема актуальности

Коснемся проблемы актуальности словарного содержания. Как уже

указывалось, фундаментальные (лучшие!) бумажные словари - неизбежно

словари устаревшие.

Особенно это характерно для разговорной лексики, в частности,

ненормативной. В этой области отечественные классические словари предстают

не только устаревшими, но попросту ханжескими.

Функции фиксации текущего состояния языка берут на себя растущие, как

грибы после дождя, небольшие словарики, обычно весьма конъюнктурные и

поверхностные. Новые значения в них оторваны от своих языковых корней,

плохо или произвольно объяснены.

Для массовых программных продуктов, каковыми являются электронные

словари, характерны частая смена версий и наличие постоянной обратной

связи с тысячами пользователями. Поэтому компьютерная лексикография - это

неизбежно актуальная лексикография.

Жизнь электронного словаря должна быть похожа на нелегкую жизнь других

программных систем: с маниакальным стремлением особо вредных пользователей

обнаружить очередную ошибку или лакуну, и, с другой стороны, с возможностью

и необходимостью поправить дело сейчас, а не через десятилетия.

Такой подход всего лишь фиксирует естественное положение дел:

коллективное авторство на словарное содержание принадлежит всем носителям

языка; задача лексикографа - фиксация языковых фактов и их методически

правильное описание.

Соответствие уровню достижений лингвистической науки

Отрыв лексикографической теории от лексикографической практики велик.

Это должно быть особенно обидно для российской лингвистической науки, в

которой лексическая семантика занимает особое место. Достаточно назвать

такие имена, как Мельчук, Апресян, Падучева и многие другие.

Разумеется, существуют особые "концептуальные" словари, в которых

лексика представлена интегрально и систематически. Например толковые и

синонимические словари группы Апресяна.

При этом в массовых бумажных словарях эти идеи не воплощены в жизнь. А

ведь именно в развитии этих идей будущее практической компьютерной

лексикографии. Не углубляясь в подробный анализ теоретических концепций,

являющихся одновременно и практически полезными, укажем следующие из них:

- Понятие "лексической функции", позволяющее систематически описывать

несвободную сочетаемость слов. Например, то, что "войну ведут", а "экзамен

- держат", что "теории выдвигают", а "мысли подают" и т.п.

- Описание семантики и практической реализации грамматического

словоизменения и словообразования. Каждый язык имеет свои собственные

способы грамматического кодирования смысла. И эти способы никогда не

описывается в массовых словарях систематически. Например, как передать по-

английски смысл "довыпендриваться", даже если знаешь как передать

"выпендриваться"?

- Синтаксические описания. Здесь ситуация наиболее печальна, поскольку в

массовых словарях не существует даже системы понятий, с помощью которой

синтаксическая информация могла бы быть доведена до обычного читателя.

Идея, что за составление предложения ответственна грамматика, изложенная в

справочнике, а словарь обеспечивает перевод отдельных слов, не выдерживает

критики с точки зрения современных представлений о центральной роли слова в

синтаксисе.

Выход из этой печальной ситуации уже указан. Будущее лексикографии за

интегральными словарными описаниями, основанными на формальных моделях,

учитывающих упомянутые научные результаты. На этих же моделях будут

основываться технологии доступа к словарному содержанию.

Глава III. МАШИННЫЙ ПЕРЕВОД

Немного истории.

Осуществление перевода компьютером – сложная, но интересная научная

задача. Основная ее сложность состоит в том, что естественные языки плохо

поддаются формализации. Отсюда и невысокое качество получаемого с помощью

систем МП текста, содержание и форма которого служит неизменным объектом

шуток. Однако идея машинного перевода уходит корнями далеко в прошлое.

Впервые мысль о возможности машинного перевода высказал Чарльз Бэббидж,

разработавший в 1836-1848 гг. проект цифровой аналитической машины. Идея Ч.

Бэббиджа состояла в том, что память объемом 1000 50-разрядных десятичных

чисел (по 50 зубчатых колес в каждом регистре) можно использовать для

хранения словарей. Ч. Бэббидж привел эту идею в качестве обоснования для

запроса у английского правительства средств, необходимых для физического

воплощения аналитической машины, которую ему так и не удалось построить.

А через 100 лет, в 1947 году, У. Уивер (директор отделения естественных

наук Рокфеллеровского фонда) написал письмо Норберту Винеру. В этом письме

он предлагал использовать технику дешифрования для перевода текстов. Этот

год считается годом рождения машинного перевода. В этом же году был

разработан алгоритм осуществления пословного перевода, а в 1948 году Р.

Риченс предложил правило разбиения слова на основу и окончание. В

последующие два десятилетия системы машинного перевода бурно развивались. В

январе 1954 года на машине IBM – 701 была продемонстрирована первая система

машинного перевода IBM Mark II. Но в 1967 году специально созданная

Комиссия Национальной Академии Наук США признала машинный перевод

нерентабельным, что существенно затормозило исследования в этой области.

Страницы: 1, 2, 3, 4, 5, 6