Автоматизація реферування

Si-1: Петя купил в магазине шапку. Si: Надев ее, он вышел на улицу.

Речення Si має два експлiцитних показники суто анафоричного зв'язку з реченням Si-1 - безоцiнковi конектори “ее” та “он”. У той же час, данi речення iмплiцитно пов'язанi логiчним вiдношенням наступної дiї:

Si: [Затем], надев ее, он вышел на улицу.

Цiкаво, що в переважнiй бiльшостi типiв поверхньо-синтаксичних мiжфразових зв'язкiв проявляється дiя категорiї визначеностi [Блехман, 1985] - текстове видiлення об'єкту з класу подiбних через його спiвставлення з антецедентом (“адресою” в даному класi). Справдi, бiльшiсть логiчно-смислових конекторiв можна представити у виглядi комбiнацiї анафоричної вiдсилки типу “цей” i деякого логiчного вiдношення, котре вiдповiдає типу конектора -”Результат”, “Протиставлення” тощо. (Про типи конекторiв див. [Берзон, Зубов, 1977]). Займенники ж типу “iнший” можна звести до вислову “не цей”. Iнакше кажучи, причина ненасиченостi речення Si, зв'язаного з деяким Sk, полягає в наявностi в Si явного чи неявного об'єкту, що видiляється з класу подiбних i спiввiдноситься з “адресою”, котра мiститься в Sk. Нижче ми детальнiше опишемо той роздiл ВIЛМ мiжфразового рiвня тексту, який моделює текстоутворюючу функцiю категорiї визначеностi. Виявляється, що поряд з граматично оформленими логiчними та безоцiнковими вiдносинами в текстах iснують подiбнi вiдносини, якi однак не мають спецiальних граматичних засобiв вислову. Аналiз показує, що в текстi присутнi лексичнi одиницi, котрi несуть таке ж семантичне навантаження, що й логiчно-смисловi конектори, але якi не є осередками ненасиченостi речень. Порiвняємо два речення:

(1) Например, уравнение 1 разрешимо при x=1. (2) Примером условия 3 является уравнение 7.

Витягнення речення (1) з контексту виявляє його експлiцитну ненасиченiсть, викликану наявнiстю в ньому логiчно-смислового конектору “например”, тодi як речення (2) є формально насиченим. З iншого боку, в (2) можна видiлити словоформу “примером”, яка має ту ж семантику, що й логiчно-смисловi конектори класу “Деталiзацiя”. Можна припустити, що ця словоформа в рядi випадкiв бере участь у мiжфразовому зв'язку, семантично близькому до зв'язку шляхом логiчно-смислових конекторiв “например”, “в частности” i т.iн. Назвемо такi лексичнi одиницi “квазiконекторами”. Проаналiзуємо подiбнiсть i рiзницю конекторiв i квазiконекторiв. Найважливiшою вiдзнакою конектора є те, що вiн у рiвнiй мiрi належить двом структурам - мiжфразовiй та внутрiшньофразовiй, тобто використовується у виглядi формального виразника мiжфразового зв'язку, являючись, у той же час, елементом синтаксичної структури речення, в яке входить. Особливiсть гiперсинтаксичної ролi логiчно-смислового конектора викликана його “триелементним” складом: логiчно-смисловий конектор = логiчний компонент + вiдсилочний компонент (анафоричний або катафоричний) + присудок. Ця суть логiчно-смислових конекторiв виявляється шляхом трансформацiй:

“например” = “примером этого является” “в результате” = “результатом этого является” “иначе говоря” = “перифразой этого является”.

На вiдмiну вiд конекторiв, квазiконектори не мають вiдсилочного елементу i повнiстю належать до внутрiшньофразової структури. Спроможнiсть же непрямо вказувати на мiжфразовий зв'язок мiститься в однiй лише семантицi квазiконекторiв. Iншими словами, квазiконектор -це “чистий” логiчний компонент, тобто, так би мовити, третя частина конектора, вiн самий по собi є значно бiльш насиченим iнформацiєю, нiж конектор. Саме внаслiдок вiдсутностi у квазiконекторi вiдсилочного елементу його наявнiсть у реченнi не викликає формальної ненасиченостi цього речення. Якщо читач зацiкавиться типологiєю мiжфразових зв'язкiв i їх ранжуванням у залежностi вiд мiри експлiцитностi, вiн може ознайомитися з моїм пiдходом до цiєї проблематики, висловленим у працях [Берзон, Блехман, 1981; Блехман, 1982; Блехман, 1983; Блехман, 1984; Блехман, Головинова, 1982]. Перейдемо тепер до розгляду гiперсинтаксичних угруповань, якi базуються на мiжфразових зв'язках.

3.3 Синтаксична мiжфразова одиниця

В основi пiдходу, що описується, лежить поняття поверхньо-синтаксичної мiжфразової одиницi (ПМО) - незалежного ланцюжка речень, межами якого (верхнiм iнклюзивним i нижнiм ексклюзивним) є автосемантичнi речення тексту [Берзон, 1974; Зарубина, 1977]. Автосемантичним, або насиченим, будемо називати будь-яке речення, що не мiстить показникiв синтаксичного зв'язку з iншими реченнями; речення, котрi мають такi показники, - синсемантичними. У виглядi маркерiв синтаксичного мiжфразового зв'язку використовуються конектори. Можна видiлити такi типи ПМО : а) що складаються з одного речення:

(1) Si: Colorimeters measure the intensity of visible light. Si+1: Colorimeters made by Hach Chemicals Co continuously monitor copper, iron, and other components.

(2) Si: В работе описывается новая нетекстурованная сталь, содержащая алюминий и олово. Si+1: В [16] анализируются аморфные сплавы с высокой магнитной индукцией и малыми потерями, используемые в трансформаторах.

В прикладах (1) i (2) речення Si є ПМО.

б) що складаються з одного автосемантичного та одного чи декiлькох синсематичних (ненасичених) речень: (3) Si-4: The measurements of R were made with storage ring called ADONE at Frescati in Italy. Si-3: These measurements gave values of 2. Si-2: In other words, there were twice as many hadronic events as muon pairs. Si-1: Shortly thereafter theory briefly caught up with experiment. Si: Wang and Smith published details of a rather simple method...

(4) Si-3: Каждая лексическая единица, помимо смысла, который она несет, который она несет, приобретает некоторые новые свойства. Si-2: Эти свойства ЛЕ выражаются в лек-сико-грамматических категориях: Si-1: Например, в качестве лексико-грамматических категорий могут выступать такие свойства, как “многозначность”, “вектороность” и т.п. Si: Для того чтобы задать ЛЕ, надо ...

В прикладi (3) ПМО складають речення Si-1 - Si-4, а в прикладi (4) - Si-1 - Si-3. Таким чином, ПМО складає “параграф” документу, що видiляється формально, причому автосемантичне речення можна розглядати як свого роду “заголовок” цього параграфа. Для видiлення в текстах автосемантичних речень необхiдно формалiзувати розпiзнання синсемантичних речень, що експлiцитно залежать вiд контексту. Iншими словами, вирiшальне значення набувають пошук у текстi конекторiв i їх формальний аналiз. Цей аналiз можна порiвняти з синтаксичним аналiзом речення з використанням фулькрумiв [Гарвин, 1980].

3.4 Конектори та псевдоконектори

Як уже говорилось, конектори - це слова i словосполучення, що виконують функцiю iнструменту поверхньо-синтаксичного мiжфразового зв'язку. Можна припустити, що в будь-якiй мовi кiлькiсть конекторiв, як i кiлькiсть маркерiв внутрiшньофразового синтаксичного зв'язку, є iстотно меншою, нiж загальний лексичний фонд, тому конектори можна задати списком. Проте завдання значно ускладнюється тим, що наявнiсть у реченнi лексичної одиницi, формально спiвпадаючої з конектором, не гарантує синсемантичностi даного речення. Причина тут у тому, що потенцiйний конектор використовується не для зв'язку речень, а в якiйсь iншiй функцiї, тобто є псевдоконектором. Треба розрiзняти двi ситуацiї такого роду: а) Антецедент лексичної одиницi, спiвпадаючої з конектором, знаходиться в тому ж реченнi, тобто зона дiї конектора розповсюджується тiльки на те речення Si, в яке входить конектор. Наведемо приклади:

(5) Si: At this stage, the product is a powder, and the hydroxides are then filtered to produce mixed oxygen.

(6) Si: В случае непрямой диалоговой связи человек -машина пользователь обращается к программам обнаружения максимально совпадающих цепочек только при отсутствии термина в банке, однако использование этого принципа оправдывается лишь в некоторых областях. В прикладах (5, 6) слова and, then, “однако” та “этого” поєднують простi речення в межах складних i тому є псевдоконекторами.

б) Лексична одиниця є омонимiчною конектору. Тут можна провести аналогiю з ситуацiєю, коли ланцюжок лiтер у кiнцi слова омонiмичний закiнченню, наприклад, “бра”, “кофе”.

Приклади:
(7) Si: It is rather difficult to increase that rate significantly.

У прикладi (7) слово it є омонимiчним конектору. Пор.:

(8) Si-1: A properly working control system will deliver 457 milliliters per minute to reach the target pH. Si: As long as it delivers between 433 and 483 milliliters per minute ...

У прикладi (8) конектор it є маркером синтаксичного зв'язку речень Si и Si-1.

(9) Si: Связь не могла быть интерпретирована, так как в таблице отсутствовало сочетание РП23 с РПО141.

У прикладi (9) слово “так” є омонимiчним конектору. Пор.:

(10) Si-1: Элементы текста могут нести разную информацию при переводе. Si: Так, из сказуемого можно извлечь информацию о сопутствующих именных группах.

У прикладi (10) конектор “так” маркує синтаксичний зв'язок речень Si i Si-1. До ситуацiй другого типу вiдноситься вживання такого частотного маркеру категорiї визначеностi, як визначений артикль, для оформлення узагальненого чи єдиного об'єкту, а не для зв'язку речень через спiввiдношення об'єктiв [Блехман, 1985]:

(11) Si: The nucleus consists of protons and electrons.

У прикладi (11) артикль оформлює узагальнений об'єкт nucleus и тому не є конектором. Пор.:

12) Si-k : The detector consists of an orifice for measuring pressure ... Si: The pressure is proportional to the...

У реченнi Si прикладу (12) визначений артикль оформляє видiлений з класу об'єкт pressure, антецедент якого знаходиться в реченнi Si-k, тому даний артикль маркує синтаксичний зв'язок Si i Si-k. Процес розрiзнення конекторiв i псевдоконекторiв у кожнiй конкретнiй ситуацiї є обов'язковою умовою формалiзацiї поверхньо-синтаксичних зв'язкiв i розробки систем реферування. Для рiшення цього завдання була вжита спроба представити даний процес у виглядi невеликої кiлькостi стандартних операцiй. Перелiчимо цi операцiї. а) Визначення порядкового номеру потенцiйного конектора в реченнi та порiвняння його з деякою пороговою величиною. Ця операцiя використовується тому, що в мовi спостерiгається тенденцiя вживати конектори на початку речення або в позицiях, ненабагато вiддалених вiд першої. Так, дуже малою є ймовiрнiсть вживання конектора hence (“отже”) в позицiї, номер якої перевищує 7. У роботi [Берзон, 1972] наведенi пороговi позицiйнi характеристики росiйських конекторiв. Проте треба пiдкреслити, що позицiйний критерiй не може бути використаний на практицi в якостi єдиного критерiю вiдмiнностi конекторiв вiд псевдоконекторiв. Дiйсно, в реченнi

(13) Si: The usual method for such investigations is to hypothesize a particular mode of decay

артикль the знаходиться в першiй позицiї, але не є конекто-ром, тому що не оформлює об'єкт, що видiляється з класу “usual method for such investigations”. З цiєї причини виникає необхiднiсть використовувати також iншi операцiї аналiзу тексту, а саме: б) Пошук в оточеннi потенцiйного конектора дiагностичних лексичних одиниць. Ця операцiя є аналогiчною зняттю лексичної багатозначностi в системах машинного перекладу. Так, омонiмiя займенника such конектору може дiагностуватися наявнiстю на обмеженiй вiдстанi справа вiд нього слова as; займенника the same - слiв as або that тощо. Пор.:

(14) Si: The results were the same as in the previous experiments.

У прикладi (14) the same є псевдоконектором.

(15) Si-1: Reverse gel precipitation is a chemical process in which hydroxides of the required metals are precipitated by adding an alkali to an aqueous solution of the metal. Si: The same techique was employed to obtain...

У прикладi (15) the same є конектором.

в) Вияв у текстах конекторiв, котрi використовуються для формування одного з найбiльш розповсюджених рiзновидiв синтаксичного мiжфразового зв'язку - А-зв'язку [Блехман, 1985], - визначеного артикля i вказiвних займенникiв. Складнiсть цiєї операцiї викликана необхiднiстю виходу за межi речення, що мiстить потенцiйний конектор. Справдi, без притягнення екстралiнгвiстичної iнформацiї неможливо на внутрiшньофразовому рiвнi визначити, чи є конектором артикль у реченнi:

(16) The hydroxides are filtered to produce mixed oxides.

Iнакше кажучи, неясно, чи автор має на увазi деякi конкретнi гiдроксиди чи будь-якi гiдроксиди, тобто об'єкт є узагальненим - таким, що не видiляється з класу подiбних. З iншого боку, вихiд за межi цього речення дозволяє вiдповiсти на поставлене питання, не притягуючи, користуючись введеною в Главi 1 термiнологiєю, другий рiвень розумiння:

(17) Si-1: The result is hydroxides in the form of a fine slurry. Si: The hydroxides are filtered to produce mixed oxides.

У реченнi Si прикладу (17) визначений артикль є конектором, тому що оформлений їм об'єкт hydroxides видiляється з класу подiбних об'єктiв шляхом спiввiдношення з антецедентом, що знаходиться в реченнi Si-1.

3.5 Словник i граматика систем

Опрацювання апарату аналiзу тексту на мiжфразовому рiвнi мало цiллю утворення реально дiючих автоматизованих iнформацiйних систем, якi здiйснюють реферування англiйських i росiйських текстiв. Iдея такої системи, рiвно як i концепцiя гiперсинтаксису, описанi в серiї класичних робiт В.Ю.Берзона з мiжфразового аналiзу. В найбiльш розгорнутiй формi вони наведенi в монографiї [Добрускина, Берзон, 1986]. У системi, що описується нижче, використовується два машинних словника: словник конекторiв (Ск) i допомiжний словник (Св). Перший складається з незалежних англiйської та росiйської частин. Словник кожної частини мiстить понад 100 конекторiв. У другий включенi слова та словосполучення, що є дiагностуючими ознаками. Св, як i Ск, складається з незалежних англiйської та росiйської частин, кожна з яких подiлена на секцiї. Секцiя має таку структуру: номер секцiї; її довжина; лексичнi одиницi, наприклад, англiйськi слова “загального” значення: fact, problem, result тощо. Алгоритм розпiзнання складає систему правил, застосування яких до тексту дозволяє з достатньою надiйнiстю реалiзувати пошук конекторiв. У пояснювальнiй частинi Ск при кожному конекторi мiститься вказiвка на те, за яких умов лексична одиниця є конектором. Наприклад, займенник such є конектором, якщо його порядковий номер у реченнi не перевищує 8 i одночасно справа вiд нього на вiдстанi не бiльше трьох слiв вiдсутнє слово з певної секцiї Св (as, that). Умови формулюються в термiнах: - вiдстанi конектору вiд початку речення ( в кiлькостi слiв); - дiагностуючої ознаки; - напрямку пошуку дiагностуючого признаку; - вiдстанi дiагностуючого признаку вiд конектора; - вимоги наявностi чи вiдсутностi дiагностуючого признаку. Очевидно, що описана схема перевiрки умов не залежить вiд конкретної мови. Умови перевiряються за допомогою конкретних процедур. Кожному конектору вiдповiдає один запис Ск. Спочатку фiксується його довжина, пiсля цього слiдує так званий признак конектора, що може приймати одне з трьох значень: 1 - конектор є словом (however, “однако”); 2 - конектор є словосполученням (on the other hand, “с другой стороны”); 3 - конектор є основою слова (“эт-”, “так-”). За ознакою конектора слiдують: його системний номер, власне конектор i признак кiнця конектора. В iншiй частинi запису фiксуються групи процедур перевiрки. Кожна група мiстить тип конектора [Берзон, Зубов, 1977] i набiр процедур. Тип конектора визначає смислове вiдношення мiж реченнями, що зв'язуються:

А - итог В - противопоставление С - следствие D - перечисление Е - дополнение G - соединение Н - пространство, время I - подтверждение К - уточнение L - развитие мысли (А-связь) М - пояснение N - пример Р - цитата R - вопрос S - перефразирование

Треба зазначити, що деякi конектори можуть виражати рiзнi типи смислових вiдносин. Зокрема, конектор “так” потенцiйно вiдноситься до типiв G i N. В системi реалiзовано такi процедури: 1) Визначається номер позицiї потенцiйного конектора в реченнi, i цей номер порiвнюється iз заданим в описi процедури параметром. 2) Символ, що знаходиться в словi безпосередньо за ланцюжком символiв, спiвпавших з конектором, порiвнюється з тим, що задається у виглядi параметра. 3) Символ, що знаходиться в словi безпосередньо перед ланцюжком символiв, який спiвпадає з конектором, порiвнюється iз символом, що задається у виглядi параметра. 4) Перевiряється збiг знайденого в текстi слова з конектором - основою слова - пiсля додання до останнього одного з закiнчень, котрi входять у зазначену в описi процедури секцiю Св. 5) На вiдстанi не далi n слiв лiворуч чи праворуч вiд конектора визначається наявнiсть одного зi слiв, котрi входять у зазначену в описi процедури секцiю Св. Можлива iнверсiя результату: лексична одиниця є конектором при вiдсутностi, а не наявностi зазначеного слова. 6) Перевiряється виконання необхiдних умов А-зв'язку. Перевiрка полягає у вiдшуканнi антецеденту для iменника N, оформленого потенцiйним конектором. Пiд N розумiємо будь-яке слово, яке знаходиться праворуч вiд конектора не далi, нiж на певну вiдстань, i безпосередньо передує правiй ексклюзивнiй межi iменникової групи [Волосевич, 1971]. Антецедентом визнається слово A, котре входить у ту ж ПМО, що й N, i знаходиться в одному з наступних вiдносин з N: - A i N спiвпадають; - A i N - однокорiннi; - A i N - синонiми чи значення A є “вужчим”, нiж значення N. 7) Перевiряється виконання достатнiх умов А-зв'язку [Блехман, 1985]. Перевiрка полягає в порiвняннi слiв, котрi залежать вiд N (N-слiв), зi словами, котрi залежать вiд A (A-словами). N-словом вважається будь-яке слово, що знаходиться мiж конектором i N; A-словом - будь-яке слово, що знаходиться мiж A i ближчою лiворуч межою iменникової групи. A-зв'язок встановлюється в тому випадку, якщо сукупнiсть N-слiв входить у сукупнiсть A-слiв. Якщо в сукупностi N-cлiв є “зайвi” у порiвняннi з сукупнiстю A-слiв, то цi “зайвi” не перешкоджають встановленню А-зв'язку тiльки в тому випадку, якщо вони входять у список так званих описових залежних. Якщо антецедент не знайдений, то перевiряється умова неявного А-зв'язку - N спiвпадає з одним iз слiв “загального” значення.

3.6 Система квазiреферування

Опрацювання системи автоматичного реферування має чималий практичний iнтерес. Це викликано не тiльки регулярним збiльшенням обсягу документальних потокiв, але й таким важливим чинником, як запровадження в дiю промислово-орiєнтованих АСНТI з автоматичним iндексуванням i систем машинного перекладу, а також повнотекстових баз даних. При цьому реферування, будучи одним iз ключових процесiв аналiтично-синтетичної переробки текстiв, поки що виконується вручну. У той же час, автоматичне реферування, з нашої точки зору, може бути справдi ефективним тiльки в тому випадку, якщо виконуються такi п'ять вимог: - система має формувати реферат iз речень вхiдного тексту (можливо, з деякими скороченнями за рахунок порiвняно малоiнформативних сегментiв - цитат, вiдсилок i т.iн.), а не породжувати його на пiдставi смислового аналiзу текстiв. Iншими словами, система повинна повнiстю наслiдувати термiнологiю та стиль автора, не допускаючи багатозначного тлумачення його думок. Таким чином, йдеться про розробку системи, що має перший рiвень “розумiння” тексту, - системи квазiреферування; - реферати, що формуються системою, мають мiстити не тiльки “сигнальну” iнформацiю про документ, але й дозволяти прослiдкувати хiд думок автора, тобто система повинна породжувати саме реферати, а не анотацiї; - мiра скорочення тексту, яка називається звичайно коефiцiентом редукцiї i пiд якою розумiють вiдношення кiлькостi речень у вхiдному текстi до кiлькостi їх у рефератi, має бути достатньо високою (не менше 4-5); - швидкiсть автоматичного реферування повинна бути значно вищою за швидкiсть ручного; - система має легко переналагоджуватися на обробку текстiв рiзних мов. Розглянемо тепер принципи реалiзацiї розробленої пiд керiвництвом автора системи квазiреферування[Берзон,Блехман, Захаров, Певзнер, 1984]. На першому етапi реалiзацiї принцип дiї системи полягає у формуваннi квазiреферата з автосемантичних речень тексту. Програмне забезпечення системи для ЕС ЕОМ включає головну програму й сiм процедур. Головна програма виконує такi функцiї: - читання тексту, що реферується; - розмiщення словникiв в оперативнiй пам'ятi; - аналiз тексту по реченнях: видiлення слiв, пошук в Ск i перевiрку збiгу лексичної одиницi, що аналiзується, з одним iз конекторiв; - у разi збiгу - звернення до процедур, обчислення значення логiчної функцiї по результатах роботи процедур, прийняття рiшення про iстинiсть конектора i визначення типу речення вiдповiдно до типу конектора; - прийняття рiшення про включення чи невключення речення до квазiреферату; - друк квазiреферату на принтерi. По мiрi роботи головної програми формується таблиця речень, що є основним результатом цiєї програми. Рядок таблицi вiдповiдає одному реченню. На час звернення до процедури всi рядки, котрi мають вiдношення до попереднiх за порядком слiдування реченням, цiлком заповненi. Рядок, котрий вiдноситься до речення, пiд час аналiзу якого сталося звертання до процедури, в момент звернення заповнений частково. Рядок таблицi має таку структуру: - номер речення; - кiлькiсть символiв у реченнi; - тип речення; - автосемантичне чи синсемантичне; - номер речення, з яким дане знаходиться в синтаксичному зв'язку; - номер конектора в Ск. Кожна процедура має доступ до адрес початку тексту, початку речення, аналiзованого слова, початку таблицi речень, початку Ск, початку Св, а також до порядкових номерiв речення, аналiзованого слова в реченнi, першого символу слова вiдносно початку речення, до змiщення початку запису Ск, до значень параметрiв, зазначених в описах Ск. Як бачимо, програмне забезпечення системи не залежить вiд мови тексту, що обробляється. Для реферування текстiв на iншiй мовi достатньо органiзувати словник конекторiв i допомiжний словник на цiй мовi. Система реалiзована на мовi Асемблер пiд управлiнням ДОС i ОС ЕС ЕОМ. Документ надходить до системи у виглядi текстового файлу, в якому допускається видiлення за допомогою спецiальних службових символiв заголовкiв документiв i окремих його пiдроздiлiв, а також елементiв бiблiографiчного опису. Вся видiлена таким чином iнформацiя включається системою у квазiреферат. Результатом роботи системи є друкована копiя квазiреферату, сформованого з автосемантичних речень тексту з вказiвкою їх порядкових номерiв у вхiдному текстi. Якщо при цьому коефiцiент редукцiї вхiдного тексту виявляється менше 4, то у квазiреферат не вводяться iзольованi автосемантичнi речення [Берзон, 1972]: з послiдовностi автосемантичних речень у квазiреферат вводяться тiльки першi. Передбачений також режим, у якому до квазiреферату потрапляють не тiльки автосемантичнi речення, але й вказiвка на тип вилучених синсемантичних. Це дозволить у майбутньому органiзувати дiалог користувача з ЕОМ, запрошуючи у системи субтексти, котрi мають iнтерес для абонента (детальнiше див. [Берзон, Брайловский, 1979]).

Страницы: 1, 2, 3, 4