Поиск

Полнотекстовый поиск:
Где искать:
везде
только в названии
только в тексте
Выводить:
описание
слова в тексте
только заголовок

Рекомендуем ознакомиться

'Краткое содержание'
В данном проекте обозначена необходимость изучения статистики при подготовке экономистов с высшим образованием. Освещено понятие и сущность статистик...полностью>>
'Закон'
Подробный анализ механизма финансирования сделок слияния и поглощения, который позволяет максимально снизить долю собственного капитала компании в сд...полностью>>
'Документ'
Представлена игровая модель, разработанная для выбора информационного обеспечения стратегии продаж, которая позволяет выявить соотношение расходовани...полностью>>
'Документ'
Отдел работы с налогоплательщиками и СМИ направляет обзор сообщений, размещенных на официальном Интернет-сайте ФНС России () в рубрике «Новости»/Дата...полностью>>

Русская компьютерная и квантитативная лингвистика Способы различения простого и сложного предложения при автоматическом анализе текстов

Главная > Документ
Сохрани ссылку в одной из сетей:

Русская компьютерная
и квантитативная лингвистика

Способы различения простого и сложного предложения
при автоматическом анализе текстов
1

Т. Б. Агранат

ИПМ РАН

автоматический анализ текстов, сложное и простое предложения, неоднозначность

Summary. There are some cases of ambiguity of simple and complex sentences in parsing. The formal methods of its overcoming are proposed.

При автоматическом анализе текстов возможны случаи, когда возникают трудности в определении, является ли то или иное предложение сложным или простым с однородными членами. Для человека различительным критерием здесь выступает семантика членов предложения (мы не принимаем во внимание случаи, омонимичные как для человека, так и для машины). Так как для автоматического анализа семантический критерий прак­тически неприемлем, необходимы поиски других способов различения простых и сложных предложений.

1. (…) 1N1  1Vf и 2N1  2Vf

По правилам пунктуации, при наличии какой-либо общей части у двух простых предложений в составе сложного при единичном соединительном союзе запятая отсутствует. Если каждому N1 соответствует согласованный с ним Vf, то машина должна разбирать такую конструкцию как сложное предложение.

2. (…) 1Vf и N1  2Vf

При такой схеме не будет вызывать трудностей случай несовпадения 1Vf и 2Vf по форме (т. е. согласования одного из них и несогласования другого с N1), будет однозначно пониматься как сложное предложение. Сделаем оговорку относительно того, что считать несовпадением глаголов по форме: а) если оба стоят в настоящем или будущем времени и у них не совпадает лицо и / или число; б) если оба стоят в прошедшем времени и у них не совпадает род и / или число; в) если один стоит в настоящем или будущем времени, а другой в про­шедшем и у них не совпадает число. Если в последнем случае совпадает число, то такая конструкция может представлять трудность для автоматического анализа.

Возможным вариантом реализации представленной выше схемы является такой, когда один из Vf — безличный глагол. Если такой глагол может выступать только в функции безличного, то здесь не возникнет проблем при автоматическом анализе, в противном случаи для машины понимание не будет однозначным.

3. (…) 1N1 и 2N1  Vf

Если оба N1 в единственном числе, а Vf — во множественном, то это — простое предложение. Если одно из существительных в единственном числе, а другое — во множественном, то и имеет значение порядок слов:
(…) 1N1pl и 2N1sg  Vf pl — простое предложение;
(…) 1N1sg и 2N1pl  Vf pl — сложное, если одно из существительных одушевленное, а другое — неодушев­лен­ное; если оба — одушевленные или оба — нео­ду­шевленные возникает неоднозначность, при их одушевленности вероятность простого предложения увеличива­ется. Все сказанное о конструкции 1N1sg и 2N1pl  Vf pl верно и для 1N1pl и 2N1pl  Vf pl.

Программа «Историческая память России»
в науке и образовании

Т. А. Богатова

Институт русского языка им. В. В. Виноградова РАН

историчексая лексикография, картотеки, компьютеризация

1. Период интеграции академической науки и образования пришел в наши аудитории. В Институте русского языка им. В. В. Виноградова создана межведомственная программа «Историческая память России», каждый пункт которой связан с этим направлением и научной школой «Русская историческая лексикография».

Центральным пректом программы является составление фундаментального «Словаря русского языка XI–XVII вв.», 25-летие с начала издания которого отмечалось весной 2000 года (руководителем проекта является д. ф. н. М. И. Чернышева). В конференции участвовало 18 студентов и аспирантов Государственной Академии славянской культуры, МГТУ им. Н. Баумана, Академии пе­чати. Знаковыми чертами этого периода в составлении фундаментального исторического словаря (1975–2000 гг., издание продолжается) и его научного сопровождения являются интеграция и информатизация.

2. Второй проект программы касается двухмиллионной «Древнерусской рукописной картотеки XI–XVII вв.» (руководитель проекта кфн Л. Ю. Астахина). На осенней конференции (которые по участию в ней студентов и аспирантов мы называем сессиями) отмечалось 75-ле­тие каротеки, значимость ее в науке и образовании (до 500 исследований основывается на ее материалах). Отмечалось и трагическая ситуация с состоянием КДРС, ибо жизни бумаги XX века отведено всего 70 лет по подсчетам специалистов. И сейчас число умирающих картотек, степень зараженности ее бумажным клещом растет с каждым днем. У нас в стране только два таких собрания: «Шахматовское» в Санкт-Петербурге (РАН) — ему более 100 лет, и собрание, начатое академиком А. И. Соболевским и М. Н. Сперанским. В самые трагичные годы, 20-е годы, когда было уничтожено Отделение русского языка и словесности (1925 г.), а мно­гие создатели картотеки были репрессированы. Наше поколение, которое тоже пополняло и пополняет эту картотеку выполнило свой нравственный долг перед создателями КДРС (включая студентов, проходив-

___________________________________

При поддержке РФФИ, грант № 99-01-01191.

ших летнюю практику в течение 18 лет): в составе Справочного тома, который в начале лета вый­дет из печати, входит Очерк истории КДРС и Биобиблиографический словарь создателей картотеки. С помощью РГНФ и РФФИ продолжается перевод картотеки на безбумажные носители, сделана база данных к Указателю источников КДРС–2000 (эта его самая полная версия входит в Справочный том).

3. Проект «Славянский мир: картотечные собрания, сло­вари, энциклопедии» (руководитель академик О. Н. Тру­бачев) планирует продолжение издания «Этимологичес­кого словаря славянских языков» (выш­ло 28 томов), разработку проблем этногенеза славян, участие в работе лексикографического семи­нара (лексикография ныне принята как вторая спе­циальность филолога).

В 2000 г. при участии «Школы исторической лек-
си­ко­графии» Т. А. Богатовой и «Школы этимо­ло­гии» пред­седателя национального комитета сла­вис­тов О. Н. Тру­ба­чева, была организована в Российской государ­ствен­ной библиотеке выставка «Сла­вян­ский мир: источники и картотечные собрания, словари и энциклопедии». В сентябре-октябре органи­зо­ваны совместно с Фондом культуры РФ два заседания «Сла­вянский мир: культура и образование». Од­но из них «Музеи лексикографов» — проходило в доме-музее В. И. Даля и было посвящено 200-летию со дня его рождения. Второе в фонде культуры РФ, где проходила презентация книг-новинок: «Оте­чест­веные лексикографы XVIII–XX века» (редактор Т. А. Бо­гатова) и «Русская историческая лексико-
графия на современном этапе» (редактор М. И. Чер­нышева).

4. Главную роль в организации этой выставки «Сла­вянский мир: источники и картотечные собрания…» играла Российская государственая библиотека и ру­ко­водитель четвертого проекта «Русские раритеты» веду­щий научный сотрудник РГБ Исаченко Т. А. На вы­с­тав­ке были представлены как старейшие источники (под­лин­ники), так и но­вейшие их издания в поли­гра­фи­чес­ком (как «Ар­хангельское евангелие» 1092), так и компьютерном варианте: «Травник Любчанина» 1534 г., «Смо­лен­ская наказная грамота митрополита Макария», «Но­вый Завет» в переводе старца Евфимия Славинского.

5. В новую пролонгированную программу входит пя­тый проект «Российская компьютерра» пока главной их заботой является создание словников и инверсионных версий и их переиздание. В марте вый­дет первый том шеститомного «Словаря Академии Российской» (Мос­ков­ский гуманитарный институт им. Е. Р. Дашковой, научное сопровождение Г. А. Бо­гатовой), планируется переиздание Бодуенского издания Даля (ИРЯ РАН), Цер­ковно­сла­вянского словаря 1847 года (СПбГУ) и многих других. Лингвистические ресурсы Интернета будут пополнены фундаментальной продукцией, что значительно расширит возможности науки и образования.

База данных
«Хронологический морфемно-словообразовательный словарь русского языка»:
принципы устройства и его основные квантитативные параметры

В. В. Богданов

Московский государственный университет им. М. В. Ломоносова

хронологический словарь, морфемно-словообразовательный словарь, квантитативные параметры

Summary. DB containing information on chronological, categorial, morphemic, wordformational and some other structural features of Russian words is characterized. Principles of its compiling and some quantitative macro-features of it are present.

База данных «Хронологический морфемно-слово­об­ра­зовательный словарь русского языка» (далее — ХМСС) разрабатывается в течении ряда лет в Лаборато­рии общей и компьютерной лексикологии и лексикографии филологического факультета МГУ им. М. В. Ло­­моносова под руководством А. А. Поликарпова.

Словарь хранится в виде компьютерной базы данных (БД), что подразумевает систематизированную организацию данных, высокую степень квантитативности ее состава, возможность полной автоматизации поиска в ее составе необходимой информации и ее анализа в самых различных аспектах.

С участием автора настоящей работы разрабатывалась внутренняя структура БД на основе СУБД Microsoft Access, осуществлялась ее верификация, проводился ряд аналитических операций, ведущих к выявлению внутренних закономерностей в морфемной структуре русских слов. Автором создан набор программ, существенно облегчающих анализ и получение отчетов о результатах анализа ХМСС.

В словаре представлена информация о возрастах слов, словообразовательных гнезд, морфем, их продуктивности, принадлежности к тем или иным аффиксальным, префиксальым и постфиксальным моделям, сочетаемости друг с другом, позиции в слове и пр. Наличие в БД помимо хронологической информации еще инфор­мации о частеречной принадлежности слова, их буквенной и морфемной длине, а также объеме и глубине словообразовательных гнезд позволяет вести многоаспектный анализ закономерностей организации морфемной и словообразовательгной систем русского языка.

Задачей данного доклада является представить в систематизированном виде морфемные структуры корневых и аффиксальных производных слов русского языка и проанализировать их по ряду параметров. Результатами анализа стали выявленные закономерности в распределении аффиксальных морфов по по­зициям в слове, во внутренних взаимосвязях в структуре аффиксальных моделей.

Отдельными объектами исследования стали зависимости между возрастными характеристиками слов и морфем и их различными другими характеристиками — длиной морфемных структур, типом морфемных структур, и т. п. Особое внимание в нашем исследовании уделено аффиксальным моделям (в тер­минологии А. И. Куз­нецовой аффиксальным окру­жениям, моделям слов), т. е. аффиксальным последовательностям, остающимся после извлечения из слова корня. Это обусловлено тем, что современые технологии обработки информации позволяют наконец-то собрать исчерпывающие данные об этих структурах и систематизировать их. Так, мы смогли разделить и отдельно исследовать префиксальные и суффиксальные модели, подсчитать их продуктивность и сопрячь эти характеристики с рядом других, приписываемым анализируемым словам из других словарей (толковых, этимологических и др.) — частеречные, возрастные и иные.

Ниже приводятся некоторые основные квантитативные параметры «Хронологического морфемно-словообразовательного словаря русского языка» (под общей редакцией А. А. Поликарпова)

Общий словник

Количество корневых и аффиксальных слов

Количество уникальных конкретных корней (вариантов обобщенных корней, встречающихся в корневых и аффиксальных производных словах

Среднее число вариантов у обобщенных корней

Число гнезд, состоящих из одного слова

Максимальный объем словообразовательных гнезд, включающих корневые и аффиксальные производные слова

Средний объем словообразовательных гнезд, включающих корневые и аффик­сальные производные слова

Количество слов, состоящих из одного корня

Максимальная длина корневых и аффиксальных производных слов в буквах

Средняя длина корневых и аффиксальных слов (в буквах)

Максимальная длина аффиксальных производных слов (в морфемах)

Средняя длина корневых и аффиксальных производных слов (в морфемах)

Средняя длина морфемы в корневых и аффиксальных словах (в буквах)

Число корневых и аффиксальных производных слов, относящихся к древнерусскому периоду

Число корневых и аффиксальных производных слов, относящихся к общеславянскому периоду

Число корневых и аффиксальных производных слов, относящихся к индоевропейскому и более древним периодам

Количество аффиксальных корней

Максимальная продуктивность аффиксальной модели

Максимальная буквенная длина аффиксальной модели

Максимальная длина модели в числе аффиксов

Максимальное число частей речи, в образовании слов которых может участвовать аффиксальная модель

Количество префиксальных моделей

Максимальная продуктивность префиксальной модели

Максимальная буквенная длина префиксальной модели

Максимальная длина модели в числе префиксов

Максимальное число частей речи, в образовании слов которых может участвовать префиксальная модель

Количество постфиксальных моделей

Максимальная продуктивность постфиксальной модели

Максимальная буквенная длина постфиксальной модели

Максимальная длина модели в числе постфиксов

Максимальное число частей речи, в образовании слов которых может участвовать постфиксальная модель

Ок. 180000,000

50646,000

3524,000

1,811

494,000

434,000

14,600

1589,000

21,000

9,100

10,000

3,949

2,890

5609,000

3863,000

163,000

11212,000

643,000

18,000

9,000

9,000

440,000

498,000

9,000

3,000

11,000

4118,000

616,000

15,000

7,000

10,000

Прикладные описания русского языка и их место в русистике

Е. Г. Борисова

Государственный институт русского языка им. А. С. Пушкина

Прикладная лингвистика, компьютерные модели, русский как иностранный, язык рекламы.

Summary. This paper is concerned with the problems of the representation of the Russian grammar as applied to natural language processing, to second language teaching, to copywriting and to the translation. I utter that there exist different and non compatible grammars which can enrich the linguistic theory by new approaches (as entity-based linguistics) and notions (lexical functions, the Hearer’s grammar etc.). Supported by RSS of the Open Society Support Foundation, gr. No 458 / 2000.

Начиная с попыток автоматической обработки текста была осознана необходимость описания языка, которое, отвечая сугубо практическим задачам, могло значительно отличаться от любых других грамматик. Это привело к осознанию существования прикладной лингвистики как отдельной школы, и в русском языке этот термин закрепился именно за компьютерным направлением (в отличие от англо- и франкоязычной традиции, где под этим понимают практическое описание языка для его изучения как неродного).

Существовавшие до этого описания русского языка были предназначены для практических потребностей обучения школьников в основном представлялись редуцированной «обычной» грамматикой. Требования описания языка с целью последующей компьютерной обработки — в первую очередь, это полнота описания и его непротиворечивость — настолько отличались от традиционных, что породили принципиально новые описания, а с ними и результаты (хотя связь с существовавшими «традиционными» школами и имелась), в том числе создание достаточно полного описания русского словоизменения, включая акцентуацию («Граммати­ческий словарь» А. А. Зализняка и ориентированные на него правила), списка поверхностно-синтаксических от­ношений, детализированные толкования синонимов и многое другое. Выработаны (в основном в рамках школы «Модель Смысл  Текст») лексико-семантический подход Ю. Д. Апресяна, cемантико-синтаксический под­­ход Е. В. Падучевой, а также сущностный подход З. М. Шаляпиной и др.

Однако и «европейское» понимание термина «при­клад­ная лингвистика» тоже находит соответствие в русском языке: созданные за последние сорок-пятьдесят лет описания русского языка как неродного можно представить отдельным направлением. Фактически уже имеются достаточно полные описания фонетики, морфологии, синтаксиса и лексики русского языка, включающие моменты, не имеющиеся в других грамматиках. Это относится к правилам употребления числа существительных, кратких и полных прилагательных, глагола-связки быть в настоящем времени. Но в первую очередь следует признать вклад в описание русского глагольного вида. Здесь помимо общих значений видовых граммем и частновидовых значений фигурируют еще и условия употребления в типичных контекстах для случаев конкуренции видов. Принципиально новое в подходе к описанию языка связано с введением в модель речепорождения прагматических моментов, отражаю-

___________________________________

Работа выполняется при поддержке RSS (Gr. No 458 / 2000).

щих особенности поведения участников общения. Помимо таких аспектов, как правила построения диалогов, законы речевого этикета, прагматическим являются и условия выбора близких по смыслу слов и граммем — говорящий взвешивает варианты с точки зрения наибольшей легкости и однозначности понимания. Этот момент позволяет ввести в описание языка правила, касающиеся неопределенных случаев выбора единиц.
В целом педагогическое описание ярко высвечивает функциональную эквивалентность или близость единиц различных уровней и в целом больше, чем где бы то ни было, раскрываются именно вопросы употребления язы­ка для выражения своего замысла. Отметим, что идеи сущностного подхода — единство описания лексических и грамматических свойств — находит отражение и в этом случае.

Другие прикладные описания языка еще не получили законченного выражения, однако и там имеются интересные наблюдения, обогащающие русистику в целом. Например, переводческая практика, заставившая обратиться к сопоставительному описанию русского и других языков, дала интересные результаты как в области грамматики, так и лексикологии русского языка. В первую очередь хотелось бы отметить описание дискурсивных слов, специфика которых высвечивается именно при переводе. Еще более важным результатом можно считать описание особенностей русской языковой картины мира, которая в некоторых своих аспектах (картирование, метафора в идиоме) проявляется именно в контрасте с другими языками.

Имеется немало результатов, полученных в первую очередь в рамках прикладных направлений, однако изучение этого объекта шло сразу в нескольких школах. Так, современный подход к несвободной сочетаемости, зародившийся в традиционной русистике (фразеологи­ческие сочетания В. В. Виноградова), развивался преподавателями русского как иностранного, затем в рамках компьютерной лингвистики (понятие лексической функции).

Наконец, уже можно отметить и бурно развива­ю­щееся сегодня прикладное направление перлокутивная лингвистика, рассматривающее язык с точки зрения его воздействия (преимущественно в рекламе, пропаганде, в массовых коммуникациях). По большей части пока исследователи ограничиваются накоплением материала, осмыслением находок практиков — журналистов, копирайтеров, пиаристов. Однако уже сейчас задачи воздействия вызвали особое внимание к различным аспектам прагматики (куда сейчас естественно входит и теория стилистической дифференциации), и к языковой картине мира, к ассоциативному и коннотативному компонентам значения слова. В частности, получены довольно интересные материалы по изменению денотативного и коннотативного компонентов «гибкой» лексики (име­ю­щей неоднозначную связь с денотатом), по социолингвистическому распределению лексики и грамматических форм. Новый толчок получила фоносемантика.

Мы не рассматривали такое вполне традиционное прикладное направление, как школьная грамматика. Оно слабо осознается как прикладное. Однако и тут результаты несомненны. В частности, дерево зависимостей, столь распространенное в компьютерном синтаксисе берет свое начало, как показал В. М. Алпатов, именно в школьных учебниках, откуда оно было позаимствовано Л. Теньером.

Плодотворность прикладных исследований может объясняться тем, что за каждым направлением стоит та или иная модель речевой деятельности, адекватность которой проверяется практикой.

Итак, получается, что прикладной подход к русскому языку позволил получить очень нетривиальные результаты, которые используются в обобщенных теоретических описаниях (академических грамматиках), а также в практических описаниях, создаваемых в других прикладных направлениях. Этот факт заставляет со вниманием относиться ко всем практически ориентированным направлениям. И хотя полной интеграции результатов всех направлений в одном непротиворечивом описании получить не удастся, в целом перспективы взаимообогащения несомненны.

Литература

Алпатов В. М. История лингвистических учений. М.: ЯРК, 2000.

Борисова Е. Г. Что такое коллокации и как их изучать. М.: Филология, 1996.

Шаляпина З. М. Оппозиция «часть-целое» и сущностный подход к моделированию языковой компетенции // Роман Якобсон: Тексты, документы, исследования. М.: Изд-во РГГУ, 1999. С. 541–551.



Скачать документ

Похожие документы:

  1. А. Н. Баранов Введение в прикладную лингвистику ббк 81я73 Издание осуществлено при поддержке Института «Открытое общество» (Фонд Сороса) в рамках конкурс

    Конкурс
    Издание осуществлено при поддержке Института «Открытое общество» (Фонд Сороса) в рамках конкурса «Новая учебная литература по лингвистике и литературоведению».
  2. К вопросу о сопоставительном изучении морфологических категорий русского и болгарского язьіков

    Документ
    comparative linguistics, contrastive linguistics, functional linguistics, morphological level, morphological category, traditional typology, contensive typology,
  3. Словарь лингвистических терминов

    Документ
    Словарь включает 5270 терминов и понятий лингвистики. Он адресован широкому кругу пользователей: студентам, аспирантам, преподавателям, научным работникам, специалистам разного профиля, изучающим, преподающим, исследующим язык.
  4. Данное учебное пособие представляет собой первую книгу в задуманной серии учебников по истории, теории и методологии языкознания. Здесь даны очерки, посвящённые истории формирования и развития

    Учебное пособие
    Читатель обратит внимание на то, что становление и развитие языкознания в восточных и западных культурных ареалах шло во многом своими путями, отражая особенности как своих языков, так и своих культур, и что лишь в последние один
  5. Иван Павлович Сусов. История языкознания: учебное пособие (1)

    Учебное пособие
    где лингвистическая традиция сложилась на основе греко-римских идей по философии языка и грамматике.

Другие похожие документы..