Компьютерный анализ естественно-языкового текста. (Лекция 14) презентация

Содержание


Презентации» Информатика» Компьютерный анализ естественно-языкового текста. (Лекция 14)
Компьютерный анализ естественно-языкового текста
 Кафедра информационных систем в искусстве и гуманитарныхКомпьютерный анализ естественно-языкового текста СТРУКТУРА КУРСА
 Введение в дисциплину
 Автоматический анализКомпьютерный анализ естественно-языкового текста СТРУКТУРА КУРСА
  Автоматический анализ текста наКомпьютерный анализ естественно-языкового текста СТРУКТУРА КУРСА
  Автоматический анализ текста наФОРМАЛЬНЫЙ ПОДХОД К ОРГАНИЗАЦИИ СИНТАКСИЧЕСКОГО АНАЛИЗА
 Мы хотим наши знания оФОРМАЛЬНЫЙ ПОДХОД К ОРГАНИЗАЦИИ СИНТАКСИЧЕСКОГО АНАЛИЗА
 Мы хотим наши знания оФОРМАЛЬНЫЙ ПОДХОД К ОРГАНИЗАЦИИ СИНТАКСИЧЕСКОГО АНАЛИЗА
 Мы хотим наши знания оФОРМАЛЬНЫЙ ПОДХОД К ОРГАНИЗАЦИИ СИНТАКСИЧЕСКОГО АНАЛИЗА
 Мы хотим наши знания оФОРМАЛЬНЫЙ ПОДХОД К ОРГАНИЗАЦИИ СИНТАКСИЧЕСКОГО АНАЛИЗА
 Мы хотим наши знания оФОРМАЛЬНЫЙ ПОДХОД К ОРГАНИЗАЦИИ СИНТАКСИЧЕСКОГО АНАЛИЗА
 Мы хотим наши знания оФОРМАЛЬНЫЙ ПОДХОД К ОРГАНИЗАЦИИ СИНТАКСИЧЕСКОГО АНАЛИЗА
 Мы хотим наши знания оФОРМАЛЬНЫЙ ПОДХОД К ОРГАНИЗАЦИИ СИНТАКСИЧЕСКОГО АНАЛИЗА
 Мы хотим наши знания оПАРСИНГ: ГРАММАТИКИ СОСТАВЛЯЮЩИХПАРСИНГ: ГРАММАТИКИ СОСТАВЛЯЮЩИХПАРСИНГ:		ГРАММАТИКИ 				СОСТАВЛЯЮЩИХ и АВТОМАТЫПАРСИНГ:		ГРАММАТИКИ 				СОСТАВЛЯЮЩИХ и СЕТИ ПЕРЕХОДОВПАРСИНГ:		ГРАММАТИКИ 				СОСТАВЛЯЮЩИХ и АВТОМАТЫПАРСИНГ для  КОНТЕКСТНО-СВОБОДНЫХ ГРАММАТИК
 Для КС грамматик нет универсального алгоритма/процедурыПАРСИНГ для  КОНТЕКСТНО-СВОБОДНЫХ ГРАММАТИК
 Наиболее известные универсальные способы построения поПАРСИНГ для  КОНТЕКСТНО-СВОБОДНЫХ ГРАММАТИК
 Алгоритм Кока-Янгера-Касами (пример)
 Дано:
 грамматика 
ПАРСИНГ для  КОНТЕКСТНО-СВОБОДНЫХ ГРАММАТИК
 Алгоритм Кока-Янгера-Касами (пример)
 Этапы:
 Построение таблицы
ПАРСИНГ для  КОНТЕКСТНО-СВОБОДНЫХ ГРАММАТИК
 Алгоритм Кока-Янгера-Касами (пример)
 	Принцип построения таблицы:
ПАРСИНГ для  КОНТЕКСТНО-СВОБОДНЫХ ГРАММАТИК
 Алгоритм Кока-Янгера-Касами (пример)
 	Построение таблицы дляПАРСИНГ: ГРАММАТИКИ ЗАВИСИМОСТЕЙ
 	…
 (не входит в данный курс)
 	…
 БолееПАРСИНГ:		ПРИМЕР ДЛЯ ГИБРИДНОЙ 	МОДЕЛИ СИНТАКСИСА (АОТ)
 Синтаксический процессор ДИАЛИНГ (Л.Гершензон, Д.Панкратов,ПАРСИНГ:		ПРИМЕР ДЛЯ ГИБРИДНОЙ 	МОДЕЛИ СИНТАКСИСА (АОТ) - 2
 Особенность архитектуры: двунаправленноеПАРСИНГ:		ПРИМЕР ДЛЯ ГИБРИДНОЙ 	МОДЕЛИ СИНТАКСИСА (АОТ) - 3
 	Этапы работы синтаксическогоПАРСИНГ:		ПРИМЕР ДЛЯ ГИБРИДНОЙ 	МОДЕЛИ СИНТАКСИСА (АОТ) - 4
 	Этапы работы синтаксическогоПАРСИНГ:		ПРИМЕР ДЛЯ ГИБРИДНОЙ 	МОДЕЛИ СИНТАКСИСА (АОТ) - 5ПАРСИНГ:		ПРИМЕР ДЛЯ ГИБРИДНОЙ 	МОДЕЛИ СИНТАКСИСА (АОТ) - 6РЕКОМЕНДОВАННАЯ ЛИТЕРАТУРА
 Тестелец Я. Г. Введение в общий синтаксис. М., 2001.



Слайды и текст этой презентации
Слайд 1
Описание слайда:
Компьютерный анализ естественно-языкового текста Кафедра информационных систем в искусстве и гуманитарных науках


Слайд 2
Описание слайда:
Компьютерный анализ естественно-языкового текста СТРУКТУРА КУРСА Введение в дисциплину Автоматический анализ текста на морфологическом уровне Автоматический анализ текста на синтаксическом уровне Семантический компонент в системах автоматического анализа текста

Слайд 3
Описание слайда:
Компьютерный анализ естественно-языкового текста СТРУКТУРА КУРСА Автоматический анализ текста на синтаксическом уровне Задачи анализа текста на синтаксическом уровне Модели представления структуры высказывания Примеры реализации синтаксического анализа

Слайд 4
Описание слайда:
Компьютерный анализ естественно-языкового текста СТРУКТУРА КУРСА Автоматический анализ текста на синтаксическом уровне Задачи анализа текста на синтаксическом уровне Модели представления структуры высказывания Примеры реализации синтаксического анализа

Слайд 5
Описание слайда:
ФОРМАЛЬНЫЙ ПОДХОД К ОРГАНИЗАЦИИ СИНТАКСИЧЕСКОГО АНАЛИЗА Мы хотим наши знания о синтаксисе формализовать. Каким метаязыком можно пользоваться?

Слайд 6
Описание слайда:
ФОРМАЛЬНЫЙ ПОДХОД К ОРГАНИЗАЦИИ СИНТАКСИЧЕСКОГО АНАЛИЗА Мы хотим наши знания о синтаксисе формализовать. Каким метаязыком можно пользоваться? структуры составляющих структуры зависимостей гибридные модели

Слайд 7
Описание слайда:
ФОРМАЛЬНЫЙ ПОДХОД К ОРГАНИЗАЦИИ СИНТАКСИЧЕСКОГО АНАЛИЗА Мы хотим наши знания о синтаксисе формализовать. Определились с метаязыком. А насколько этот метаязык способен отобразить наши знания о синтаксисе?

Слайд 8
Описание слайда:
ФОРМАЛЬНЫЙ ПОДХОД К ОРГАНИЗАЦИИ СИНТАКСИЧЕСКОГО АНАЛИЗА Мы хотим наши знания о синтаксисе формализовать. Определились с метаязыком. А насколько этот метаязык способен отобразить наши знания о синтаксисе? Существуют описания (фрагментов) естественных языков, строящиеся на основе: - структур составляющих (ранние версии порождающей грамматики, …) - структур зависимостей (теория «СмыслТекст, …) - гибридные структуры (поздние версии порождающей грамматики, …)

Слайд 9
Описание слайда:
ФОРМАЛЬНЫЙ ПОДХОД К ОРГАНИЗАЦИИ СИНТАКСИЧЕСКОГО АНАЛИЗА Мы хотим наши знания о синтаксисе формализовать. Определились с метаязыком. Можем опереться на существующие описания (фрагментов) естественных языков – «грамматики» А как пользоваться этими описаниями для автоматической реализации синтаксического анализа?

Слайд 10
Описание слайда:
ФОРМАЛЬНЫЙ ПОДХОД К ОРГАНИЗАЦИИ СИНТАКСИЧЕСКОГО АНАЛИЗА Мы хотим наши знания о синтаксисе формализовать. Определились с метаязыком. Можем опереться на существующие описания (фрагментов) естественных языков – «грамматики» А как пользоваться этими описаниями для автоматической реализации синтаксического анализа? Стоит вопрос о переходе от описания «что бывает в языке» к описанию алгоритма «как отождествить то, что видим в данном предложении, с тем, что бывает в языке»

Слайд 11
Описание слайда:
ФОРМАЛЬНЫЙ ПОДХОД К ОРГАНИЗАЦИИ СИНТАКСИЧЕСКОГО АНАЛИЗА Мы хотим наши знания о синтаксисе формализовать. Определились с метаязыком. Можем опереться на существующие описания (фрагментов) естественных языков – «грамматики» А как пользоваться этими описаниями для автоматической реализации синтаксического анализа? Стоит вопрос о парсинге Процедура, которая предложению на некотором языке приписывает описание его структуры на специально предназначенном для этого метаязыке. Синоним в информатике – «синтаксический анализ» (также: «синтаксический разбор»)

Слайд 12
Описание слайда:
ФОРМАЛЬНЫЙ ПОДХОД К ОРГАНИЗАЦИИ СИНТАКСИЧЕСКОГО АНАЛИЗА Мы хотим наши знания о синтаксисе формализовать. Определились с метаязыком. Можем опереться на существующие описания (фрагментов) естественных языков – «грамматики» ПАРСИНГ 1) Для грамматик составляющих – проще (для некоторых классов – совсем просто) 2) Для грамматик зависимостей – сложнее 3) На практике – чаще гибридные структуры, используются алгоритмы с несколькими проходами по предложению, большое количество решений для частных случаев (АОТ)

Слайд 13
Описание слайда:
ПАРСИНГ: ГРАММАТИКИ СОСТАВЛЯЮЩИХ

Слайд 14
Описание слайда:
ПАРСИНГ: ГРАММАТИКИ СОСТАВЛЯЮЩИХ

Слайд 15
Описание слайда:
ПАРСИНГ: ГРАММАТИКИ СОСТАВЛЯЮЩИХ и АВТОМАТЫ

Слайд 16
Описание слайда:
ПАРСИНГ: ГРАММАТИКИ СОСТАВЛЯЮЩИХ и СЕТИ ПЕРЕХОДОВ

Слайд 17
Описание слайда:
ПАРСИНГ: ГРАММАТИКИ СОСТАВЛЯЮЩИХ и АВТОМАТЫ

Слайд 18
Описание слайда:
ПАРСИНГ для КОНТЕКСТНО-СВОБОДНЫХ ГРАММАТИК Для КС грамматик нет универсального алгоритма/процедуры перехода «Грамматика → Автомат» Тем не менее, автомат – это не единственная форма задания алгоритма парсинга; для более общей задачи создать алгоритм перехода «Грамматика → Парсинг» существуют универсальные решения и в классе КС грамматик Однако эти универсальные решения, т.е. способы по любой КС грамматике построить алгоритм парсинга, малоэффективны, т.к. состоят из нескольких этапов тот алгоритм парсинга, который получается в результате такой универсальной процедуры, слишком затратный в отношении вычислительных ресурсов Для некоторых классов КС-грамматик (но не для всех) существуют более эффективные способы организовать парсинг

Слайд 19
Описание слайда:
ПАРСИНГ для КОНТЕКСТНО-СВОБОДНЫХ ГРАММАТИК Наиболее известные универсальные способы построения по любой КС грамматике алгоритма парсинга: алгоритм Кока-Янгера-Касами алгоритм Эрли Оба предусматривают в качестве промежуточного шага построение вспомогательной структуры данных (таблица для алгоритма К-Я-К, список для алгоритма Эрли) Оба включают в качестве входа не только грамматику, но и конкретное разбираемое предложение Оба требуют времени разбора n3 и объема затрачиваемой памяти n2, где n – длина разбираемого предложения (хотя для некоторых подтипов КС-грамматик алгоритм Эрли может работать затрачивать линейные время и объем памяти) .

Слайд 20
Описание слайда:
ПАРСИНГ для КОНТЕКСТНО-СВОБОДНЫХ ГРАММАТИК Алгоритм Кока-Янгера-Касами (пример) Дано: грамматика S → NP VP (1) NP → Det N (2) VP → V NP (3) N → boy | ball (4) (5) Det → the (6) V → sees (7) предложение the boy sees the ball

Слайд 21
Описание слайда:
ПАРСИНГ для КОНТЕКСТНО-СВОБОДНЫХ ГРАММАТИК Алгоритм Кока-Янгера-Касами (пример) Этапы: Построение таблицы Разбор по таблице

Слайд 22
Описание слайда:
ПАРСИНГ для КОНТЕКСТНО-СВОБОДНЫХ ГРАММАТИК Алгоритм Кока-Янгера-Касами (пример) Принцип построения таблицы: В клетки tij вносятся такие нетерминальные символы A (левые части правил грамматики), что из A можно вывести j слов разбираемого предложения, начиная с i-го слова.

Слайд 23
Описание слайда:
ПАРСИНГ для КОНТЕКСТНО-СВОБОДНЫХ ГРАММАТИК Алгоритм Кока-Янгера-Касами (пример) Построение таблицы для данного примера: Далее – разбор по таблице…

Слайд 24
Описание слайда:
ПАРСИНГ: ГРАММАТИКИ ЗАВИСИМОСТЕЙ … (не входит в данный курс) … Более подробная информация об организации парсинга для структур зависимостей (на английском языке) http://bulba.sdsu.edu/cl/Members/rmalouf/courses/ling-795-dependency-parsing http://aclweb.org/mirror/acl2006/program/tutorials/dependency.html

Слайд 25
Описание слайда:
ПАРСИНГ: ПРИМЕР ДЛЯ ГИБРИДНОЙ МОДЕЛИ СИНТАКСИСА (АОТ) Синтаксический процессор ДИАЛИНГ (Л.Гершензон, Д.Панкратов, А.Сокирко) разработан в 1998-2001 г. на основе процессора ПОЛИТЕКСТ (система анализа политических текстов Центра информационных исследований). Используется понятие синтаксических групп На входе результаты работы графематического и морфологического модуля (каждая словоформа представлена множеством морфологических омонимов)

Слайд 26
Описание слайда:
ПАРСИНГ: ПРИМЕР ДЛЯ ГИБРИДНОЙ МОДЕЛИ СИНТАКСИСА (АОТ) - 2 Особенность архитектуры: двунаправленное взаимодействие модуля сегментации (=фрагментации, разбиение на предикативные единицы типа простых предложений) и синтаксиса (построения синтаксических групп слов в предложении). Перед анализом не ставится цель построить полную синтаксическую структуру (только объединяет в группы то, что можно объединить). Демонстрация анализа в режиме он-лайн: http://www.aot.ru/demo/synt.html (а также модуль SynAn пакета Dialing, загружаемого с сайта АОТ)

Слайд 27
Описание слайда:
ПАРСИНГ: ПРИМЕР ДЛЯ ГИБРИДНОЙ МОДЕЛИ СИНТАКСИСА (АОТ) - 3 Этапы работы синтаксического анализатора Первичная сегментация по пунктуации и сочинительным союзам с учетом простейших рядов однородных членов Объединение элементов аналитических форм глагола Выделение терминологических именных групп Обработка существующих и восстановление пропущенных тире в функции связки Построение множества МИ внутри сегментов Объединение сочиненных сегментов …

Слайд 28
Описание слайда:
ПАРСИНГ: ПРИМЕР ДЛЯ ГИБРИДНОЙ МОДЕЛИ СИНТАКСИСА (АОТ) - 4 Этапы работы синтаксического анализатора … Построение сочиненных групп (именных, глагольных) внутри сегментов Вложение сегментов (установление отношений подчинения) Построение синт. групп, включающих вложенные сегменты Объединение разрывных сегментов Построение групп с использованием всех правил обработки МИ Ранжирование МИ по синтаксическому покрытию

Слайд 29
Описание слайда:
ПАРСИНГ: ПРИМЕР ДЛЯ ГИБРИДНОЙ МОДЕЛИ СИНТАКСИСА (АОТ) - 5

Слайд 30
Описание слайда:
ПАРСИНГ: ПРИМЕР ДЛЯ ГИБРИДНОЙ МОДЕЛИ СИНТАКСИСА (АОТ) - 6

Слайд 31
Описание слайда:
РЕКОМЕНДОВАННАЯ ЛИТЕРАТУРА Тестелец Я. Г. Введение в общий синтаксис. М., 2001. (Главы I, II) АОТ: Синтаксический анализ. http://www.aot.ru/docs/synan.html Ножов И.М. Морфологическая и синтаксическая обработка текста (модели и программы). Дисс. … канд. тех. наук. М., 2003. http://www.aot.ru/docs/Nozhov/chapter3.pdf (Глава 3, I) или http://www.aot.ru/docs/Nozhov/msot.pdf. (диссертация полностью) ДОПОЛНИТЕЛЬНАЯ ЛИТЕРАТУРА Мельчук И. А. Опыт теории лингвистических моделей «СмыслТекст». М., 1974 (1999) (Глава II, § 1, 2) Ахо А., Ульман Дж. Теория синтаксического анализа, перевода и компиляции. Том 1. Синтаксический анализ. М.: Мир, 1978.


Скачать презентацию на тему Компьютерный анализ естественно-языкового текста. (Лекция 14) можно ниже:

Похожие презентации