Skip to content
Publications

Article · Международный журнал Программные продукты и системы · February 26, 2020

Гибридный метод автореферирования научно-технических текстов на основе риторического анализа

Tatiana Viktorovna Batura, Бакиева Айгерим Муратовна

Abstract

Институт систем информатики им.А.П.Ершова СО РАН, г.Новосибирск, 630090, Россия 2 Новосибирский государственный университет, г.Новосибирск, 630090, Россия 3 Евразийский национальный университет им.Л.Н.Гумилева, г.Астана, 010008, Республика Казахстан Непрерывное увеличение интенсивности потока текстовой информации делает все более важной задачу семантического сжатия текстов.Связи между дискурсивными маркерами в тексте задают иерархию, которая позволяет решать различные задачи обработки текстов на естественном языке, в том числе и задачу автоматического составления краткого реферата по тексту большого объема.В данной статье описан оригинальный метод автореферирования научно-технических текстов на основе риторического анализа и с использованием методов тематического моделирования.Предложенный метод сочетает в себе использование лингвистической базы знаний, графовое представление текстов и машинное обучение.Для обнаружения ключевых терминов используется тематическое моделирование.Сначала строятся униграммные тематические модели, содержащие только однословные термины.Далее эти модели расширяются путем добавления многословных терминов.Наиболее значимые фрагменты исходного документа определяются в процессе риторического анализа при помощи дискурсивных маркеров.Представление текстов в виде графов помогает наглядно продемонстрировать преобразования, необходимые для выделения важных фрагментов текстов.При оценке важности фрагментов текста также учитываются ключевые слова, многословные термины и научная лексика, характеризующая научнотехнические тексты.Для хранения информации о маркерах была создана лингвистическая база знаний.Заключительным этапом формирования аннотации является сглаживание -процедура преобразования текста, позволяющая сделать текст полученного реферата (аннотации) более связным и последователь-

Advanced Text Analysis TechniquesTopic ModelingNatural Language Processing Techniquesabstract generationscientific and technical textsrhetorical analysis

More by Tatiana Batura