1. Алгоритм препроцессорной обработки ЕЯ-текста на Python
- Author
-
Трапезников Алексей Александрович, ФГБОУ ВО «Восточно-Сибирский государственный университет технологий и управления», Trapeznikov Aleksei Aleksandrovich, FSBEI of HE "East Siberia State University of Technology and Management", Ардаева Анастасия Андреевна, Ardaeva Anastasiia Andreevna, Трапезников Алексей Александрович, ФГБОУ ВО «Восточно-Сибирский государственный университет технологий и управления», Trapeznikov Aleksei Aleksandrovich, FSBEI of HE "East Siberia State University of Technology and Management", Ардаева Анастасия Андреевна, and Ardaeva Anastasiia Andreevna
- Abstract
В статье рассматривается препроцессорная обработка естественно-языкового текста, которая является важным этапом подготовки текста к решению различных задач: машинный перевод, автореферирование, понимание смысла текста и многих других. В работе рассмотрены основные этапы подготовки текста: токенизация, фильтрация и нормализация. Полученный результат может использоваться для построения векторной модели текста и в дальнейшем в разных алгоритмах машинного обучения.
- Published
- 2019