Журнал «Современная Наука»

МЕТОДЫ ОЦЕНКИ ИЗВЛЕЧЕНИЯ ГЛУБИННОЙ СЕМАНТИКИ БОЛЬШИМИ ЯЗЫКОВЫМИ МОДЕЛЯМИ

Громоздов Данила Романович (Аспирант, Московский государственный технический университет им. Н.Э. Баумана (национальный исследовательский университет))

Гапанюк Юрий Евгеньевич (К.т.н., доцент, Московский государственный технический университет им. Н.Э. Баумана (национальный исследовательский университет))

Афанасьев Геннадий Иванович (К.т.н., доцент, Московский государственный технический университет им. Н.Э. Баумана (национальный исследовательский университет))

Широкое использование текстовых данных и постепенное усложнение задач обработки естественного языка, которые возможно решить с помощью больших языковых моделей, приводит к выявлению в данных нетривиальных фактов, или глубинной семантики. Создание ложных фактов для выдачи ответа пользователю – также распространённая характеристика языковых моделей, известная как галлюцинации. Необходимо разработать систему оценки истинности полученного от модели факта. Целью данной работы является определение метрики, подходящей для оценки глубинной семантики. Метод статистической оценки семантического содержания и метод, основанный на машинном обучении, были применены к выводам большой языковой модели, которой была поставлена задача выявления нетривиального факта из текстов. Обсуждается возможность совмещения подходов, для получения более точной и интерпретируемой метрики. Проведённое исследование определяет границы применимости и интерпретируемости современных метрик для задач семантического анализа, решаемых средствами больших языковых моделей. Нами предложены возможные пути решения проблемы подбора семантических метрик, основанные на широко распространяемом методе интеллектуальных агентов, векторных баз данных, используемых для синтеза ответа дополненного поиском, и других программных решениях для анализа истинности фактов или их адекватности информации, заключённой в корпусе текстов.

Ключевые слова:Большие языковые модели, метрики, оценочные модели, глубинная семантика, метаграфы.

Читать полный текст статьи …

Ссылка для цитирования:
Громоздов Д. Р., Гапанюк Ю. Е., Афанасьев Г. И. МЕТОДЫ ОЦЕНКИ ИЗВЛЕЧЕНИЯ ГЛУБИННОЙ СЕМАНТИКИ БОЛЬШИМИ ЯЗЫКОВЫМИ МОДЕЛЯМИ // Современная наука: актуальные проблемы теории и практики. Серия: Естественные и Технические Науки. -2025. -№07. -С. 73-79 DOI 10.37882/2223-2966.2025.07.10

ПРАВОВАЯ ИНФОРМАЦИЯ:
Перепечатка материалов допускается только в некоммерческих целях со ссылкой на оригинал публикации. Охраняется законами РФ. Любые нарушения закона преследуются в судебном порядке.
© ООО "Научные технологии"