Журнал «Современная Наука»

РОБОТИЗИРОВАННОЕ ОБУЧЕНИЕ НА ОСНОВЕ Q-LEARNING И ANN С ИСПОЛЬЗОВАНИЕМ ДЕМОНСТРАЦИЙ (ADQN)

Тяньцы Гао (аспирант, Московский государственный технический университет имени Н.Э. Баумана )

Бо Ян (Аспирант Московский государственный технический университет имени Н.Э. Баумана )

Шэнжэнь Жао (Аспирант Московский государственный технический университет имени Н.Э. Баумана )

В области обучения робототехнических систем классический подход на основе чистого Q-обучения (Q-Learning) требует больших объёмов проб и ошибок, что снижает эффективность и может быть небезопасно при работе с реальными роботами. В данной работе предлагается метод ADQN (Augmented Deep Q-Network), совмещающий Q-Learning, искусственную нейронную сеть (ANN) и данные демонстраций. На первом этапе Q-сеть обучается офлайн на экспертных траекториях, затем в ходе онлайн-фазы одновременно используются TD-обновления и Margin-супервизия по демонстрационным действиям. Такая схема ускоряет сходимость алгоритма и повышает итоговую успешность. Мы сравниваем ADQN с двумя базовыми методами: (1) чистым DQN (без демонстраций) и (2) чистой имитацией (ANN). Эксперименты в среде MATLAB/Simulink и на реальном роботе Kinova Gen3 показывают, что ADQN достигает более высоких показателей и быстрее выходит на целевые результаты. Дополнительно проанализировано влияние приоритетного реплея и различных модулей алгоритма. Результаты подтверждают, что рассматриваемый подход эффективно совмещает преимущества обучения с подкреплением и демонстраций.

Ключевые слова:обучение с подкреплением, Q-Learning, искусственные нейронные сети, обучение по демонстрациям, робот-манипулятор.

Читать полный текст статьи …

Ссылка для цитирования:
Тяньцы Г. , Бо Я. , Шэнжэнь Ж. РОБОТИЗИРОВАННОЕ ОБУЧЕНИЕ НА ОСНОВЕ Q-LEARNING И ANN С ИСПОЛЬЗОВАНИЕМ ДЕМОНСТРАЦИЙ (ADQN) // Современная наука: актуальные проблемы теории и практики. Серия: Естественные и Технические Науки. -2025. -№04. -С. 48-54 DOI 10.37882/2223-2966.2025.04.06

ПРАВОВАЯ ИНФОРМАЦИЯ:
Перепечатка материалов допускается только в некоммерческих целях со ссылкой на оригинал публикации. Охраняется законами РФ. Любые нарушения закона преследуются в судебном порядке.
© ООО "Научные технологии"