Skip to content
Publications

Article · Ġylym ža̋ne bìlìm · June 25, 2025

PROMPT ENGINEERING: СОВРЕМЕННЫЕ ПОДХОДЫ И ПЕРСПЕКТИВЫ РАЗВИТИЯ

Vladimir Mysko, Аkmaral Kassymova, Дархан Жаксыбаев

Abstract

Инженерия подсказок (prompt engineering) стала неотъемлемой частью работы с большими языковыми моделями (LLM), особенно в сценариях нулевого (zero-shot) и малого (few-shot) обучения, где модели должны выполнять задачи без или с минимальным количеством примеров. Настоящая статья представляет систематический обзор и сравнительный анализ различных методов инженерии подсказок, сосредотачиваясь на их эффективности в улучшении точности LLM на задачах математического рассуждения. Для анализа были выбраны стандартные датасеты: GSM8K, SVAMP и AQuA. Методы включали нулевое обучение, малое обучение, цепочку рассуждений (CoT), самосогласованность (self-consistency) и другие. Ключевые результаты показывают, что CoT значительно повышает точность, особенно в сочетании с самосогласованностью, особенно для крупных моделей, таких как PaLM-540B, где точность на GSM8K выросла с 25,1% до 74,4% с использованием самосогласованности. Исследование предоставляет ценные рекомендации для исследователей и практиков в выборе подходящих методов для конкретных задач. Дополнительно обсуждаются перспективы применения гибридных подсказок в мультимодальных системах, а также потенциальная интеграция техник когнитивного поиска и само адаптивного обучения в образовательных и промышленных сценариях, что позволит повысить интерпретируемость выводов и ускорить внедрение ИИ-технологий.

Topic ModelingDomain Adaptation and Few-Shot LearningNatural Language Processing Techniquesprompt engineeringlarge language modelsmathematical reasoning

Related publications