Article · Ġylym ža̋ne bìlìm · June 25, 2025
PROMPT ENGINEERING: СОВРЕМЕННЫЕ ПОДХОДЫ И ПЕРСПЕКТИВЫ РАЗВИТИЯ
Vladimir Mysko, Аkmaral Kassymova, Дархан Жаксыбаев
Abstract
Инженерия подсказок (prompt engineering) стала неотъемлемой частью работы с большими языковыми моделями (LLM), особенно в сценариях нулевого (zero-shot) и малого (few-shot) обучения, где модели должны выполнять задачи без или с минимальным количеством примеров. Настоящая статья представляет систематический обзор и сравнительный анализ различных методов инженерии подсказок, сосредотачиваясь на их эффективности в улучшении точности LLM на задачах математического рассуждения. Для анализа были выбраны стандартные датасеты: GSM8K, SVAMP и AQuA. Методы включали нулевое обучение, малое обучение, цепочку рассуждений (CoT), самосогласованность (self-consistency) и другие. Ключевые результаты показывают, что CoT значительно повышает точность, особенно в сочетании с самосогласованностью, особенно для крупных моделей, таких как PaLM-540B, где точность на GSM8K выросла с 25,1% до 74,4% с использованием самосогласованности. Исследование предоставляет ценные рекомендации для исследователей и практиков в выборе подходящих методов для конкретных задач. Дополнительно обсуждаются перспективы применения гибридных подсказок в мультимодальных системах, а также потенциальная интеграция техник когнитивного поиска и само адаптивного обучения в образовательных и промышленных сценариях, что позволит повысить интерпретируемость выводов и ускорить внедрение ИИ-технологий.
Related publications
- Availability of UAV Fleet Evaluation Based on Multi-State SystemIEEE Access · 2024 · Citations: 14 · Same author: Vladimir Mysko
- Parameter-Efficient Adaptation of Large Language Models to a Low-Resource Agglutinative Language: A Corpus, Datasets, and a Reproducible Benchmark for the Bashkir LanguagearXiv · 2026 · Shared topic: Topic Modeling
- BENCHMARKING DEEP LEARNING MODELS FOR FEW-SHOT CLASSIFICATION OF KAZAKH NEWS TEXTS UNDER LIMITED ANNOTATIONHerald of Kazakh-British technical university · 2026 · Shared topic: Topic Modeling
- Fine-tuning multilingual sentence transformers for low-resource skill-concept matching across Kazakh, Russian, and EnglishFrontiers in Big Data · 2026 · Shared topic: Topic Modeling
