Перейти к содержанию

Призма + LLM

Как использовать LLM (ChatGPT, Claude, Gemini и др.) в рамках методологии Призма — чтобы модель давала полезный результат, а не «похожий на правду» текст.


Главное правило

LLM — ускоритель, а не замена

Модель хорошо генерирует гипотезы (🟡) и помогает найти направление поиска, но не производит факты (🟢). Любой ответ LLM без ссылки на проверяемый первоисточник — это 🟡 гипотеза или 🔴 пробел, пока не подтверждён артефактом.


Где LLM полезна, а где опасна

Задача Польза Почему
Ф1: начальный глоссарий и карта области ⭐⭐⭐⭐⭐ Быстро даёт «стартовую карту» — термины, синонимы, структуру. Идеальная точка входа.
Ф1: поиск типов источников (П4) ⭐⭐⭐⭐ Хорошо подсказывает, какие стандарты, реестры и базы данных существуют
Ф2: генерация сценариев и use cases ⭐⭐⭐⭐ Хорошо перечисляет типовые задачи, роли, pain points
Ф2: модель влияния ⭐⭐⭐ Может предложить структуру, но причинно-следственные связи нужно верифицировать
Ф3: сравнение подходов ⭐⭐⭐ Даёт первичное сравнение, но оценки нужно проверять по источникам S1–S3
Ф3: поиск стандартов ⭐⭐⭐⭐ Хорошо знает названия и номера стандартов (но может галлюцинировать номера!)
Ф4: архитектура и реализация ⭐⭐⭐ Полезна для генерации вариантов, но детали — из документации
Ф5: failure modes, анти-паттерны ⭐⭐⭐⭐ Хорошо собирает «что обычно ломается» из обучающих данных
Проверка конкретных фактов ⭐⭐ Может уверенно врать. Всегда проверяй по первоисточнику
Генерация числовых данных ⭐ Часто выдумывает цифры. Никогда не бери числа из LLM без проверки

Формат запроса: «ТЗ для LLM»

Хороший запрос содержит 5 элементов:

1. РОЛЬ        — кем должна быть модель
2. КОНТЕКСТ    — что ты уже знаешь (вставь свои заметки)
3. ЗАДАЧА      — что именно нужно сделать
4. ФОРМАТ      — в каком виде выдать результат
5. ОГРАНИЧЕНИЯ — чего НЕ делать

Почему это работает

LLM лучше отвечает, когда видит рамку. Без контекста модель «додумывает» за тебя — и додумывает часто неправильно. Чем больше ты вложишь из уже найденного (термины, границы, критерии), тем точнее ответ.


Промпты по фазам

Глоссарий и карта области:

Я исследую область [ТЕМА] с нуля.

Задача: составь стартовый глоссарий из 30–50 ключевых терминов этой области.
Для каждого термина дай:
- определение (1–2 предложения)
- синонимы / альтернативные названия (в т.ч. на английском)

В конце: опиши карту области — из каких подсистем состоит,
какие роли/акторы, где границы (что внутри, что снаружи).

Формат: таблица для терминов, текстовое описание для карты.
Не пиши вводных фраз, сразу к делу.

Поиск артефактов (P4-first):

Область: [ТЕМА].

Какие типы первичных документов и артефактов существуют в этой области?
Интересуют:
- стандарты (ГОСТ, ISO, отраслевые)
- типовые протоколы / отчёты / реестры
- базы данных и публичные реестры
- типовая документация (ТУ, паспорта, сертификаты)

Для каждого типа укажи:
- что это за документ
- кто его создаёт
- где искать (публичный доступ или нет)
- конкретные примеры (названия, номера)

Не включай блоги, статьи и вторичные источники — только первичные артефакты.

ВАЖНО: если не уверен в точном номере стандарта — укажи это явно,
не выдумывай.

Сценарии и use cases:

Область: [ТЕМА].
Я уже знаю: [вставь ключевые термины и границы из Ф1].

Задача: опиши 10–20 типовых сценариев использования / задач в этой области.
Для каждого сценария:
- кто пользователь / актор
- какая проблема решается
- что является KPI / мерой успеха
- какие ограничения

Сгруппируй по категориям. Формат: таблица.

Модель влияния:

Область: [ТЕМА].
Контекст: [вставь сценарии из предыдущего шага].

Задача: построй модель влияния — что на что влияет в этой области.
Выдели 3–5 главных «рычагов», которые определяют результат.
Для каждого рычага:
- что он определяет
- от чего зависит сам
- как можно на него повлиять

Формат: структурированный текст с иерархией.

Сравнение подходов:

Область: [ТЕМА].
Вопрос: [КОНКРЕТНЫЙ ВОПРОС ВЫБОРА — например, «сравнить методы X, Y, Z»].

Контекст: вот мои критерии сравнения:
[вставь критерии из модели влияния]

Задача: сравни подходы по этим критериям.
Для каждой ячейки таблицы:
- оценка (и краткое обоснование)
- на чём основана: стандарт, исследование, общее знание?
- уровень уверенности: факт / гипотеза / не знаю

ВАЖНО: если не знаешь точного ответа — пиши «не знаю», не выдумывай.

Формат: сравнительная таблица.

Поиск стандартов:

Область: [ТЕМА], контекст: [СТРАНА / РЕГИОН].

Какие стандарты, нормативные документы и регуляторные требования
действуют в этой области?

Интересуют:
- обязательные стандарты (ГОСТ, ISO, отраслевые)
- добровольные стандарты и best practices
- требования к сертификации / лицензированию
- регуляторные ограничения

Для каждого: номер, название, что регулирует, статус (действующий/устарел).

ВАЖНО: если не уверен в точном номере — укажи это.
Лучше «предположительно ГОСТ 9.031» чем уверенно неправильный номер.

Failure modes и анти-паттерны:

Область: [ТЕМА].
Контекст: [метод/подход, который я рассматриваю].

Задача: опиши типичные failure modes / что обычно идёт не так
при использовании этого подхода.

Для каждого:
- что ломается
- почему (корневая причина)
- как обнаружить (на что смотреть)
- как предотвратить

Источники: issue-трекеры, постмортемы, форумы, опыт эксплуатации.
Формат: таблица.

Мета-промпт: генерация вопросов вместо ответов

Один из самых сильных способов использовать LLM в Призме — просить не ответы, а вопросы:

Я выбираю между [ВАРИАНТ A] и [ВАРИАНТ B] для задачи [ЗАДАЧА].

Не давай мне ответ. Вместо этого:
составь список из 10–15 вопросов, ответы на которые
позволят сделать обоснованный выбор.

Для каждого вопроса укажи:
- где искать ответ (тип источника)
- почему этот вопрос важен для выбора

Почему это работает

LLM не знает реальных данных твоей области, но хорошо знает структуру принятия решений. Вопросы от LLM → поиск ответов в S1–S3 источниках → обоснованный выбор.


Правила работы с ответами LLM

  1. Всё от LLM — это 🟡 по умолчанию. Пока не подтвердишь артефактом (S1–S3), ответ LLM остаётся гипотезой.

  2. Номера и цифры — проверяй всегда. LLM регулярно путает номера стандартов, даты, числовые значения. Одна ошибка в номере ГОСТа — и ты ссылаешься на несуществующий документ.

  3. Проси «не знаю» вместо выдумки. Добавляй в промпт: «если не знаешь точного ответа — напиши "не знаю"». Это снижает (но не устраняет) галлюцинации.

  4. Вставляй свой контекст. Чем больше ты даёшь из уже найденного (термины, границы, критерии), тем точнее ответ. Пустой запрос «расскажи про X» — худший формат.

  5. Используй LLM для вопросов, а не ответов. Вместо «какой метод лучше?» спроси: «какие вопросы нужно задать, чтобы выбрать между методами A и B?»

  6. Итерируй. Первый ответ — черновик. Скорми LLM свои уточнения, найденные артефакты, противоречия — и попроси переработать.

  7. Один промпт — одна задача. «Составь глоссарий + сравни методы + найди стандарты» в одном запросе → плохой результат по каждому пункту.


Чеклист верификации ответа LLM

Перед тем как перенести что-то из ответа LLM в рабочую запись фазы:

  • Названия / номера стандартов — проверены в первоисточнике?
  • Числовые значения — подтверждены артефактом?
  • Термины — совпадают с глоссарием? Нет ли «выдуманных» терминов?
  • Причинно-следственные связи — есть источник?
  • Светофор присвоен? (по умолчанию 🟡, повышается только после верификации)