BF agent-design-review
Проанализируйте дизайн LLM-агента и найдите, где он будет ненадежным, дорогим или небезопасным. Используйте, когда вас просят проанализировать архитектуру агента, раскритиковать агента, использующего многошаговые/инструментальные действия, отладить агента, который зацикливается или отклоняется от задачи, или укрепить агента перед запуском. Создает структурированный обзор — соответствие задаче, поток управления, инструменты, память/контекст, обработка сбоев, стоимость и безопасность — с приоритетными выводами и исправлениями.
машинный переводПоказать оригиналСкрыть оригинал«Review an LLM agent design and find where it will be unreliable, expen…»
Review an LLM agent design and find where it will be unreliable, expensive, or unsafe. Use when asked to review an agent architecture, critique a multi-step/tool-using agent, debug an agent that loops or goes off-task, or harden an agent before launch. Produces a structured review — task fit, control flow, tools, memory/context, failure handling, cost, and safety — with prioritised findings and fixes.
Проанализируйте дизайн LLM-агента и найдите, где он будет ненадежным, дорогим или небезопасным.
Как процесс F 56/100 · Не запустится — Скилл ссылается на файлы, которых нет в архиве: ../agent-spec/SKILL.md, ../llm-cost-latency-budget/SKILL.md, ../llm-guardrails-spec/SKILL.md
Как улучшить
- В тексте есть ссылки на отсутствующие файлы: добавьте файлы или уберите ссылки.
- Свои кейсы (evals/evals.json, 4–6 реальных запросов с ожидаемыми ответами): тогда полная проверка прогонит именно их, а не черновик от модели.
- spec.yaml с триггерными фразами и утверждениями — контракт поведения для CI; `skilltest init` создаст шаблон.
Находки guard · 0
✓ Критических и высоких находок нет
Просканировано файлов: 0. Улики замаскированы. Пометки в серых чипах объясняют, почему серьёзность понижена.
По спецификации Agent Skills
- предупреждение
missing-refссылка на отсутствующий файл: ../agent-spec/SKILL.md - предупреждение
missing-refссылка на отсутствующий файл: ../llm-cost-latency-budget/SKILL.md - предупреждение
missing-refссылка на отсутствующий файл: ../llm-guardrails-spec/SKILL.md - заметка
frontmatter-keyнеизвестное поле фронтматтера "homepage"
Процессный рейтинг: все десять параметров 56/100
- 0Инструменты и файлы. Не хватает 3 файла(ов): ../agent-spec/SKILL.md, ../llm-cost-latency-budget/SKILL.md, ../llm-guardrails-spec/SKILL.md
- 0Отчётность по ходу. Скилл ничего не сообщает по ходу работы
- 20Когда включается. Не сказано, при каком запросе скилл включается
- 50Ошибки и развилки. Развилок: 0, есть раздел про ошибки
- 60Результат и критерий готовности. Формат результата описан, критерия завершения нет
- 70Входы и предусловия. Входные данные и предусловия перечислены
- 100Шаги. Шагов: 16
- 100Согласованность. Имя и обязательные поля на месте
- 100Стоимость исполнения. Тело инструкции 998 токенов
- 100Повторный запуск. Изменяющие операции проверяют текущее состояние
Всё перечисленное измерено по тексту скилла, а не оценено моделью: цифры проверяемы. Вес параметра тем больше, чем чаще из-за него процесс встаёт.
Сигналы качества
- +5В description нет примеров фраз, по которым скилл должен срабатывать
- +4Описание не говорит, когда скилл НЕ применять (ложные срабатывания)
- +4Нет примеров входа/выхода
- +1Лицензия не указана
- +2Инструкции на одном языке
- +3Длина description 404 символов: достаточно сигнала, не съедает бюджет
- +4Структура: 8 заголовков
- +3Пошаговые инструкции: 16 пунктов
- +3Формат ответа описан явно
База качества 70; замечания lint вычитаются, сигналы прибавляют до 100. Итог: 70.