AB skill-creator
Создавайте новые навыки, изменяйте и улучшайте существующие навыки, а также измеряйте производительность навыков. Используйте, когда пользователи хотят создать навык с нуля, отредактировать или оптимизировать существующий навык, запустить оценку для тестирования навыка, сравнить производительность навыка с анализом отклонений или оптимизировать описание навыка для повышения точности срабатывания. (Изменено для использования Opencode вместо Claude Code CLI - автоматическое определение местоположения opencode)
машинный переводПоказать оригиналСкрыть оригинал«Create new skills, modify and improve existing skills, and measure ski…»
Create new skills, modify and improve existing skills, and measure skill performance. Use when users want to create a skill from scratch, edit, or optimize an existing skill, run evals to test a skill, benchmark skill performance with variance analysis, or optimize a skill's description for better triggering accuracy. (Modified to use Opencode instead of Claude Code CLI - auto-detects opencode location)
Создавайте новые навыки, изменяйте и улучшайте существующие навыки, а также измеряйте производительность навыков.
Как процесс B 66/100 · Почти готов — слабые места: согласованность, стоимость исполнения
Как улучшить
- Тело SKILL.md длиннее 5 000 токенов: вынесите справочные детали в references/ и подключайте по необходимости.
- Свои кейсы (evals/evals.json, 4–6 реальных запросов с ожидаемыми ответами): тогда полная проверка прогонит именно их, а не черновик от модели.
- spec.yaml с триггерными фразами и утверждениями — контракт поведения для CI; `skilltest init` создаст шаблон.
Находки guard · 0
✓ Критических и высоких находок нет
Просканировано файлов: 21. Улики замаскированы. Пометки в серых чипах объясняют, почему серьёзность понижена.
По спецификации Agent Skills
- предупреждение
body-longтело SKILL.md ≈ 8222 токенов (рекомендуется < 5000); вынесите детали в references/
Процессный рейтинг: все десять параметров 66/100
- 40Согласованность. Имя во frontmatter (skill-creator) не совпадает с папкой (skill-creator-opencode)
- 40Стоимость исполнения. Тело инструкции 8222 токенов: вытесняет саму задачу из окна
- 50Когда включается. Не сказано, при каком запросе скилл включается
- 60Инструменты и файлы. Используются инструменты (bash, python), но во frontmatter они не объявлены
- 60Шаги. Шагов: 87, расплывчатых формулировок: 4
- 70Входы и предусловия. Входные данные и предусловия перечислены
- 70Ошибки и развилки. Развилок: 25
- 100Результат и критерий готовности. Формат результата и критерий готовности описаны
- 100Повторный запуск. Изменяющие операции проверяют текущее состояние
- 100Отчётность по ходу. Скилл сообщает о ходе работы
- medium Правила безопасности и запреты внутри скилла: их место в системном промпте, здесь они не защищают
- low Разделов верхнего уровня: 10. Похоже на несколько доменов в одном скилле
- low Ответ описан самодельной разметкой (9 тегов): типизированный вызов надёжнее
Всё перечисленное измерено по тексту скилла, а не оценено моделью: цифры проверяемы. Вес параметра тем больше, чем чаще из-за него процесс встаёт.
Сигналы качества
- +5В description нет примеров фраз, по которым скилл должен срабатывать
- +4Описание не говорит, когда скилл НЕ применять (ложные срабатывания)
- -36 из 9 скриптов не упомянуты в SKILL.md
- +2Инструкции на одном языке
- +3Длина description 406 символов: достаточно сигнала, не съедает бюджет
- +4Структура: 35 заголовков
- +3Пошаговые инструкции: 87 пунктов
- +3Формат ответа описан явно
- +4Есть примеры (16 блоков кода)
- +4Справочные файлы упоминаются в инструкциях (1 из 1)
- +1Лицензия указана
База качества 70; замечания lint вычитаются, сигналы прибавляют до 100. Итог: 79.