AB skill-test
Оценивает и проверяет качество навыка перед выпуском на ClawHub, skills.sh и аналогичных каталогах. Включает встроенный статический оценщик `scripts/eval_skill.py` плюс руководство по опциональной детерминированной или основанной на LLM оценке. Используйте, когда вам нужно протестировать навык, написать тесты, оценить качество, выявить регрессии, проверить точность триггеров, сравнить версии или решить, готов ли навык к публикации.
машинный переводПоказать оригиналСкрыть оригинал«Evaluate and QA a skill before release on ClawHub, skills.sh, and simi…»
Evaluate and QA a skill before release on ClawHub, skills.sh, and similar directories. Includes the bundled static evaluator `scripts/eval_skill.py` plus guidance for optional deterministic or LLM-assisted grading. Use when you need to test a skill, write evals, benchmark quality, catch regressions, audit trigger accuracy, compare versions, or decide whether a skill is ready to publish.
Оценивает и проверяет качество навыка перед выпуском на ClawHub, skills.sh и аналогичных каталогах. Включает встроенный статический оценщик…
Как процесс B 77/100 · Почти готов — слабые места: согласованность, отчётность по ходу
Как улучшить
- Свои кейсы (evals/evals.json, 4–6 реальных запросов с ожидаемыми ответами): тогда полная проверка прогонит именно их, а не черновик от модели.
- spec.yaml с триггерными фразами и утверждениями — контракт поведения для CI; `skilltest init` создаст шаблон.
Находки guard · 0
✓ Критических и высоких находок нет
Просканировано файлов: 9. Улики замаскированы. Пометки в серых чипах объясняют, почему серьёзность понижена.
По спецификации Agent Skills
✓ По спецификации Agent Skills замечаний нет
Процессный рейтинг: все десять параметров 77/100
- 0Отчётность по ходу. Скилл ничего не сообщает по ходу работы
- 40Согласованность. Имя во frontmatter (skill-test) не совпадает с папкой (skills-test)
- 50Когда включается. Не сказано, при каком запросе скилл включается
- 60Инструменты и файлы. Используются инструменты (bash, python), но во frontmatter они не объявлены
- 70Входы и предусловия. Входные данные и предусловия перечислены
- 100Шаги. Шагов: 106
- 100Результат и критерий готовности. Формат результата и критерий готовности описаны
- 100Ошибки и развилки. Развилок: 3, есть раздел про ошибки
- 100Стоимость исполнения. Тело инструкции 3172 токенов
- 100Повторный запуск. Изменяющие операции проверяют текущее состояние
- low Разделов верхнего уровня: 23. Похоже на несколько доменов в одном скилле
Всё перечисленное измерено по тексту скилла, а не оценено моделью: цифры проверяемы. Вес параметра тем больше, чем чаще из-за него процесс встаёт.
Сигналы качества
- +5В description нет примеров фраз, по которым скилл должен срабатывать
- +4Описание не говорит, когда скилл НЕ применять (ложные срабатывания)
- +1Лицензия не указана
- +2Инструкции на одном языке
- +3Длина description 389 символов: достаточно сигнала, не съедает бюджет
- +4Структура: 24 заголовков
- +3Пошаговые инструкции: 106 пунктов
- +3Формат ответа описан явно
- +4Есть примеры (4 блоков кода)
- +4Справочные файлы упоминаются в инструкциях (5 из 5)
- +3Все 1 скриптов описаны в инструкциях
База качества 70; замечания lint вычитаются, сигналы прибавляют до 100. Итог: 94.