BC qa-output-validation
Последний раунд проверки тестовых случаев на предмет галлюцинаций перед окончательным выводом: проверка фактов (существует ли указанный ID требования), проверка согласованности (не противоречат ли случаи друг другу), проверка выполнимости (можно ли фактически выполнить шаги), отслеживание источника (можно ли отследить каждый случай до конкретного требования). Используйте этот навык, когда тестовые случаи уже сгенерированы и готовы к выводу, но вы не уверены, не выдумал ли ИИ несуществующие функции или требования. Это финальный контроль качества всего рабочего процесса — при неудачной проверке необходимо вернуть список проблем для исправления, нельзя пропускать. Этот навык относится к набору навыков QA Test Skills (один из 49 навыков), для полного рабочего процесса требуется установка всего набора: npx skills add Kokxi/qa-test-skills
машинный переводПоказать оригиналСкрыть оригинал«在最终输出前对测试用例做最后一轮防幻觉验证:事实核查(引用的需求ID是否存在)、一致性检查(用例之间是否矛盾)、可执行性验证(步骤是否能实际…»
在最终输出前对测试用例做最后一轮防幻觉验证:事实核查(引用的需求ID是否存在)、一致性检查(用例之间是否矛盾)、可执行性验证(步骤是否能实际操作)、来源追溯(每个用例是否能追溯到具体需求)。当测试用例已经生成完毕、准备输出了,但你不确定AI有没有编造不存在的功能或需求时,应当使用此技能。这是整个工作流的最终质量守门——如果验证失败,必须返回问题清单要求修正,不得跳过。 本技能属于 QA Test Skills 技能集(49 个技能之一),完整工作流体验需安装全套:npx skills add Kokxi/qa-test-skills
Последний раунд проверки тестовых случаев на предмет галлюцинаций перед окончательным выводом: проверка фактов (существует ли указанный ID требования)…
Как процесс C 53/100 · Есть пробелы — слабые места: результат и критерий готовности, когда включается, входы и предусловия
Как улучшить
- Скажите в description, КОГДА применять скилл («используй, когда…», примеры запросов): это главный сигнал для агента.
- Свои кейсы (evals/evals.json, 4–6 реальных запросов с ожидаемыми ответами): тогда полная проверка прогонит именно их, а не черновик от модели.
- spec.yaml с триггерными фразами и утверждениями — контракт поведения для CI; `skilltest init` создаст шаблон.
Находки guard · 0
✓ Критических и высоких находок нет
Просканировано файлов: 1. Улики замаскированы. Пометки в серых чипах объясняют, почему серьёзность понижена.
По спецификации Agent Skills
- предупреждение
description-no-whendescription не говорит, КОГДА применять скилл (нет "use when / используй когда") - заметка
frontmatter-keyнеизвестное поле фронтматтера "slug" - заметка
frontmatter-keyнеизвестное поле фронтматтера "displayName" - заметка
frontmatter-keyнеизвестное поле фронтматтера "related_skills" - заметка
frontmatter-keyнеизвестное поле фронтматтера "input_format" - заметка
frontmatter-keyнеизвестное поле фронтматтера "output_format" - заметка
frontmatter-keyнеизвестное поле фронтматтера "error_recovery_guidance" - заметка
frontmatter-keyнеизвестное поле фронтматтера "categories" - заметка
frontmatter-keyнеизвестное поле фронтматтера "depth_requirement_quantification"
Процессный рейтинг: все десять параметров 53/100
- 0Результат и критерий готовности. Не сказано, что считать результатом
- 0Входы и предусловия. Не сказано, что нужно иметь на входе
- 0Ошибки и развилки. Линейный процесс без обработки сбоев
- 0Отчётность по ходу. Скилл ничего не сообщает по ходу работы
- 20Когда включается. Не сказано, при каком запросе скилл включается
- 100Инструменты и файлы. Инструменты объявлены во frontmatter
- 100Шаги. Шагов: 6
- 100Согласованность. Имя и обязательные поля на месте
- 100Стоимость исполнения. Тело инструкции 1089 токенов
- 100Повторный запуск. Изменяющих операций нет
Всё перечисленное измерено по тексту скилла, а не оценено моделью: цифры проверяемы. Вес параметра тем больше, чем чаще из-за него процесс встаёт.
Сигналы качества
- +5В description нет примеров фраз, по которым скилл должен срабатывать
- +4Описание не говорит, когда скилл НЕ применять (ложные срабатывания)
- +3Формат ответа не описан: модель каждый раз решает сама
- +1Лицензия не указана
- +2Инструкции на одном языке
- +3Длина description 269 символов: достаточно сигнала, не съедает бюджет
- +4Структура: 17 заголовков
- +3Пошаговые инструкции: 6 пунктов
- +4Есть примеры (8 блоков кода)
База качества 70; замечания lint вычитаются, сигналы прибавляют до 100. Итог: 69.