AC eval-integrity
Аудит репозитория оценки или бенчмарка LLM на предмет целостности и достоверности. Используйте, когда вас просят «audit my benchmark», «is my eval trustworthy», «check my leaderboard for contamination», «review this benchmark's methodology» или «what would a reviewer attack in my eval». Ищет в целевом репозитории доказательства по семи измерениям (предварительная регистрация, загрязнение, гигиена отложенной выборки, достоверность судей, статистическая честность, воспроизводимость, исключения из таблицы лидеров) и выдает оцененный отчет с указанием файла:строки, серьезности и конкретных исправлений.
машинный переводПоказать оригиналСкрыть оригинал«Audit an LLM evaluation or benchmark repo for integrity and credibilit…»
Audit an LLM evaluation or benchmark repo for integrity and credibility practices. Use when asked to "audit my benchmark," "is my eval trustworthy," "check my leaderboard for contamination," "review this benchmark's methodology," or "what would a reviewer attack in my eval." Greps the target repo for evidence across seven dimensions (pre-registration, contamination, holdout hygiene, judge validity, statistical honesty, reproducibility, leaderboard exclusions) and emits a scored report with file:line evidence, severity, and concrete fixes.
Аудит репозитория оценки или бенчмарка LLM на предмет целостности и достоверности.
Как процесс C 51/100 · Есть пробелы — слабые места: результат и критерий готовности, когда включается, входы и предусловия
Как улучшить
- Свои кейсы (evals/evals.json, 4–6 реальных запросов с ожидаемыми ответами): тогда полная проверка прогонит именно их, а не черновик от модели.
- spec.yaml с триггерными фразами и утверждениями — контракт поведения для CI; `skilltest init` создаст шаблон.
Находки guard · 0
✓ Критических и высоких находок нет
Просканировано файлов: 4. Улики замаскированы. Пометки в серых чипах объясняют, почему серьёзность понижена.
По спецификации Agent Skills
✓ По спецификации Agent Skills замечаний нет
Процессный рейтинг: все десять параметров 51/100
- 0Результат и критерий готовности. Не сказано, что считать результатом
- 0Входы и предусловия. Не сказано, что нужно иметь на входе
- 0Отчётность по ходу. Скилл ничего не сообщает по ходу работы
- 20Когда включается. Не сказано, при каком запросе скилл включается
- 30Повторный запуск. Изменяющих операций: 15, без проверки текущего состояния
- 40Согласованность. Имя во frontmatter (eval-integrity) не совпадает с папкой (cot-eval-integrity)
- 55Ошибки и развилки. Развилок: 1
- 100Инструменты и файлы. Внешние инструменты не нужны
- 100Шаги. Шагов: 32
- 100Стоимость исполнения. Тело инструкции 2696 токенов
- low Разделов верхнего уровня: 10. Похоже на несколько доменов в одном скилле
Всё перечисленное измерено по тексту скилла, а не оценено моделью: цифры проверяемы. Вес параметра тем больше, чем чаще из-за него процесс встаёт.
Сигналы качества
- +4Описание не говорит, когда скилл НЕ применять (ложные срабатывания)
- +3Формат ответа не описан: модель каждый раз решает сама
- +1Лицензия не указана
- +2Инструкции на одном языке
- +5В description 5 примера фраз-триггеров в кавычках
- +3Длина description 544 символов: достаточно сигнала, не съедает бюджет
- +4Структура: 11 заголовков
- +3Пошаговые инструкции: 32 пунктов
- +4Есть примеры (2 блоков кода)
База качества 70; замечания lint вычитаются, сигналы прибавляют до 100. Итог: 89.