AC audit-integrity
Общий фреймворк целостности аудита для всех агентов AppSec — обеспечивает качество вывода, интеллектуальную честность и постоянное совершенствование посредством механизмов защиты от рационализации, циклов самокритики, протоколов повторных попыток, не подлежащих обсуждению поведений, этапов контроля качества саморефлексии (оценка от 1 до 10, порог ≥8) и системы самообучения с управлением уроками/памятью для агентов анализа безопасности.
машинный переводПоказать оригиналСкрыть оригинал«Shared audit integrity framework for all AppSec agents — enforces outp…»
Shared audit integrity framework for all AppSec agents — enforces output quality, intellectual honesty, and continuous improvement through anti-rationalization guards, self-critique loops, retry protocols, non-negotiable behaviors, self-reflection quality gates (1-10 scoring, ≥8 threshold), and a self-learning system with lesson/memory governance for security analysis agents.
Общий фреймворк целостности аудита для всех агентов AppSec — обеспечивает качество вывода, интеллектуальную честность и постоянное совершенствование…
Как процесс C 56/100 · Есть пробелы — слабые места: результат и критерий готовности, когда включается, входы и предусловия
Как улучшить
- Свои кейсы (evals/evals.json, 4–6 реальных запросов с ожидаемыми ответами): тогда полная проверка прогонит именно их, а не черновик от модели.
- spec.yaml с триггерными фразами и утверждениями — контракт поведения для CI; `skilltest init` создаст шаблон.
Находки guard · 4
✓ Критических и высоких находок нет
Средние и низкие: 4
-
низкая Рискованное назначение
intent-offensive-securityreferences/anti-rationalization-guard.md:37Наступательная безопасность / двойное назначение (допустимо для авторизованного тестирования; проверьте назначение) (строка таблицы в документации)| "Lateral movement is unlikely here" | Document the specific architectural control that prevents pivoting and verify it is implemented — do not assume. |
таблица -
низкая Рискованное назначение
intent-offensive-securityreferences/self-critique-loop.md:20Наступательная безопасность / двойное назначение (допустимо для авторизованного тестирования; проверьте назначение)### STRIDE-LM (Lateral Movement)
-
низкая Рискованное назначение
intent-offensive-securityreferences/self-critique-loop.md:24Наступательная безопасность / двойное назначение (допустимо для авторизованного тестирования; проверьте назначение)6. **Lateral movement audit**: Re-trace all identified pivot paths. Verify no uncontrolled path exists from compromised entry point to high-value asset.
-
низкая Рискованное назначение
intent-offensive-securityreferences/self-reflection-quality-gate.md:42Наступательная безопасность / двойное назначение (допустимо для авторизованного тестирования; проверьте назначение)| **Coverage** | Were all lateral movement paths, trust boundaries, and post-exploitation chains assessed? | ≥ 8 |
Просканировано файлов: 8. Улики замаскированы. Пометки в серых чипах объясняют, почему серьёзность понижена.
По спецификации Agent Skills
✓ По спецификации Agent Skills замечаний нет
Процессный рейтинг: все десять параметров 56/100
- 0Результат и критерий готовности. Не сказано, что считать результатом
- 0Входы и предусловия. Не сказано, что нужно иметь на входе
- 0Отчётность по ходу. Скилл ничего не сообщает по ходу работы
- 20Когда включается. Не сказано, при каком запросе скилл включается
- 30Повторный запуск. Изменяющих операций: 1, без проверки текущего состояния
- 50Ошибки и развилки. Развилок: 0, есть раздел про ошибки
- 100Инструменты и файлы. Внешние инструменты не нужны
- 100Шаги. Шагов: 13
- 100Согласованность. Имя и обязательные поля на месте
- 100Стоимость исполнения. Тело инструкции 695 токенов
Всё перечисленное измерено по тексту скилла, а не оценено моделью: цифры проверяемы. Вес параметра тем больше, чем чаще из-за него процесс встаёт.
Сигналы качества
- +5В description нет примеров фраз, по которым скилл должен срабатывать
- +4Описание не говорит, когда скилл НЕ применять (ложные срабатывания)
- +3Формат ответа не описан: модель каждый раз решает сама
- +1Лицензия не указана
- +2Инструкции на одном языке
- +3Длина description 378 символов: достаточно сигнала, не съедает бюджет
- +4Структура: 6 заголовков
- +3Пошаговые инструкции: 13 пунктов
- +4Есть примеры (0 блоков кода)
- +4Справочные файлы упоминаются в инструкциях (7 из 7)
База качества 70; замечания lint вычитаются, сигналы прибавляют до 100. Итог: 88.