AB avi-assess
Измеряйте и проверяйте автономию ИИ-агентов с помощью фреймворка Agentic Verifiable Independence (AVI). Используйте, когда агентам необходимо оценить собственную автономию, проверить уровни независимости других агентов или сгенерировать проверяемые оценки автономии по 5 измерениям (решение, финансы, информация, коммуникация, время). Важно для маркетплейсов агентов, проверки доверия и систем репутации.
машинный переводПоказать оригиналСкрыть оригинал«Measure and verify AI agent autonomy using the Agentic Verifiable Inde…»
Measure and verify AI agent autonomy using the Agentic Verifiable Independence (AVI) framework. Use when agents need to assess their own autonomy, verify other agents' independence levels, or generate verifiable autonomy scores across 5 dimensions (Decision, Financial, Information, Communication, Temporal). Essential for agent marketplaces, trust verification, and reputation systems.
Измеряйте и проверяйте автономию ИИ-агентов с помощью фреймворка Agentic Verifiable Independence (AVI).
Как процесс B 65/100 · Почти готов — слабые места: входы и предусловия, ошибки и развилки, отчётность по ходу
Как улучшить
- Свои кейсы (evals/evals.json, 4–6 реальных запросов с ожидаемыми ответами): тогда полная проверка прогонит именно их, а не черновик от модели.
- spec.yaml с триггерными фразами и утверждениями — контракт поведения для CI; `skilltest init` создаст шаблон.
Находки guard · 1
✓ Критических и высоких находок нет
Средние и низкие: 1
-
низкая Секреты в коде
secret-high-entropy-tokenSKILL.md:142Строка, похожая на токен (может быть id, хеш или секрет) (в кавычках — упоминание, а не команда)"assessmentId": "vi-2…1us",
в кавычках
Просканировано файлов: 6. Улики замаскированы. Пометки в серых чипах объясняют, почему серьёзность понижена.
По спецификации Agent Skills
✓ По спецификации Agent Skills замечаний нет
Процессный рейтинг: все десять параметров 65/100
- 0Входы и предусловия. Не сказано, что нужно иметь на входе
- 0Ошибки и развилки. Линейный процесс без обработки сбоев
- 0Отчётность по ходу. Скилл ничего не сообщает по ходу работы
- 50Когда включается. Не сказано, при каком запросе скилл включается
- 60Результат и критерий готовности. Формат результата описан, критерия завершения нет
- 100Инструменты и файлы. Внешние инструменты не нужны
- 100Шаги. Шагов: 16
- 100Согласованность. Имя и обязательные поля на месте
- 100Стоимость исполнения. Тело инструкции 1050 токенов
- 100Повторный запуск. Изменяющих операций нет
Всё перечисленное измерено по тексту скилла, а не оценено моделью: цифры проверяемы. Вес параметра тем больше, чем чаще из-за него процесс встаёт.
Сигналы качества
- +5В description нет примеров фраз, по которым скилл должен срабатывать
- +1Лицензия не указана
- +2Инструкции на одном языке
- +4Описание говорит, когда скилл НЕ применять
- +3Длина description 386 символов: достаточно сигнала, не съедает бюджет
- +4Структура: 17 заголовков
- +3Пошаговые инструкции: 16 пунктов
- +3Формат ответа описан явно
- +4Есть примеры (9 блоков кода)
- +4Справочные файлы упоминаются в инструкциях (2 из 2)
- +3Все 2 скриптов описаны в инструкциях
База качества 70; замечания lint вычитаются, сигналы прибавляют до 100. Итог: 98.