B agented
A text editor for LLMs, not humans.
- Безопасность 60%
- Качество 40%
- Тесты бонус
Чем это грозит
Находки средней серьёзности: скорее всего скилл честный, но прочитайте, что именно насторожило сканер.
Ниже описан худший случай для этой категории. Здесь находка средней серьёзности: guard увидел признак, но не доказательство.
Скилл содержит команды, которые удаляют файлы, переписывают диски или исполняют код, скачанный из сети. Агент может выполнить их без вопроса, если считает, что так требует инструкция.
Замените разрушительные команды на безопасные аналоги с подтверждением, ограничьте область действия конкретной папкой и не тяните код через curl | bash: укажите версию и контрольную сумму.
Как улучшить
- Скажите в description, КОГДА применять скилл («используй, когда…», примеры запросов): это главный сигнал для срабатывания.
- Тело SKILL.md длиннее 5 000 токенов: вынесите справочные детали в references/ и подключайте по необходимости.
- Добавьте evals/evals.json с 4–6 реальными запросами и ожидаемыми ответами: тогда полная проверка использует ваши кейсы, а не черновик модели.
- Добавьте spec.yaml с триггерами и утверждениями (skilltest init): это контракт поведения для CI.
Находки guard · 3
✓ Критических и высоких находок нет
Средние и низкие: 3
-
средняя Опасные команды
cmd-disable-securityCHANGELOG.md:223Отключение средства защиты (Defender, Gatekeeper, SIP, firewall, execution policy) (в кавычках — упоминание, а не команда)- **Migrated to `homebrew_casks:` from deprecated `brews:`**. goreleaser deprecated formula generation in v2.10 in favor of casks. The cask path also gives us `postflight` hooks: a one-line `xattr -dr
в кавычках -
средняя Опасные команды
cmd-pipe-to-shell-known-hostREADME.md:53Установщик через pipe в shell с известного хоста (всё равно выполняет удалённый код)curl -sSL https://raw.githubusercontent.com/frane/agented/master/install.sh | sh
-
низкая Опасные команды
cmd-background-processCHANGELOG.md:326Запуск фонового / автозапускаемого процесса (в кавычках — упоминание, а не команда)- **Cross-platform build.** v0.3.0 release-build failed on `wind…d64` because `internal/cli/lsp.go` used `syscall.Kill` and `syscall.SysProcAttr.Setsid`, both Unix-only. Split daemon-spawn into `
в кавычках
Просканировано файлов: 4. Улики замаскированы. Пометки в серых чипах объясняют, почему серьёзность понижена.
Lint
- предупреждение
description-shortdescription короче 40 символов: модели не хватит сигнала для срабатывания - предупреждение
description-no-whendescription не говорит, КОГДА применять скилл (нет "use when / используй когда") - предупреждение
body-longтело SKILL.md ≈ 8904 токенов (рекомендуется < 5000); вынесите детали в references/ - заметка
frontmatter-keyнеизвестное поле фронтматтера "binary"
Процессная зрелость 64/100
- 0Входы и предусловия. Не сказано, что нужно иметь на входе
- 30Когда включается. Не сказано, при каком запросе скилл включается
- 40Стоимость исполнения. Тело инструкции 8904 токенов: вытесняет саму задачу из окна
- 60Инструменты и файлы. Используются инструменты (bash, web, python), но во frontmatter они не объявлены
- 60Результат и критерий готовности. Формат результата описан, критерия завершения нет
- 100Шаги. Шагов: 60
- 100Ошибки и развилки. Развилок: 11, есть раздел про ошибки
- 100Согласованность. Имя и обязательные поля на месте
- 100Повторный запуск. Изменяющие операции проверяют текущее состояние
- 100Отчётность по ходу. Скилл сообщает о ходе работы
- medium Правила безопасности и запреты внутри скилла: их место в системном промпте, здесь они не защищают
- low Разделов верхнего уровня: 19. Похоже на несколько доменов в одном скилле
- low Ответ описан самодельной разметкой (59 тегов): типизированный вызов надёжнее
Всё перечисленное измерено по тексту скилла, а не оценено моделью: цифры проверяемы. Вес параметра тем больше, чем чаще из-за него процесс встаёт.
Сигналы качества
- +5В description нет примеров фраз, по которым скилл должен срабатывать
- +4Описание не говорит, когда скилл НЕ применять (ложные срабатывания)
- +3Длина description 35: рекомендуется 120–800 символов
- +1Лицензия не указана
- +2Инструкции на одном языке
- +4Структура: 34 заголовков
- +3Пошаговые инструкции: 60 пунктов
- +3Формат ответа описан явно
- +4Есть примеры (16 блоков кода)
База качества 70; замечания lint вычитаются, сигналы прибавляют до 100. Итог: 53.