FF skill-compass
Оценка качества навыков, поиск самого слабого аспекта и применение целенаправленных улучшений. Также отслеживает использование для выявления неактивных или рискованных навыков. Используйте, когда: первая сессия после установки, или пользователь спрашивает о качестве навыка, оценке, входящих сообщениях, предложениях или улучшениях.
машинный переводПоказать оригиналСкрыть оригинал«Evaluate skill quality, find the weakest dimension, and apply directed…»
Evaluate skill quality, find the weakest dimension, and apply directed improvements. Also tracks usage to spot idle or risky skills. Use when: first session after install, or user asks about skill quality, evaluation, inbox, suggestions, or improvement.
Оценка качества навыков, поиск самого слабого аспекта и применение целенаправленных улучшений.
Как процесс F 54/100 · Не запустится — Скилл ссылается на файлы, которых нет в архиве: scripts/hud-extra.js
Чем это грозит
Скилл содержит фрагменты, которые в чужих руках стоят денег или данных. Ниже, что рискует потерять тот, кто установит, и что должен сделать автор.
В файлах лежит чужой ключ или токен. Если он живой, ваш агент начнёт ходить в чужие сервисы от чужого имени; если ключ уже отозван, скрипты скилла просто сломаются. Такой ключ мог попасть в скилл вместе с целым рабочим пространством автора, включая личные данные.
Ключ виден всем, кто скачал скилл, и уже мог быть скопирован ботами, которые сканируют каталоги. Отзовите его сейчас, проверьте счета и логи доступа, а потом перевыпустите.
Скилл просит агента что-то скрывать от вас: не показывать ошибки, не упоминать действия, отвечать иначе, чем было сделано. Вы теряете возможность контролировать, что агент реально сделал.
Прозрачность важнее гладкого ответа. Если хочется спрятать технический шум, попросите агента «кратко сообщить», а не «не сообщать».
Как улучшить
- Уберите критические находки guard (секреты, опасные команды, скрытые инструкции): пока они есть, скилл заблокирован и не может получить оценку выше F.
- В тексте есть ссылки на отсутствующие файлы: добавьте файлы или уберите ссылки.
- Свои кейсы (evals/evals.json, 4–6 реальных запросов с ожидаемыми ответами): тогда полная проверка прогонит именно их, а не черновик от модели.
- spec.yaml с триггерными фразами и утверждениями — контракт поведения для CI; `skilltest init` создаст шаблон.
Находки guard · 9
-
критично Секреты в коде
secret-anthropic-keyprompts/d3-security.md:284Ключ Anthropic API (в кавычках — упоминание, а не команда)API_KEY = "sk-a…789"
в кавычках -
критично Секреты в коде
secret-anthropic-keyprompts/d3-security.md:307Ключ Anthropic API (в кавычках — упоминание, а не команда)"description": "Hardcoded Anthropic API key: sk-a…789",
в кавычках -
высокая Сокрытие от пользователя
en-hide-from-userSKILL.md:56Инструкция скрыть действия от пользователяSilently run skill discovery (scan immediate children `*/SKILL.md` in each skill root — same as `/setup` Step 3, do NOT recurse) and D1+D2+D3 quick scan on all discovered skills. Save `setup-state.jso
Средние и низкие: 6
-
средняя Секреты в коде
secret-labelled-tokenprompts/d3-security.md:284Токен / ключ рядом с меткой (формат неизвестен — проверьте, что это не живой секрет)API_KEY = "sk-a…789"
-
низкая Рискованное назначение
intent-offensive-securityprompts/d3-security.md:72Наступательная безопасность / двойное назначение (допустимо для авторизованного тестирования; проверьте назначение)### 3. File System Privilege Escalation
-
низкая Рискованное назначение
intent-offensive-securityprompts/d3-security.md:164Наступательная безопасность / двойное назначение (допустимо для авторизованного тестирования; проверьте назначение)| High | Privilege escalation, excessive permissions | -3 per finding |
-
низкая Секреты в коде
secret-password-literalprompts/d3-security.md:284Захардкоженный пароль / ключ (возможно, пример)API_KEY = "sk-a…789"
-
низкая Секреты в коде
secret-labelled-tokenprompts/d3-security.md:307Токен / ключ рядом с меткой (формат неизвестен — проверьте, что это не живой секрет) (в кавычках — упоминание, а не команда)"description": "Hardcoded Anthropic API key: sk-a…789",
в кавычках -
низкая Рискованное назначение
intent-offensive-securityshared/tool-instructions.md:13Наступательная безопасность / двойное назначение (допустимо для авторизованного тестирования; проверьте назначение)3. **File system privilege escalation** — access outside expected scope
Просканировано файлов: 62. Улики замаскированы. Пометки в серых чипах объясняют, почему серьёзность понижена.
По спецификации Agent Skills
- предупреждение
missing-refссылка на отсутствующий файл: scripts/hud-extra.js - заметка
frontmatter-keyнеизвестное поле фронтматтера "commands"
Процессный рейтинг: все десять параметров 54/100
- 0Инструменты и файлы. Не хватает 1 файла(ов): scripts/hud-extra.js
- 0Входы и предусловия. Не сказано, что нужно иметь на входе
- 0Отчётность по ходу. Скилл ничего не сообщает по ходу работы
- 20Когда включается. Не сказано, при каком запросе скилл включается
- 60Результат и критерий готовности. Формат результата описан, критерия завершения нет
- 100Шаги. Шагов: 59
- 100Ошибки и развилки. Развилок: 5, есть раздел про ошибки
- 100Согласованность. Имя и обязательные поля на месте
- 100Стоимость исполнения. Тело инструкции 3476 токенов
- 100Повторный запуск. Изменяющие операции проверяют текущее состояние
- medium Правила безопасности и запреты внутри скилла: их место в системном промпте, здесь они не защищают
- low Разделов верхнего уровня: 10. Похоже на несколько доменов в одном скилле
Всё перечисленное измерено по тексту скилла, а не оценено моделью: цифры проверяемы. Вес параметра тем больше, чем чаще из-за него процесс встаёт.
Сигналы качества
- +5В description нет примеров фраз, по которым скилл должен срабатывать
- +4Описание не говорит, когда скилл НЕ применять (ложные срабатывания)
- +1Лицензия не указана
- +2Инструкции на одном языке
- +3Длина description 253 символов: достаточно сигнала, не съедает бюджет
- +4Структура: 23 заголовков
- +3Пошаговые инструкции: 59 пунктов
- +3Формат ответа описан явно
- +4Есть примеры (10 блоков кода)
База качества 70; замечания lint вычитаются, сигналы прибавляют до 100. Итог: 80.