AC alibabacloud-safety-checker
Автоматизированное тестирование модерации контента и ИИ-защиты Alibaba Cloud. Тестирует образцы контента с помощью API модерации, сравнивает несколько сервисов, отслеживает requestId/traceId, поддерживает ручную аннотацию, глубокий анализ ложных срабатываний, межпакетное сравнение, тестирование ИИ-защиты (инъекции подсказок, конфиденциальные данные, обход блокировок) и генерирует отчеты о соответствии. Используйте, когда пользователь спрашивает о безопасности контента, тестировании модерации, стратегии модерации, настройке меток, проверке контента, пакетных проверках безопасности, анализе пропусков, ИИ-защите, обнаружении инъекций подсказок или тестировании защитных ограждений.
машинный переводПоказать оригиналСкрыть оригинал«Alibaba Cloud content moderation and AI guardrails automated testing.…»
Alibaba Cloud content moderation and AI guardrails automated testing. Tests sample content against moderation APIs, compares multiple services, tracks requestId/traceId, supports manual annotation, deep false-negative analysis, cross-batch comparison, AI guardrails testing (prompt injection, sensitive data, jailbreak), and generates alignment reports. Use when user asks about content safety, moderation testing, moderation strategy, label configuration, content review, batch safety checks, miss analysis, AI guardrails, prompt injection detection, or safety guardrails testing.
Автоматизированное тестирование модерации контента и ИИ-защиты Alibaba Cloud.
Как процесс C 53/100 · Есть пробелы — слабые места: результат и критерий готовности, когда включается, входы и предусловия
Как улучшить
- Свои кейсы (evals/evals.json, 4–6 реальных запросов с ожидаемыми ответами): тогда полная проверка прогонит именно их, а не черновик от модели.
- spec.yaml с триггерными фразами и утверждениями — контракт поведения для CI; `skilltest init` создаст шаблон.
Находки guard · 0
✓ Критических и высоких находок нет
Просканировано файлов: 28. Улики замаскированы. Пометки в серых чипах объясняют, почему серьёзность понижена.
По спецификации Agent Skills
✓ По спецификации Agent Skills замечаний нет
Процессный рейтинг: все десять параметров 53/100
- 0Результат и критерий готовности. Не сказано, что считать результатом
- 0Входы и предусловия. Не сказано, что нужно иметь на входе
- 0Ошибки и развилки. Линейный процесс без обработки сбоев
- 0Отчётность по ходу. Скилл ничего не сообщает по ходу работы
- 20Когда включается. Не сказано, при каком запросе скилл включается
- 100Инструменты и файлы. Инструменты объявлены во frontmatter
- 100Шаги. Шагов: 30
- 100Согласованность. Имя и обязательные поля на месте
- 100Стоимость исполнения. Тело инструкции 1934 токенов
- 100Повторный запуск. Изменяющих операций нет
Всё перечисленное измерено по тексту скилла, а не оценено моделью: цифры проверяемы. Вес параметра тем больше, чем чаще из-за него процесс встаёт.
Сигналы качества
- +5В description нет примеров фраз, по которым скилл должен срабатывать
- +4Описание не говорит, когда скилл НЕ применять (ложные срабатывания)
- +3Формат ответа не описан: модель каждый раз решает сама
- -36 из 14 скриптов не упомянуты в SKILL.md
- +1Лицензия не указана
- +2Инструкции на одном языке
- +3Длина description 581 символов: достаточно сигнала, не съедает бюджет
- +4Структура: 28 заголовков
- +3Пошаговые инструкции: 30 пунктов
- +4Есть примеры (15 блоков кода)
- +4Справочные файлы упоминаются в инструкциях (3 из 4)
База качества 70; замечания lint вычитаются, сигналы прибавляют до 100. Итог: 85.