BB alibabacloud-migration-lhm-migrate-hive-to-paimon
Инструмент миграции данных Hive в Paimon Alibaba Cloud DLF, охватывающий полный процесс миграции существующих данных и инкрементной миграции. Миграция существующих данных: автоматическое преобразование Hive DDL в Paimon DDL и внешние таблицы format-table, синхронизация HDFS в OSS с помощью rclone, выполнение INSERT OVERWRITE через Spark Thrift Server, поддержка orc/parquet/csv/json/text; поддержка `--auto-create-db`, `--force`, параллельное выполнение `--max-parallel`, проверка количества строк `--verify`, режим прямого чтения `--direct-read` (пропуск rclone в сценариях OSS-HDFS/DLS), автоматическая генерация отчета о миграции. Инкрементная миграция: трехэтапный конвейер (DDL → rclone → INSERT) для выполнения результатов инкрементного исследования hive-exploration. Встроенный независимый ddl_converter поддерживает быстрое преобразование Hive DDL в DDL для внешних таблиц DLF Paimon/FORMAT. Сценарии использования: вызывается, когда пользователь упоминает "миграция существующих данных", "инкрементная миграция", "инкрементная синхронизация", "миграция Hive Paimon", "создание таблицы Paimon", "миграция озера данных Hive", "format-table", "direct-read", "hive-to-paimon", "migration-lhm-migrate-hive-to-paimon", "преобразование Hive DDL", "создание таблицы DLF", "генерация DDL для Paimon/внешних таблиц", "SQL для подсчета количества записей в таблице".
машинный переводПоказать оригиналСкрыть оригинал«Hive 到阿里云 DLF Paimon 数据迁移工具，覆盖存量迁移与增量迁移全流程。存量迁移：Hive DDL 自动转换为 Paimon…»
Hive 到阿里云 DLF Paimon 数据迁移工具，覆盖存量迁移与增量迁移全流程。存量迁移：Hive DDL 自动转换为 Paimon DDL 与 format-table 外表、rclone 同步 HDFS 到 OSS、Spark Thrift Server 执行 INSERT OVERWRITE，支持 orc/parquet/csv/json/text；提供 --auto-create-db、--force、--max-parallel 并行、--verify 行数校验、--direct-read 直读模式（OSS-HDFS/DLS 场景跳过 rclone）、迁移报告自动生成。增量迁移：三阶段流水线（DDL → rclone → INSERT）执行 hive-exploration 增量探查结果。内置独立 ddl_converter 支持 Hive DDL 快速转换为 DLF Paimon/FORMAT 外表 DDL。使用场景：用户提到"存量迁移"、"增量迁移"、"增量同步"、"Hive Paimon 迁移"、"Paimon 建表"、"Hive 数据湖迁移"、"format-table"、"direct-read"、"hive-to-paimon"、"migration-lhm-migrate-hive-to-paimon"、"转换 Hive DDL"、"建 DLF 表"、"生成 Paimon/外表 DDL"、"表记录数统计SQL"时调用此 skill。
Инструмент миграции данных Hive в Paimon Alibaba Cloud DLF, охватывающий полный процесс миграции существующих данных и инкрементной миграции.
Как процесс B 65/100 · Почти готов — слабые места: когда включается
Чем это грозит
Находки средней серьёзности: скорее всего скилл честный, но прочитайте, что именно насторожило сканер.
Ниже описан худший случай для этой категории. Здесь находка средней серьёзности: guard увидел признак, но не доказательство.
Скилл содержит команды, которые удаляют файлы, переписывают диски или исполняют код, скачанный из сети. Агент может выполнить их без вопроса, если считает, что так требует инструкция.
Замените разрушительные команды на безопасные аналоги с подтверждением, ограничьте область действия конкретной папкой и не тяните код через curl | bash: укажите версию и контрольную сумму.
Как улучшить
- Скажите в description, КОГДА применять скилл («используй, когда…», примеры запросов): это главный сигнал для агента.
- Тело SKILL.md длиннее 5 000 токенов: вынесите справочные детали в references/ и подключайте по необходимости.
- Свои кейсы (evals/evals.json, 4–6 реальных запросов с ожидаемыми ответами): тогда полная проверка прогонит именно их, а не черновик от модели.
- spec.yaml с триггерными фразами и утверждениями — контракт поведения для CI; `skilltest init` создаст шаблон.
Находки guard · 3
✓ Критических и высоких находок нет
Средние и низкие: 3
-
средняя Опасные команды
cmd-pipe-to-shellSKILL.md:264Скачивание и запуск удалённого кода с неизвестного хоста (pipe в shell) (хост вендора самого скилла)# Generic: curl https://rclone.org/install.sh | bash
vendor-host -
низкая Опасные команды
cmd-pipe-to-shellscripts/common.py:1190Скачивание и запуск удалённого кода с неизвестного хоста (pipe в shell) (строковый литерал в коде, не выполняется; хост вендора самого скилла)'curl -s https://rclone.org/install.sh | bash',
строка в кодеvendor-host -
низкая Опасные команды
cmd-pipe-to-shellscripts/common.py:1201Скачивание и запуск удалённого кода с неизвестного хоста (pipe в shell) (строковый литерал в коде, не выполняется; хост вендора самого скилла)print(" 通用: curl https://rclone.org/install.sh | bash")строка в кодеvendor-host
Просканировано файлов: 21. Улики замаскированы. Пометки в серых чипах объясняют, почему серьёзность понижена.
По спецификации Agent Skills
- предупреждение
description-no-whendescription не говорит, КОГДА применять скилл (нет "use when / используй когда") - предупреждение
body-longтело SKILL.md ≈ 5097 токенов (рекомендуется < 5000); вынесите детали в references/
Процессный рейтинг: все десять параметров 65/100
- 20Когда включается. Не сказано, при каком запросе скилл включается
- 50Ошибки и развилки. Развилок: 0, есть раздел про ошибки
- 60Инструменты и файлы. Используются инструменты (bash, python), но во frontmatter они не объявлены
- 60Результат и критерий готовности. Формат результата описан, критерия завершения нет
- 70Входы и предусловия. Входные данные и предусловия перечислены
- 70Стоимость исполнения. Тело инструкции 5097 токенов
- 85Шаги. Шагов: 51, расплывчатых формулировок: 1
- 100Согласованность. Имя и обязательные поля на месте
- 100Повторный запуск. Изменяющие операции проверяют текущее состояние
- 100Отчётность по ходу. Скилл сообщает о ходе работы
- medium Правила безопасности и запреты внутри скилла: их место в системном промпте, здесь они не защищают
- low Разделов верхнего уровня: 21. Похоже на несколько доменов в одном скилле
- low Ответ описан самодельной разметкой (4 тегов): типизированный вызов надёжнее
Всё перечисленное измерено по тексту скилла, а не оценено моделью: цифры проверяемы. Вес параметра тем больше, чем чаще из-за него процесс встаёт.
Сигналы качества
- +4Описание не говорит, когда скилл НЕ применять (ложные срабатывания)
- -32 из 9 скриптов не упомянуты в SKILL.md
- +1Лицензия не указана
- +2Инструкции на одном языке
- +5В description 11 примера фраз-триггеров в кавычках
- +3Длина description 641 символов: достаточно сигнала, не съедает бюджет
- +4Структура: 43 заголовков
- +3Пошаговые инструкции: 51 пунктов
- +3Формат ответа описан явно
- +4Есть примеры (20 блоков кода)
- +4Справочные файлы упоминаются в инструкциях (5 из 5)
База качества 70; замечания lint вычитаются, сигналы прибавляют до 100. Итог: 71.