Универсальная миграция данных: от XDTO до готовой интеграции

Главная цель — разработать универсальный инструмент для миграции данных, который значительно ускорит и упростит процесс переноса информации между различными конфигурациями 1С. Этот инструмент должен быть достаточно гибким, чтобы работать с разнообразными структурами данных и минимизировать ручное вмешательство, при этом предоставляя разработчику полный контроль.

Разработчик загружает два XDTO-пакета в сервис: один как источник, другой как приемник. Искусственный интеллект анализирует метаданные из XDTO и предлагает варианты сопоставления. Это включает поиск объектов с похожими наименованиями (например, «справочник фермы» и «справочник СЖСВ фермы») и их реквизитов.

После автоматического сопоставления, разработчик должен иметь возможность ручной корректировки предложенных вариантов. Это критически важно, так как ИИ может не учесть специфику бизнес-логики или различные типы данных (например, справочник в одной базе может быть документом в другой).

Мэппинг должен охватывать несколько уровней сложности:

• Базовый (верхнеуровневый): Сопоставление объектов метаданных (например, «два пульсовых документа к одному ирпишному»). Это может быть визуализировано как один к одному, один ко многим, многие к одному.
• Реквизитный: Сопоставление отдельных реквизитов внутри объектов. Здесь возникают сложности с различием типов данных и необходимостью применения правил трансформации.
• Продвинутый (с условиями): Возможность задавать условия для сопоставления или трансформации данных. Например, если значение одного реквизита соответствует определенному условию, то оно маппится по одному правилу, иначе — по другому. Это уже выходит за рамки простого табличного мэппинга и требует более сложной визуализации.

Спикер описывает идеальную обработку для универсальной миграции данных, которая может запускаться из любой базы 1С (например, "Пульса" или исторической базы) и выполнять следующие шаги:

1. Подготовка запроса: Разработчик пишет запрос (аналогично консоли запросов) для получения данных для выгрузки. Например, для переноса справочника «Свиноматки», где реквизит «Ферма» в целевой базе хранится в регистре, а не в карточке.
2. Предварительный просмотр данных: После выполнения запроса формируется таблица результатов — превью выгружаемых данных.
3. Загрузка XDTO и выбор объекта: Загружаются XDTO базы-приемника (например, «Пульса»). Разработчик выбирает целевой объект (например, «Справочник Свиноматки»).
4. Автоматический и ручной мэппинг: Обработка предлагает сопоставление колонок из таблицы результатов запроса с реквизитным составом выбранного объекта в базе-приемнике. Разработчик может вручную корректировать это сопоставление.
5. Отправка данных: После подтверждения мэппинга, обработка автоматически формирует нужный метод API (если он есть у целевой системы) и отправляет данные. Таким образом, решается задача не только мэппинга, но и непосредственного переноса данных.
6. Сохранение настроек: Возможность сохранить все настройки (запрос, мэппинг) для повторного использования. Это позволяет единожды настроить миграцию и применять ее на разных клиентах.

Текущие XDTO-пакеты предоставляют базовую информацию о метаданных. Однако для более эффективной миграции и мэппинга хотелось бы иметь дополнительную детализацию:

• Обязательность реквизитов: Информация о том, является ли реквизит обязательным для заполнения. Это критично для предотвращения ошибок при миграции. Спикер отмечает, что стандартные реквизиты (например, «ПометкаУдаления») в XDTO помечены как системные, но информацию об обязательности пользовательских реквизитов приходится узнавать из кода или опыта.
• Длина строк и точность чисел: Для строковых реквизитов — максимальная длина, для числовых — точность и количество знаков после запятой. Несоответствие этих параметров часто приводит к ошибкам при записи данных.
• Синонимы: Хотя синонимы не используются в коде, они могут быть полезны для ИИ при поиске похожих объектов и реквизитов, улучшая качество автоматического сопоставления.