Инфраструктура
Платформа интеграции данных от множества провайдеров
Приём, нормализация, версионирование и мониторинг данных от множества внешних провайдеров с изоляцией от их нестабильности.
Контекст
Данные поступали от множества внешних провайдеров с разными форматами, частотой обновления и надёжностью.
Задача
Несогласованные схемы, тихие сбои на стороне провайдеров и отсутствие версионирования приводили к тому, что данные ломались незаметно и обнаруживались по последствиям.
Ограничения
Изоляция процессов от нестабильности провайдеров, воспроизводимость, аудит изменений схем.
Архитектура
Адаптеры провайдеров → нормализация → версионирование → витрина данных для процессов. Каждый провайдер скрыт за единым контрактом.
Слой ИИ
Классификация аномалий в поступающих данных и подсказки по сопоставлению схем при их изменении.
Модель событий
Поступление и изменение данных — события приёма, проверки и пересборки витрин; без ночных пакетных прогонов.
Интеграции
Разнородные API провайдеров приведены к единому нормализованному контракту, скрывающему различия от потребителей.
Потоки автоматизации
Приём, проверка, дедупликация, версионирование, оповещение об аномалиях и расхождениях.
Инфраструктура
Очереди приёма, идемпотентность, изоляция отказов отдельных провайдеров от остальной системы.
Наблюдаемость
Мониторинг полноты, свежести и качества по каждому провайдеру отдельно, а не «в среднем».
Результаты
Процессы получают стабильные данные несмотря на нестабильность источников; поломки обнаруживаются до последствий.
Чему научились
Интеграция — это контракт и версионирование, а не разовый перенос данных; «в среднем всё хорошо» скрывает проблему конкретного провайдера.