УДК 004

Архитектура и функциональность современной 
платформы управления данными

З.С. Андронов, К.Н. Галимзянова

Владивостокский государственный университет, г. Владивосток, Россия

В условиях, когда данные становятся стратегическим активом, а разрозненность информационных систем и отсутствие единого центра управления ими сдерживают развитие бизнеса, особую актуальность приобретает разработка специализированных платформ. В статье рассматривается практический подход к созданию масштабируемой платформы управления данными на базе open-source-технологий. Целью работы являлось проектирование и реализация решения, обеспечивающего сквозную обработку данных — от интеграции из гетерогенных источников до анализа и визуализации. В результате был разработан и развернут прототип платформы, который позволил унифицировать и автоматизировать ключевые процессы, а также сформировать архитектурный фундамент для дальнейшего развития аналитических возможностей финансовой организации, что демонстрирует практическую значимость и потенциал адаптации предложенной методологии в других отраслях.
Ключевые слова: управление данными, платформа данных, корпоративные данные, архитектура платформы, ETL, бизнес-аналитика, интеграция данных, большие данные, цифровая трансформация, банковские информационные системы.

Architecture and functionality of 
a modern data management platform

Z.S. Andronov, K.N. Galimzyanova

Vladivostok State University, Vladivostok, Russia

In the current environment, where data is becoming a strategic asset, the fragmentation of information systems and the lack of a single management center hinder business development, making the development of specialized platforms particularly relevant. This article discusses a practical approach to creating a scalable data management platform based on open-source technologies. The aim of the work was to design and implement a solution that ensures end-to-end data processing—from integration from heterogeneous sources to analysis and visualization. As a result, a platform prototype was developed and deployed, which made it possible to unify and automate key processes, as well as to form an architectural foundation for the further development of the financial organization's analytical capabilities. This demonstrates the practical significance and potential for adapting the proposed methodology in other industries.
Keywords: data management, data platform, corporate data, platform architecture, ETL, business analytics, data integration, big data, digital transformation, banking information systems.
В современной цифровой экономике данные превратились из вспомогательного ресурса в стратегический актив, непосредственно влияющий на принятие управленческих решений, развитие продуктов и устойчивость организаций в конкурентной среде. Возросшие объемы информации и необходимость оперативной ее обработки требуют от компаний пересмотра традиционных подходов к управлению данными. Однако на практике многие организации продолжают сталкиваться с системными проблемами, такими как разрозненность хранилищ, низкий уровень автоматизации обработки и отсутствие единого центра управления данными. Эти вызовы особенно актуальны для предприятий с разветвленной ИТ-инфраструктурой и значительными объемами накапливаемой информации, где фрагментация данных становится критическим препятствием для цифровой трансформации.
Современные организации вынуждены работать с данными, распределенными между разнородными системами - базами данных, API-сервисами, файловыми хранилищами, электронными таблицами, логами приложений и BI-инструментами. Такая гетерогенность инфраструктуры приводит к неизбежной фрагментации, дублированию информации и значительным сложностям в сопровождении сквозных аналитических процессов. Отсутствие единой методологии управления полным жизненным циклом данных создает дополнительные риски, связанные с нарушением целостности и согласованности информации, что в конечном итоге снижает доверие к аналитическим отчетам и принимаемым на их основе управленческим решениям.
В ответ на эти вызовы в процессе цифровой трансформации передовых предприятий формируется потребность в создании универсального решения, обеспечивающего сквозную работу с данными - от извлечения из различных источников до анализа и визуализации. Возрастающая нагрузка на ИТ-системы, необходимость консолидации информации и ускорения аналитических процессов становятся предпосылками для проектирования гибких и масштабируемых платформ управления данными. Такие платформы представляют собой единое цифровое пространство, интегрирующее инфраструктурные компоненты, программные решения и методологию работы с данными, что позволяет реализовать комплексное управление их полным жизненным циклом.
Платформа управления данными выполняет роль связующего звена между источниками данных и бизнес-приложениями, которые используют информацию для отчетности, мониторинга, прогнозирования и принятия решений. Ее архитектура должна обеспечивать выполнение ключевых процессов, включая извлечение данных из гетерогенных источников, их трансформацию и очистку, надежное хранение, эффективный анализ и интуитивную визуализацию. При этом особое внимание уделяется обеспечению целостности, согласованности и доступности информации на всех уровнях обработки, что позволяет значительно сократить количество ручных операций и повысить общую эффективность аналитической деятельности.
Целью исследования является разработка архитектуры и методологии построения платформы управления данными, способной унифицировать процессы работы с информационными активами, упростить их сопровождение и сформировать устойчивую техническую основу для дальнейшего расширения аналитических возможностей организации. В работе рассматриваются практические аспекты реализации такой платформы, включая выбор технологического стека, проектирование компонентов интеграции и обеспечения качества данных, а также вопросы внедрения и адаптации решения под специфические бизнес-требованя.
Практическая значимость исследования заключается в том, что предложенные архитектурные решения и методологические подходы могут быть адаптированы для организаций различных отраслей, испытывающих потребность в оптимизации управления данными. Созданная на основе этих принципов система демонстрирует возможность достижения существенного повышения эффективности работы с данными при сохранении гибкости и масштабируемости решения, что особенно важно в условиях быстро меняющихся бизнес-требований и непрерывного роста объемов информации.
Современные организации, независимо от отрасли, сталкиваются с необходимостью интеграции, хранения и анализа данных, поступающих из множества разнородных источников. Для решения этих задач на протяжении последних лет сформировались несколько архитектурных подходов к построению корпоративных систем управления данными. К числу наиболее распространённых относятся традиционные хранилища данных (Data Warehouse), озёра данных (Data Lake) и гибридные архитектуры (Data Lakehouse).
Классические хранилища данных (DWH) ориентированы на структурированные источники и предполагают жёсткую схему хранения. Основной упор делается на консолидацию, агрегирование и аналитическую обработку данных для построения отчётности. Такие решения обеспечивают высокую надёжность и согласованность информации, однако имеют ряд ограничений — низкую гибкость при изменении структуры данных, сложность масштабирования и значительные затраты на сопровождение.
Озёра данных (Data Lake), напротив, предоставляют возможность хранить неструктурированные и полуструктурированные данные в исходном виде, что делает их удобным инструментом для продвинутой аналитики и машинного обучения. Однако отсутствие строгой схемы хранения часто приводит к проблемам с качеством и управляемостью данных, а также к росту сложности при интеграции с бизнес-приложениями.
Гибридный подход (Data Lakehouse) объединяет преимущества двух предыдущих моделей: гибкость Data Lake и управляемость DWH. Такие архитектуры позволяют обрабатывать данные любого типа, сохраняя при этом контроль качества и целостность, что делает их оптимальными для современных задач цифровой трансформации.
Наряду с архитектурными концепциями важную роль играют инструменты автоматизации и оркестрации процессов обработки данных. В индустрии получили широкое распространение open-source решения, такие как Apache Airflow, Dagster, dbt Core, Apache Kafka, обеспечивающие выполнение ETL- и ELT-процессов, управление зависимостями и мониторинг состояния задач. Использование таких инструментов позволяет организациям снизить затраты на внедрение и обслуживание инфраструктуры, сохранив при этом высокий уровень гибкости и контроля.
Значительное внимание уделяется и инструментам управления метаданными и качеством данных, таким как OpenMetadata, Amundsen, DataHub, которые обеспечивают прозрачность потоков данных, отслеживание lineage и реализацию принципов Data Governance. Их применение способствует формированию единого информационного пространства и повышению доверия к данным.
Таким образом, обзор существующих решений показывает, что ключевая тенденция в области управления данными заключается в переходе от изолированных систем к интегрированным, модульным платформам, основанным на open-source технологиях. Именно такая архитектура позволяет обеспечить баланс между масштабируемостью, безопасностью и экономической эффективностью, что делает её наиболее перспективной для корпоративных ИТ-инфраструктур.

Разработанная платформа управления данными представляет собой модульное решение, обеспечивающее сквозную обработку информации — от извлечения из внешних и внутренних источников до аналитической визуализации и мониторинга. Архитектура системы построена с учётом принципов гибкости, масштабируемости и отказоустойчивости, что позволяет адаптировать её под различные сценарии корпоративной инфраструктуры.
ETL-контур — отвечает за интеграцию и обработку данных;
DWH-контур — обеспечивает хранение, моделирование и подготовку данных для аналитики;
BI-контур — предназначен для визуализации, анализа и взаимодействия пользователей с информацией.

Рисунок 1 –  Целевая схема

Каждый из контуров функционирует независимо, но при этом связан единым процессом обмена данными и системой метаданных, что обеспечивает целостность и прозрачность всей платформы.
ETL-контур реализован на базе инструментов Apache Airflow и Dagster, которые используются для оркестрации процессов извлечения данных из различных источников — API, реляционных баз данных (Oracle, PostgreSQL) и файловых хранилищ. Эти компоненты выполняют загрузку и первичную очистку данных, обеспечивая автоматизацию и мониторинг всех этапов обработки.
DWH-контур базируется на использовании PostgreSQL в качестве аналитического хранилища и dbt Core в качестве инструмента моделирования данных. Такой подход позволяет реализовать принципы ELT, когда основная трансформация выполняется непосредственно в хранилище, что повышает производительность и упрощает контроль версий моделей. Дополнительно используется MongoDB как документоориентированное хранилище для хранения полуструктурированных данных и журналов.
BI-контур объединяет средства визуализации и взаимодействия с пользователями. Основным инструментом бизнес-аналитики является open-source версия Yandex DataLens, развернутая в контейнеризированной среде. Отчёты и дашборды интегрируются в корпоративный портал на базе Oracle APEX, где реализовано разграничение доступа по ролям и владельцам данных. Такой подход обеспечивает удобную работу пользователей и централизованное управление аналитическим контентом.
Для обеспечения прозрачности и контроля происхождения данных в архитектуре интегрирован инструмент OpenMetadata, который выполняет функции каталога данных, фиксации lineage и реализации базовых принципов Data Governance. Метаданные автоматически обновляются при выполнении ETL- и dbt-процессов, что позволяет отслеживать изменения в источниках и моделях.
Мониторинг и контроль технического состояния всех компонентов осуществляются средствами Zabbix, а системные логи и логи оркестраторов централизованно собираются и визуализируются через Grafana Loki, что позволяет оперативно выявлять аномалии и анализировать ошибки.
Вся платформа развернута с использованием Docker и Docker Compose, что обеспечивает изоляцию сервисов, упрощает управление зависимостями и ускоряет развёртывание в различных средах — от тестовой до промышленной. Такой подход делает возможным масштабирование отдельных компонентов без нарушения стабильности всей системы.
Таким образом, предложенная архитектура сочетает в себе принципы модульности, автоматизации и прозрачности, обеспечивая основу для построения современной корпоративной платформы управления данными, соответствующей требованиям безопасности, надёжности и гибкости.

Платформа реализует полный цикл управления данными, объединяя процессы интеграции, трансформации, хранения, анализа, визуализации и контроля качества. Все компоненты системы взаимодействуют между собой через чётко определённые интерфейсы и обменные механизмы, что обеспечивает согласованность данных и прозрачность потоков.
На первом этапе происходит сбор информации из различных источников. Данные поступают как из внутренних корпоративных систем (в частности, из базы данных Oracle), так и из внешних API-сервисов, предоставляющих данные в формате JSON. Для оркестрации этих процессов используются Apache Airflow и Dagster, которые выполняют регулярные DAG-запуски с учётом зависимостей, расписаний и статусов задач. В процессе загрузки данные проходят базовую валидацию и приводятся к унифицированной структуре, после чего сохраняются во временных областях для дальнейшей обработки.
Следующим шагом является нормализация и моделирование данных, реализованные с помощью dbt Core. Инструмент выполняет SQL-трансформации внутри хранилища PostgreSQL, формируя многослойную архитектуру представлений — от сырых данных (staging) до аналитических моделей (marts). Такой подход обеспечивает воспроизводимость вычислений, контроль версий и прозрачность логики формирования показателей.
В качестве основного аналитического хранилища используется PostgreSQL, обеспечивающее надёжное хранение структурированных данных. Для хранения полуструктурированных и оперативных данных применяется MongoDB, что позволяет обрабатывать информацию различных форматов без потери гибкости. Разделение зон хранения упрощает обслуживание и оптимизирует производительность при выполнении аналитических запросов.
Сформированные модели данных используются в BI-контуре. Основным инструментом визуализации выступает Yandex DataLens (open-source версия), обеспечивающий построение интерактивных дашбордов и аналитических отчётов. BI-компоненты интегрированы в корпоративный портал Oracle APEX, что позволяет сотрудникам получать доступ к визуализациям через единую точку входа с учётом разграничения прав и ролей. Такой подход упрощает доступ к данным и повышает уровень прозрачности аналитической информации.
В платформу интегрирован инструмент OpenMetadata, который автоматически собирает информацию о структуре, источниках и взаимосвязях между таблицами и моделями. Это позволяет отслеживать происхождение данных (data lineage), контролировать их актуальность и реализовывать политики Data Governance. В перспективе инструмент станет основой для внедрения системного контроля качества данных (Data Quality Management).
Надёжность функционирования платформы обеспечивается комплексом инструментов наблюдения. Система Zabbix отслеживает загрузку ресурсов серверов, доступность контейнеров и сервисов, а Grafana Loki агрегирует логи из всех модулей, включая Airflow, Dagster и dbt. Это позволяет оперативно выявлять отклонения, диагностировать ошибки и анализировать эффективность работы процессов.
Таким образом, функциональная структура платформы представляет собой единый экосистемный контур, где каждый компонент выполняет специализированную роль, а их взаимодействие обеспечивает сквозную обработку данных и прозрачность аналитического цикла. Реализованная модель способствует автоматизации рутинных операций, повышает качество аналитики и создаёт основу для внедрения принципов корпоративного управления данными.

В ходе практической реализации была построена платформа данных, включающая отдельные серверы для каждого ключевого компонента: ETL, хранилища данных, BI, OpenMetadata и Zabbix. Все серверы объединены во внутренней сети, что обеспечивает стабильное и безопасное взаимодействие между системами.
На сервере ETL были развернуты Airflow и Dagster, выполняющие автоматическую загрузку данных из внешних API и базы Oracle. Airflow управляет расписанием и зависимостями задач, а Dagster используется для отладки и тестирования отдельных этапов обработки. В результате работы этого контура процессы извлечения и загрузки данных полностью автоматизированы, что позволило исключить ручное вмешательство и повысить стабильность обновлений.

Рисунок 2 –  Интерфейс Apache Airflow

Сервер хранилища данных, основанный на PostgreSQL, используется для централизованного хранения и моделирования информации. С помощью dbt Core выполняется преобразование, очистка и структурирование данных, поступающих из ETL. Все модели описаны в едином формате и документируются автоматически. Метаданные о моделях, таблицах и зависимостях передаются в OpenMetadata, что обеспечивает прозрачность и контроль над всей системой. В результате была создана единая, согласованная структура данных, служащая источником правды для аналитики и отчётности.
BI-сервер с установленным open-source аналогом Yandex DataLens подключается напрямую к PostgreSQL и визуализирует данные из подготовленных моделей. Построенные дашборды встроены в корпоративный портал на Oracle APEX через iframe, где реализовано разграничение доступа по ролям. Такой подход позволил предоставить пользователям удобный и безопасный доступ к аналитике без прямого взаимодействия с базой данных.
Сервер OpenMetadata интегрирован с Airflow, dbt и PostgreSQL. Он собирает метаданные обо всех процессах, хранит lineage таблиц, сведения о владельцах и качестве данных. Благодаря этому удалось реализовать принципы data governance и обеспечить прозрачность всей инфраструктуры: каждый объект в системе имеет описание, историю изменений и ответственного пользователя.
Мониторинг всех компонентов выполняется с помощью Zabbix, установленного на отдельном сервере. Он получает системные метрики с каждого узла, а также логи выполнения DAG’ов из Airflow. При возникновении сбоев Zabbix формирует уведомления, что позволяет своевременно реагировать на проблемы и минимизировать простои.

Рисунок 3 –  Мониторинг в Grafana

Совместная работа всех компонентов обеспечила устойчивое функционирование платформы. Airflow и Dagster отвечают за сбор и передачу данных, dbt — за их обработку и структурирование, DataLens — за визуализацию и предоставление пользователям аналитических панелей, OpenMetadata — за управление метаданными, а Zabbix — за контроль состояния всей инфраструктуры. В результате внедрения удалось добиться полной автоматизации процессов обновления данных, повышения их качества и прозрачности, а также обеспечить надёжную и масштабируемую работу всей системы на основе исключительно open-source технологий.

Дальнейшее развитие платформы данных связано с расширением функциональности и повышением уровня автоматизации процессов управления данными. В перспективе планируется внедрение потоковой (streaming) обработки для интеграции данных в режиме реального времени, что позволит не только ускорить обновление аналитических витрин, но и использовать платформу для мониторинга бизнес-показателей и событийных уведомлений. В качестве технологического стека рассматриваются Kafka и Debezium, которые обеспечат доставку изменений из источников в режиме реального времени и позволят организовать полноценный механизм CDC (Change Data Capture).
Одним из приоритетных направлений является развитие функций Data Governance. Интеграция OpenMetadata с дополнительными модулями контроля качества данных (Data Quality) позволит внедрить автоматическую проверку корректности и полноты загружаемой информации, а также формировать отчёты о качестве по каждой таблице или источнику. Это создаст основу для внедрения единой системы показателей доверия к данным (Data Trust Score) и повышения прозрачности процессов.
Планируется также развитие аналитического слоя: расширение набора визуализаций и подключение инструментов машинного обучения для прогнозирования ключевых метрик на основе исторических данных. Использование BI-инструментов в сочетании с моделями на Python и библиотеками Scikit-learn или Prophet позволит переходить от описательной аналитики к предсказательной, что повысит ценность платформы для бизнеса.
Таким образом, развитие платформы направлено на переход от базового уровня интеграции данных к построению полноценной экосистемы управления корпоративной информацией, включающей непрерывную обработку, контроль качества, прозрачное управление метаданными и интеллектуальную аналитику. Это позволит не только повысить эффективность внутренних процессов, но и создать технологическую основу для внедрения современных подходов к управлению данными, соответствующих принципам DataOps и корпоративной цифровой трансформации.
Данная работа подтверждает ключевую роль эффективного управления данными в современных бизнес-процессах, где информация превратилась из вспомогательного ресурса в стратегический актив, непосредственно влияющий на принятие решений и конкурентные преимущества организаций. В условиях цифровой трансформации особую актуальность приобретает создание универсальных платформ, способных обеспечить сквозную обработку данных с учетом специфики корпоративной инфраструктуры и строгих требований к безопасности.
В ходе работы была успешно достигнута цель по разработке и внедрению масштабируемой платформы управления данными, которая продемонстрировала свою эффективность в решении ключевых задач:
-	автоматизация процессов загрузки, трансформации и визуализации данных;
-	обеспечение прозрачности данных потоков и контроля их происхождения;
-	создание фундамента для реализации политик управления данными.
Архитектурные решения, основанные на использовании open-source технологий, доказали свою состоятельность для построения корпоративных систем управления данными в условиях изолированной ИТ-инфраструктуры. Реализованная модульная архитектура с контейнеризацией компонентов обеспечила необходимую гибкость и масштабируемость системы, в то время как использование Oracle APEX и OpenMetadata позволило создать интегрированную экосистему для управления полным жизненным циклом данных.
Перспективы развития платформы связаны с внедрением потоковой обработки данных, расширением функций Data Governance и интеграцией продвинутых инструментов контроля качества данных. 
Таким образом, разработанная платформа управления данными представляет собой комплексное решение, которое не только отвечает современным требованиям к обработке информации, но и обладает значительным потенциалом для дальнейшего развития и адаптации, что делает ее ценным активом для любой организации.

Список источников 
1 Что такое DWH? – Текст: электронный // Хабр. – 2024. – URL: https://habr.com/ru/articles/852910/ 
2 Что такое Data Lake (озеро данных) – Текст: электронный // BigDataSchool.ru. – URL: https://bigdataschool.ru/wiki/data-lake 
3 DWH + Data Lake, или что такое LakeHouse – Текст: электронный // BigDataSchool.ru. – URL: https://bigdataschool.ru/blog/what-is-lakehouse.html 
4 Концепция Data Mesh. Принципы, идеи, применение на практике – Текст: электронный // Хабр. – 2022. – URL: https://habr.com/ru/articles/685626/ 
5 Airflow – инструмент, чтобы удобно и быстро разрабатывать и поддерживать batch-процессы обработки данных – Текст: электронный // Хабр. – 2022. – URL: https://habr.com/ru/companies/vk/articles/339392/