Как и DevOps, DataOps состоит из фаз непрерывной интеграции и развертывания с акцентом на устранение "малоценных" и автоматизируемых действий, таких как автоматическое внедрение нового кода инженеров по обработке данных в производство или автоматическая проверка качества данных и мониторинг производительности. Хотя ведущие компании все еще формируют представление о том, как выглядит настоящий лучший в своем классе DataOps, он требует перестройки процесса по трем направлениям:
Полностью интегрированная деятельность по работе с данными в рамках капсулы на каждом этапе жизненного цикла решения, включая разработку, тестирование, развертывание и мониторинг (в отличие от того, что на более поздних этапах процесса этим занимается отдельная команда).
Максимальная автоматизация с использованием специальных конвейеров DataOps и сценариев для полной автоматизации развертывания, а также контроля безопасности и рисков, связанных с данными, включая соответствующие аспекты конфиденциальности данных. Управление выпуском полностью автоматизировано.
Надежный набор инструментов для автоматизированного тестирования, сквозного анализа данных и автоматизированного развертывания инфраструктуры с полномасштабным мониторингом.
Управление и риски
Управление данными, по сути, является "воротами", которые позволяют предприятиям уверенно ускорять инновации, обеспечивая многократное использование данных и их соответствие соответствующим требованиям по рискам и нормативным требованиям. Исторически сложилось так, что управление данными рассматривается в основном с точки зрения рисков, однако современные методы управления данными могут также обеспечивать скорость и масштабирование (некоторые организации даже проводят ребрендинг управления данными, чтобы подчеркнуть этот факт). Управление данными устанавливает надежные определения для данных, контролирует и улучшает качество данных, а также помогает направить усилия на решение наиболее серьезных проблем с данными с учетом требований бизнеса. Управление данными также помогает обеспечить надежность и надлежащую защиту данных, поступающих в организацию (например, от третьей стороны) и выходящих из нее (например, для клиентов).
Управление по управлению данными должно создать совет по управлению данными, состоящий из ответственных за область данных в организации, часто с участием руководителей высшего звена. Совет должен взаимодействовать с руководством компании, чтобы понять ее потребности, выявить текущие проблемы и ограничения в работе с данными, объяснить роль управления данными и согласовать ее с текущими приоритетами бизнеса.
Офис управления данными должен описать границы и ответственность для доменов данных и совместно с руководителями подразделений предложить и утвердить ответственных за домены данных. Эти распорядители ежедневно направляют усилия по управлению, определяя приоритеты элементов данных для очистки и устанавливая стандарты качества. Они должны понимать, какую пользу принесут эти роли, и быть вооружены необходимыми навыками, включая понимание соответствующих нормативных актов и основных элементов архитектуры данных.
Важно создать осязаемые способы отслеживания прогресса и создания ценности. Например, измерьте количество времени, которое тратят специалисты по изучению данных и аналитики бизнес-аналитики на поиск, обработку или предоставление данных для приоритетных цифровых решений, или долларовые потери, связанные с некачественными данными и сопутствующими бизнес-ошибками.
Отслеживание таких показателей воздействия помогает обеспечить внимание и постоянную поддержку со стороны высшего руководства. Эти показатели должны поступать на простую приборную панель, к которой руководство может легко получить доступ, что поможет точно определить, где возникают проблемы с данными, и даст организации возможность быстро их решить. В Примере 27.4 показан пример приборной панели, используемой в крупном банке.
Ведущие организации используют подход, основанный на потребностях, когда речь идет об управлении, принимая уровень сложности, подходящий для их организации, а затем регулируя уровень строгости в зависимости от набора данных. Дизайн их программ должен соответствовать уровню регулирования, с которым они сталкиваются, и уровню сложности данных.
Пример системы управления данными и приборной панели исполнительного уровня
Определение
Название метрики
Результаты метрики
Данные Данные
Имя
Тренд
лидер спонсоров
Данные
Отслеживание
Процент выполнения этапов
96%
Джон Джейсон
соблюдение политики и стандартов
соответствие политикам и стандартам управления данными
требуется для управления данными в обычном режиме
Качество данных
Оценка качества данных с точки зрения бизнес-процессов и поставщиков данных
