Это непрерывный процесс, требующий от вас создания надежных инженерных решений и практик применения ML для непрерывной разработки, тестирования, развертывания, обновления и мониторинга комплексных приложений AI. MLOps опирается на концепции DevOps и сквозной автоматизации, о которых говорилось ранее, и учитывает уникальные особенности ИИ, такие как вероятностный характер результатов ML и зависимость технологии от базовых данных.
Когда компании внедряют лучшие практики MLOps, это позволяет значительно повысить планку достижений. Это разница между экспериментами с искусственным интеллектом и преобразованием конкурентной позиции вашей компании с помощью искусственного интеллекта. Эффективная MLOps основывается на внедрении четырех ключевых практик:
Обеспечение доступности, качества и контроля данных для питания системы ML
ML-модели зависят от данных. Без качественных и доступных данных модели ML будут неточными и непригодными для использования. Поэтому необходимо внедрить проверку качества данных. Сейчас доступны инструменты для оценки качества данных и выявления аномалий, чтобы найти ошибки. Это полезно в сценариях с высокой пропускной способностью, таких как мониторинг финансовых транзакций.
Чтобы обеспечить доступность данных для ML-моделей, необходимо извлечь из исходных данных те характеристики, которые будут использоваться в ML-модели.
Жизненный цикл модели AI/ML
Импорт соответствующих наборов данных (извлечение из общих данных) Понимание структуры и статистики данных
Очистка и дезинфекция
Маркировка, изучение и обогащение данных для выявления потенциальных закономерностей и особенностей Анализ характеристик
Перекрестные связи между признаками и корреляционный анализ Создание прототипов моделей и оценка важности признаков
Обучение и проверка модели с различными параметрами и комбинациями алгоритмов Оценка и тестирование модели
Интеграция с API и источниками данных в режиме реального времени Предварительная обработка и обогащение данных
Прогнозирование модели Постобработка
Начало действий или ответных мер
Автомасштабирование
Контейнеризация моделей
Добавление фреймворков автоматизации
Мониторинг
Сопровождение модели Валидация производительности Непрерывное совершенствование Поддержка пользователей
Операции в реальном времени
Обратная связь
Модель данных и конвейеры
Разработка модели
Данные
Производство и масштабирование
ПРИЛОЖЕНИЕ 23.1
Эти характеристики являются топливом для ML-моделей. Например, барометрическое давление измеряется атмосферными датчиками, но в модели прогнозирования погоды функцией является изменение барометрического давления. Хранилище признаков - это центральное хранилище этих признаков. Хранилища признаков
управлять, поддерживать и контролировать функции, обеспечивая постоянный доступ к топливу, необходимому для моделей ML.
Предоставление инструментария для оптимизации разработки ОД
Написание воспроизводимого, поддерживаемого и модульного кода для науки о данных не является тривиальной задачей. Программные фреймворки, такие как Kedro (на языке Python), призваны облегчить эту задачу. Они заимствуют концепции из программной инженерии, включая модульность, разделение проблем и версионирование, и применяют их к коду ML.
Специалисты по исследованию данных любят экспериментировать, пробуя различные данные/функции и различные алгоритмы, чтобы разработать модель, удовлетворяющую бизнес-результатам. Эти эксперименты необходимо где-то хранить вместе с любыми связанными с ними метаданными (например, использованные функции или дополнительные конфигурации модели). Такие инструменты, как MLflow и MLRun, обеспечивают управление моделью и возможность воспроизведения этих экспериментов, а также отслеживают, какие эксперименты привели к лучшему бизнес-результату.
Внедрите платформу доставки ML, чтобы максимально автоматизировать процесс.
Переход от небольших исследований в области науки о данных и разработки моделей к крупномасштабному производству часто связан с рефакторингом кода, сменой фреймворков и значительными инженерными работами. Эти шаги могут привести к существенным задержкам или даже к отказу от всего решения.
Очень важно разработать и внедрить платформу непрерывной доставки приложений ML. Эта платформа должна выполнять масштабируемые и автоматизированные конвейеры для обработки данных, обучения, валидации и упаковки высококачественных моделей для производства. Кроме того, платформа ML должна развертывать конвейеры онлайн-приложений, которые включают обученную модель, выполняют задачи предварительной или последующей обработки данных, интегрируются с источниками данных и другими приложениями, а также собирают важные данные, модели, приложения и бизнес-метрики для наблюдения.
Мониторинг производительности модели для постоянного совершенствования
