ML-модели не похожи на программное обеспечение. Когда программное обеспечение развертывается в производство, оно должно работать так, как ожидается (при условии, что внимание было сосредоточено на качестве и тщательном тестировании). С другой стороны, ML-модели "обучаются", а это значит, что люди должны следить за тем, как работает каждая модель, и со временем корректировать ее для улучшения результатов. Кроме того, ML-модели чувствительны к условиям реальных данных и могут со временем деградировать, поэтому важно следить за их правильным поведением.
Например, когда мы были заблокированы во время всемирной пандемии, поведение клиентов изменилось в одночасье. ML-модели, которые были обучены на исторических моделях расходов клиентов (до пандемии), больше не могли делать эффективные прогнозы, например модели, рекомендующие клиенту посетить ресторан, несмотря на то что рестораны были закрыты. Вот почему мониторинг производительности моделей и возможность быстро диагностировать причину отклонений имеют решающее значение.
Мониторинг модели должен выходить за рамки поиска дрейфа. Он должен также проверять качество и соответствие данных, измерять точность и производительность модели в соответствии с бизнес-показателями. Такой более широкий взгляд на мониторинг особенно важен для того, чтобы компании не просто зацикливались на производительности модели, а оценивали, насколько она помогает бизнесу.
MLOps - это быстро развивающаяся область. На момент написания этой статьи более 60 поставщиков предлагают различные программные инструменты MLOps - от готовых платформ до нишевых инструментов.
Пример из практики: Сокращение времени разработки приложений ИИ
Азиатская компания, предоставляющая финансовые услуги, смогла сократить время разработки новых приложений искусственного интеллекта более чем на 50 %. Она создала общий слой данных поверх исходных систем, который обеспечил высококачественные, готовые к использованию продукты данных для использования в многочисленных клиент-ориентированных приложениях ИИ.
Компания стандартизировала инструменты и процессы управления данными, чтобы создать устойчивый конвейер данных, и создала активы для стандартизации и автоматизации трудоемких этапов, таких как маркировка данных и отслеживание их происхождения. Это разительно отличалось от прежнего подхода компании, при котором команды структурировали и очищали необработанные данные из исходных систем, используя разрозненные процессы и инструменты каждый раз, когда разрабатывалось приложение для искусственного интеллекта. Такой подход приводил к длительному циклу разработки ИИ.
Примечание
1. Джакомо Корбо, Дэвид Харви, Найюр Хан, Николас Хон, Киа и Джаванмардиан, "Масштабирование ИИ как технарь: Роль генерального директора", McKinsey
.com, 13 октября 2021 г., https://www.mckinsey.com/capabilities/ quantumblack/our-insights/scaling-ai-like-a-tech-native-the-ceos-role.
Раздел 4
Ниже приведен набор вопросов, которые помогут вам определить, какие действия следует предпринять:
Есть ли у вас технологическая среда, способная привлечь и вдохновить современных специалистов, работающих с облачными технологиями?
Сколько компаний могут разрабатывать и непосредственно выпускать новые версии своих цифровых решений для клиентов/пользователей?
Каково время цикла выпуска (и уверены ли вы, что измеряете его правильно)?
Как узнать, что вы строите хорошо/ответственно, а не просто быстро?
Каково соотношение инвестиций в фундамент и новых функций, необходимых для достижения успеха, и есть ли у вас процесс, позволяющий это сделать?
Какая часть ваших инженерных разработок использует подход непрерывной интеграции/непрерывной доставки?
Какова доля ваших рабочих нагрузок в облаке и какой должна быть цель?
Насколько хорошо функция безопасности интегрирована в процесс разработки и автоматизирована?
Хорошо ли откалиброваны ваши модели AI/ML, находящиеся в производстве? Как вы узнали об этом?
Встраивание данных
Везде
Что нужно, чтобы сделать данные удобными для использования в организации
В крупных компаниях данные часто становятся источником разочарования. По нашему опыту, до 70 % усилий по разработке решений на основе искусственного интеллекта приходится на работу с данными и их согласование. Многие из этих проблем могут быть связаны с унаследованными, изолированными друг от друга системами, поэтому очень важно продумать архитектуру данных для удобства их потребления и повторного использования; в противном случае масштабирование становится проблематичным. Цель состоит в том, чтобы иметь чистые, актуальные и доступные данные, чтобы agile pods могли использовать их для принятия лучших решений и создания лучших решений на основе данных.
