Если тебе повезло, владелец продукта пробил бюджет и под задачи твоего проекта выдали КТС, то есть серверы виртуальные, физические или даже baremetal, то их утилизация становится головной болью значительно большей чем разработка и размещение софта на этих тачках. Коллеги из Инфраструктуры уже заботливо установили туда своих агентов и меряют утилизацию в Прометеусе. И не дай бог если твоя утилизация составит менее 85% процессорного времени и памяти, тебя сожрут с потрохами за такой раздутый сайзинг. Если же из-за активной работы свободное место на жестком диске сервера становилось менее 10%, то ты по ночам подрывался на инцидент вместе с ребятами из сопровождения. Жесть, да?! Но все это не про нашу команду. Гладко было на бумаге. Проблему с утилизацией мы поручили решить стажеру, который проходил у нас практику от МГТУ и он написал несколько сервисов и приложений почти бесполезных, с пустыми циклами внутри, но зато незаменимых для повышения нагрузки. Хитрая система шедулинга в Cron обеспечивала нам избыток ресурсов для работы основного ядра, во время активности которого фейковые сервисы ставились на стоп. Проблемы с жестким диском не было, периодически мы подчищали нерационально накопленные логи и старые данные в базах, благо на нас не наезжали безопасники с нормативными требованиями хранить каждый чих 3 года. Но однажды наш тим лид, как самый головастый, увидел в квоте, выделенной нам недавно в Биг Дате какие-то warning-и. И поручил мне разобраться, как самому в этом вопросе компетентному, читай единственному, ну да был у меня небольшой опыт в прошлой конторе, чуть-чуть поработал с hadoop-ом и ozon-ом, я даже знал как запускать spark в hue, поймите меня правильно. Вообще эту квоту выделили Грише, но он хрен забил. Офис нашей компании, где мы сидели располагался на Боровой улице, здесь же в бывшей промке располагался нехилый ЦОД с кучей машинных залов забитых серверами, думаю половина из них принадлежала нашей компании, фирма не экономила на железе. Но вообще мне говорили знакомые админы, что основные мощности давно перевезли в Сколково, где в подземных хранилищах заполнены стойками площади размерами в несколько футбольных полей и серверы все сплошь были новыми экспериментальными, с квантовыми, прости господи, процессорами. Обычные админские байки, но в силу некоторых открывшихся обстоятельств я скорей был склонен верить, чем не верить… Я дал команду hdfs dfsadmin -report… но сервер мне выдавал какие-то издевательски-кривые цифры, 15 раз посчитав нули я прикинул что наша квота измеряется экзабайтами…одна только папка hea занимала 900 петабайт. Внутри нее я нашел md файл. Happily Ever After 3.0 – эмулятор жизни, Strong AI generated… было написано внутри. В папке были баш скрипты и куча конфигов. Количество же вложенных папок мне не удалось посчитать ни разу, система просто зависала намертво… Это все конечно какой-то глюк, типа файловая бомба, отъедающая свободное место или что такое… да хрен знает какое. Я два дня сидел и офигивал, по всему получалось что это правда какие то гигантские объемы… я не поленился закачать туда несколько десятков терабайт и это не особо повлияло на метрики. Да нам никак не могли такое выдать…там шло проксирование…и не факт, что в Сколково. Количество хостов, ядер и памяти также не поддавалось подсчету. Не, я слышал, что наша компания участвует в крупном нац. проекте Развития Искусственного интеллекта в стране, но не настолько же крупного… Начальству я почему-то ничего не доложил, а начал изучать скрипты…моим любимым методом тыка.
Гл.4 Да что там ваш Midjourney.
