Как правило, после репетиции оркестра все отправлялись ужинать. А после ужина пели и исполняли по нотам известные квартеты. В тот вечер цесаревич, сидя рядом с чиновником по особым поручениям при государственном канцлере бароном Владимиром Александровичем Фридериксом, исполнил вместе с ним партию второго тенора.
Музыкальные вечера во дворце на набережной Невы продолжались до весны.
Наследник не представлял свою жизнь без музыки. И поэтому ко времени переезда в Царское Село решил продолжить традицию выступлений с оркестром духовых инструментов. Но уже в Александровском дворце.
Основу оркестра, собиравшегося в Царском Селе, составили офицеры-гвардейцы, музицировавшие и во дворце у принца Александра Петровича Ольденбургского.
В числе постоянных участников, кроме наследника, были сам принц Александр Петрович Ольденбургский, генерал-майор свиты Его Императорского величества граф Адам Васильевич Олсуфьев, адъютант цесаревича граф Александр Васильевич Олсуфьев, генерал Михаил Викторович Половцев, Александр Александрович Берс. Кроме этих любителей музыки наследник порой приглашал известных артистов.
Нередко репетиции оркестра устраивались на открытом воздухе в царскосельском парке. Один из оркестрантов, Александр Александрович Берс, писал: «Для игры мы устраивались обыкновенно в саду, где-нибудь в тени. Медные инструменты звучали на воздухе мягко; прохожие и проезжие останавливались и прислушивались к звукам. Это тешило великого князя, а нас заставляло лучше играть.
Но иногда во время игры появлялись вовсе не желанные слушатели: нас сильно заедали комары. Живо припоминаю один очень жаркий день, когда нам пришлось от них плохо; нам было жутко и в то же время смешно, когда во время исполнения какой-то композиции не переставали раздаваться удары, один другого звучней, то по лбу, то по затылку, которыми мы убивали несносных музыкантов, освобождая для того каждый раз, не более как на одно мгновение, левую руку.
Цесаревна и принцесса Евгения Максимилиановна Ольденбургская смеялись от души при виде наших мук, которые мы добровольно на себя налагали. Это adagio, которое нам казалось бесконечным, имело решающее значение — наши затылки до того вспухли от укусов, что мы были принуждены забрать пюпитры и войти в комнаты».
Цесаревна Мария Федоровна принимала активное участие в музыкальных занятиях мужа. Тот же А. А. Берс приводит эпизод, свидетельствующий о глубокой музыкальности цесаревны. На одном из вечеров в Аничковом дворце, после окончания игры цесаревна подошла к оркестру и заметила, что конец пьесы Баха «Friihling’s Erwachen» («Пробуждение весны») передан не совсем верно. «Действительно, — писал А. А. Берс, — тот, кто аранжировал эту пьесу, не обратил должного внимания на характер конца, он вышел в нашем исполнении грубый, темный, тогда как у Баха в оригинале он был мягкий, изящный. Во всяком случае, Ее высочеством была замечена музыкальная тонкость, доступная далеко не всем».
А в дневниковых записях цесаревича есть такие строки: «В % 8 вернулись домой и зашли проститься с маленькими, а потом я пошел к себе курить, писать и читать, а Минни начала в первый раз уроки пения с графиней Апраксиной у М-me Ниссен».
Кроме Царского также на открытом воздухе выступали и в Красном Селе, во время традиционных летних лагерных сборов.
Однажды во время репетиции в Красном Селе музыкантов посетил император Александр II. Александр Александрович Берс, уже став полковником и автором нескольких книг по истории музыки, вспоминал о том посещении императора репетиции в Красном Селе: «Его величество подошел к нам и с самой добродушной улыбкой, через которую проглядывало не особенно большое доверие к искусству участвующих, просил нас что-нибудь сыграть. Мы все, не исключая и цесаревича, сконфузились и засуетились… Во время нашей игры государь не переставал добродушно улыбаться, а когда мы кончили, то Его величество сказал: «Ну, неважно, могло бы быть лучше» За нашу робость и неумение показать товар лицом мы получили от государя то, что на этот раз заслужили, а между тем, у нас было немало пьес, которые звучали стройно и красиво».
Организовать большой медный оркестр цесаревич решил в 1872 году. Первоначально коллектив назывался «Хором наследника цесаревича Александра Александровича».
Для репетиций был выбран большой зал Морского музея в здании Адмиралтейства. Репертуар для любителей был довольно сложный — Бетховен, Глинка, Шуман, Вагнер, Мейербер.
Оркестр собирался в восемь часов вечера по четвергам. В последний четверг каждого месяца оркестранты приходили в Аничков дворец. Играли для Марии Федоровны, которая приглашала на эти вечера своих близких знакомых. Вообще, в Аничковом дворце, помимо выступления оркестра по четвергам, устраивали домашние спектакли или «живые картины». В организации и оформлении этих «живых картин» и домашних спектаклей принимали участие композитор и главный дирижер Мариинского театра Эдуард Францевич Направник, как организатор музыкального сопровождения, и режиссеры, художники и артисты Императорских театров.