Четыреста гренадеров прибыли 26 мая. 28-го Далесм отбыл со старым гарнизоном. Остров был полностью предоставлен своему новому суверену.
Наполеон не мог долго оставаться в бездействии. Отдав первые дни делам, необходимым для его устройства, он 18 мая вскочил на лошадь и объехал весь остров, желая убедиться, в каком состоянии находилось сельское хозяйство, какими доходами мог обладать остров от коммерции, рыбной ловли, добычи мрамора и металлов. Особенное внимание он обратил на карьеры и шахты — главное богатство этой земли.
По возвращении в Порто-Феррайо, осмотрев каждую деревеньку и повсюду дав жителям доказательства своей заботы, он занялся устройством двора, распределением доходов, которые приносили железные рудники (они могли дать до миллиона франков в год), ловля тунца, дававшая от четырехсот до пятисот тысяч франков, соляные копи, приносившие примерно такую же сумму, и, наконец, можно было рассчитывать на использование некоторых таможенных прав. Эти деньги, присоединенные к его личным сбережениям, могли составить четыре с половиной миллиона франков ренты.
Наполеон часто заявлял, что он никогда не был так богат. Из мэрии он переехал в очаровательный буржуазный дом, помпезно назвав его своим городским дворцом. Дом был расположен на скале между фортом Фальконе и фортом Этуаль, на бастионе, названном де Мулен. Он состоял из двух соединенных постройкой павильонов. Из окон просматривался весь город и порт. В Сан-Мартино находился его деревенский дворец. До его приезда это была лачуга, которую Наполеон реконструировал и со вкусом обставил. Там он никогда не спал. Туда он совершал лишь прогулки. Расположенный у подножия довольно высокой горы, на берегу ручья, окруженный лужайкой дом смотрел на город, амфитеатром раскинувшийся перед ним. У подножия города — порт, и на горизонте, через мглистое море, — берега Тосканы.
Через шесть недель на остров Эльба приехала мать императора, а несколькими днями спустя принцесса Полина. Она встретилась с императором во Фрежюсе и хотела отплыть вместе с ним, но была так больна, что врач ей это категорически запретил. Английский капитан пообещал, что вернется в назначенный день и заберет принцессу, но день прошел, фрегат не появился, и принцесса воспользовалась случайным неаполитанским судном. В этот первый приезд она была на острове только два дня. Оттуда она отправилась в Неаполь, но 1 ноября бриг «Непостоянный» вновь привез ее, чтобы она больше не покидала императора.
Понятно, что, переходя от такой бурной деятельности к полному отдыху, Наполеон вынужден был искать для себя занятия. Все его часы были заполнены. Он вставал на рассвете, закрывался в библиотеке для работы над своими военными мемуарами до восьми часов утра. Потом он проверял ведение хозяйства, беседовал с рабочими (почти все они были его старыми гвардейцами). К одиннадцати часам он очень плотно завтракал. В сильную жару он после завтрака час или два спал. Часам к трем он обычно выходил, садился на лошадь или в коляску в сопровождении маршала Бертрана или генерала Друо. В этих прогулках они всегда сопровождали его. По дороге он внимательно выслушивал их, не оставляя без ответа ни одного предложения. К шести часам он возвращался, обедал со своей сестрой, жившей на первом этаже его городского дворца. Бывало, что к столу приглашали интенданта острова мсье де Бальбиани, или командира Вантани, или мэра Порто-Феррайо, или же полковника Национальной гвардии, а иногда и мэров Порто-Лонгоне и Рио. По вечерам спускались в апартаменты принцессы Полины.
Мать императора жила в отдельном доме, его уступил ей камергер Вантини.
Эльба в это время становится местом паломничества. Вскоре наплыв иностранцев стал настолько велик, что появилась необходимость принять меры, чтобы избежать беспорядков, возможных из-за нашествия такого количества неизвестных, среди которых было немало авантюристов, приезжающих на поиски фортуны. Продуктов стало вскоре явно не хватать, и их пришлось привозить с континента. Коммерция Порто-Феррайо процветала, и это процветание улучшило общую обстановку. Так, даже в ссылке присутствие Наполеона стало источником благоденствия для страны, которой он принадлежал. Его влияние распространилось вплоть до низших классов общества. Новая атмосфера окружила остров.
Среди иностранцев большую часть составляли англичане. Они, казалось, придавали огромное значение тому, что видят и слышат его. Со своей стороны Наполеон принимал их с благодушием. Лорд Бентинг, лорд Дуглас и некоторые другие сеньоры высшей аристократии увезли в Англию драгоценные воспоминания о том, как они были приняты.
Из всех визитов более всего радовали императора визиты большого числа офицеров всех национальностей — итальянцев, французов, поляков, немцев, приезжающих с предложением о помощи. Он отвечал, что у него для них нет ни мест, ни соответствующих званий. «Ну так что ж, мы будем служить простыми солдатами», — говорили они. И почти всегда он зачислял их в гренадеры. Эта преданность его имени более всего льстила ему.