Культурное наследие Франции разрушали не только время и ход истории. Чуть ли не каждую неделю отмечались случаи краж, вандализма и расширения городской застройки с целью наживы. Знаменитый римский мавзолей, расположенный на окраине города Сен-Реми, достигает, вероятно, восемнадцати метров в высоту, однако незадолго до его осмотра Мериме в 1834 году некий «англичанин» («ростбифы» — вечные козлы отпущения) умудрился посреди ночи слазить на самый верх и скрыться с головами двух задрапированных изваяний. Остановившиеся на постой в Папском дворце Авиньона солдаты-корсиканцы обеспечивали себе прибавку к жалованью, приторговывая отколотыми средневековыми фресками; а некий предприимчивый садовод тем временем прибрал к рукам знаменитый городской мост, засадив его миндальными деревьями и капустой. В Шарите-сюр-Луар два слесаря прилепили свои дома к стене аббатской церкви, да так, что их кроватные ниши оказались украшены великолепными барельефами XI и XII веков. За месяц до приезда Мериме некий солдат, устроившийся на постой к одному из слесарей, спал подле скульптуры Бога Отца, окруженного святыми и ангелами. Спалось солдату из рук вон плохо. Наутро он взял дубину, жестоко покарал изваяние, а под конец, приговаривая «Ты сотворил клопов — вот тебе за это», снес Богу голову.
Давал о себе знать и вандализм ведомственный. Исторические сооружения были приспособлены под склады, магазины, конюшни и пивные. Папский дворец превратили в казармы, Нуарлакское аббатство — в фарфоровый завод. Собор Сент-Этьен в Страсбурге после революции использовался сначала как концертный зал, а потом как табачный склад. Церковь Сен-Савиньен в Пуатье служила тюрьмой, а на ее клиросе размещалась камера для душевнобольных. К Главному инспектору обратились за разрешением уничтожить и без того немногочисленные ценнейшие скульптуры — элементы внутреннего убранства, потому что арестанты забирались на них для побега. Миссия Мериме почти никогда не находила понимания у властей предержащих: министерство по делам религий, как считал он, только мешало, министерство общественных работ только разрушало, а министерство военных дел и вовсе оказалось «главным вандалом Франции». Неподалеку от Карнака рабочие, не желая прокладывать дорогу в обход, вдребезги разбили «великолепные менгиры Эрдевена». Жители Орлеана снесли свою старинную центральную городскую больницу. В городе Бурж богато декорированный в позднеготическом стиле дворец Жака Кера превратили в зал суда, что нанесло ущерб внутренней отделке и убранству. Мериме счел невозможным реконструировать интерьеры дворца в первозданном виде, поскольку это «вынужденно привело бы к измышлениям». Подобные решения ему приходилось принимать постоянно, и Мериме выразил свой принцип следующим образом: «Лучше укреплять, чем ремонтировать, лучше ремонтировать, чем реставрировать, лучше реставрировать, чем приукрашивать, но ни в коем случае не сносить».
Но было и нечто худшее, чем вандализм единоличный и ведомственный, пусть не столь очевидное и даже парадоксальное: это вред, причиненный упорствовавшими в своих убеждениях реставраторами. Из всех врагов, с которыми столкнулся Мериме, неумелая реставрация преследовала его чаще всего и выводила из себя более, чем что-либо другое: «Без малейших колебаний заявляю, что ни иконоборческая ярость протестантизма, ни глупый революционный вандализм не причинили такого ущерба, как безвкусица восемнадцатого и девятнадцатого веков. Варвары оставляли хотя бы руины; так называемые специалисты по восстановлению оставили после себя лишь свои жалкие потуги». Средневековые фрески были ими заштукатурены, перекрашенные церкви стали выглядеть как таверны; старинные камни безжалостно отскребали, так что они приобретали вид новых, использованных для латания старинной кладки. В Байе установили вызывающе новый витраж — «безвкусную, аляповатую подделку». В монастыре Сен-Савен, одном из наиболее милых сердцу Главного инспектора зданий, Мериме пришел в ярость при виде ревностно переписанных и дорисованных фресок — это, по его словам, было «самым отвратительным зрелищем на свете». Бросалась в глаза новизна использованных красок; добавилось нелепое изображение Бога Отца «с жутким прищуром», а новоявленный орел Иоанна Богослова больше «напоминал петуха». По приказу Мериме все следы этой пагубной реставрации устранили в течение часа.