Дворец представляет собой огромное сооружение, облицованное местным пудостским камнем, впервые примененным для этих целей в зодчестве. Это придало дворцу суровость и сдержанность, что сделало его похожим одновременно на средневековый английский замок и североитальянский загородный дворец. Но по сути это глубоко русское, удивительно тонко вписанное в природу и точно соразмеренное с ней сооружение, вплоть до общей композиции, соответствующей канонической схеме русской усадебной постройки XVIII века: центральный трехэтажный объем, ограниченный двумя пятигранными в плане башнями – Сигнальной и Часовой, к которым примыкают полуциркульные галереи, завершающиеся одноэтажными служебными корпусами – Кухонным и Конюшенным.
Суровому внешнему облику дворца Ринальди сознательно противопоставил изысканную и утонченную внутреннюю отделку. Особенно ценились современниками и знатоками разнообразные по рисунку многочисленные паркеты. Необыкновенное мастерство и изобретательность проявил Ринальди в оформлении интерьеров. Так, над камином приемной залы был помещен подлинный античный фрагмент. По преданию, он был частью одного из памятников римскому императору I–II веков нашей эры Траяну, затем был перенесен на арку другого римского императора Константина, откуда какая-то шайка грабителей сорвала его и продала графу И.И. Шувалову, путешествовавшему в то время по Италии.
Не менее характерна для загадочного Гатчинского дворца и легенда о наборе скромной, но исключительно изящной, по утверждению знатоков, мебели. Будто бы она в свое время принадлежала Таврическому дворцу, но была оттуда распродана и только в 1880-х годах приобретена императором Александром III для Гатчины.
В то время Гатчинский дворец становится официальной резиденцией русского императора. После гибели своего отца императора Александра II от рук террористов Александр III почти безвыездно жил в Гатчине, сторонясь многолюдного Петербурга. По воспоминаниям современников, его «все боялись как огня». Рассказывали, как один из министров пытался организовать срочную встречу царя с послом какой-то великой державы. Александр в это время сидел на берегу пруда с удочкой в руках. «Когда русский царь удит рыбу, Европа может подождать», – будто бы велел он передать министру.
К этому периоду относится легенда о таинственном исчезновении из Гатчинского дворца знаменитой коллекции оружия Александра III. Если верить фольклору, она была просто украдена и до сих пор будто бы находится в одном из заброшенных подземных ходов Гатчинского парка.
Под стать строгой и сдержанной архитектуре дворца складывались и судьбы его владельцев. В 1783 году после смерти Григория Орлова Екатерина II выкупила Гатчину у его наследников и в том же году, дабы держать наследника престола подальше от двора, специальным указом подарила Павлу Петровичу «мызу Гатчино с тамошним домом».
Начинается знаменитый тринадцатилетний так называемый «Гатчинский затвор», или «Гатчинское сидение» – долгое и мучительное ожидание смерти царствующей императрицы-матери. Правда, на первый взгляд, все выглядело вполне пристойно. Павел Петрович и его жена Мария Федоровна живут тихой сельской жизнью, без особенных претензий. В светских кругах Петербурга их называют то «Гатчинскими отшельниками», то «Гатчинскими помещиками». Ну занимается наследник муштрой и дрессировкой своих солдат, ну одевает их в странную, на прусский манер форму, ну награждает неизвестными в столице орденами…
Между тем 1783 год становится переломным в истории Гатчины. Едва став хозяином орловских охотничьих угодий, Павел начинает строить казармы для так называемых «Гатчинских войск», командиром которых он сам себя назначил. Зеленый луг перед дворцом превращается в плац-парад с каменными бастионными стенками. Вокруг дворца появляются рвы, наполненные водой, над которыми нависают подъемные мосты. Гатчина принимает вид образцового военного поселения, миниатюрной Российской империи, какой ее хотел бы видеть напуганный французской революцией будущий император. Об атмосфере, царившей тогда в Гатчине, можно судить по сохранившемуся анекдоту:
Пройдет еще совсем немного времени, и Гатчину станут называть «Гатчинской империей», а приверженцев Павла – людей «без хороших манер, но со смелостью в походке и взгляде» – «гатчинцами».