Больше всего подданные ждали от Рудольфа сохранения мира. Перед коронацией он объявил всеобщее перемирие и обещал отменить все незаконно взимаемые дорожные пошлины. Затем Рудольф назначил верховного судью, подтвердив серьезное отношение к судебным органам, созданным Фридрихом II в 1235г. После этого он совершил поездку на запад и юго-запад империи, разрушая замки, служившие прибежищем бандитов. В конце правления перед стенами Эрфурта было казнено по его приказу двадцать девять «рыцарей-разбойников». Фридрих направился туда в 1289г., чтобы пресечь ссоры между ландграфом Тюрингским и его сыновьями, и покинул страну, полностью наведя в ней порядок. Во время междуцарствия часть владений империи была разорена, другая захвачена.
В 1273г. на общем совете собранные правителем князья решили положить конец вторжениям. Рудольф применил для этого политику
Уроженец юго-востока империи, Рудольф Габсбург вынужден был покинуть этот свой любимый регион. Его власть высмеивал Оттон Богемский, не желавший испрашивать у «бедного маленького графа» инвеституру своих ленных владений. Король Богемии насмехался над законом, наказывающим неверных вассалов, и в 1275г. его объявили предателем, изгнав из пределов империи. Силы Рудольфа были так велики, что Оттокар принес публичное покаяние и в 1276г. преклонил колено перед Рудольфом. Между противниками было заключено перемирие, но не прошло двух лет, как оно было нарушено. Возобновились военные действия, и в конце августа 1278г. Оттокар был разгромлен и убит. Его сын Вацлав сохранил Богемию, но уступил свои австрийские владения, переданные в 1282г. Рудольфом своим сыновьям Альбрехту и Рудольфу. Это событие имело историческое значение: Габсбурги стали князьями, а их семья, зародившаяся вблизи Рейна, вольно чувствовала себя на берегах Дуная и стала правящим домом Австрии.
Этот громадный успех не отвлек Рудольфа от его главной миссии – сохранения империи, под которой понимались также королевства Италии и Бургундии. В Италии папа Николай III, озабоченный сохранением мощи христианства, добился от Карла Анжуйского отказа от его роли «миротворца», и Рудольф восстановил права на то, что он называл «мой сад». Правда, это стоило королю римлян Романии. Папский престол давно добивался этого в награду за свое посредничество. В Бургундии потребовались военные действия: графа Монтбельярда первым призвали к порядку, затем в 1283г. был наведен порядок в Савойе. В следующем году шестидесятилетний Рудольф сочетался браком с пятнадцатилетней сестрой герцога Бургундского, полагая, что зять поможет ему укрепить связи королевства Арль /латинское название столицы Бургундского королевства/ с империей. Однако герцог не оказал Рудольфу никакой помощи, и в 1289г. король римлян вновь прибегнул к силе: наместник Франш-Конте /историческая область на востоке Франции/ Оттон не хотел присягать на верность никому, кроме императора, однако Рудольф был лишь римским королем. К тому же Оттон прибрал к своей власти имперский город Безансон. Однако Рудольф заставил его подчиниться. На северной, лотарингской границе Филипп Красивый действовал без шума, желая заполучить два имперских аббатства – Монтфокон и Боль, но специальная следственная комиссия доказала ему, что он не имел прав на эти обители.