Оппозицию Генриху IV возглавил родственник короля, герцог Рудольф Швабский. Саксонские и южнонемецкие герцоги использовали кризис для того, чтобы избавиться от Генриха с его абсолютистскими методами правления. Однако значительная часть епископов осталась на стороне Генриха. Мятежные феодалы призвали Григория прибыть в Аугсбург, на сейм, запланированный на начало февраля 1077 г.: пусть он там проведет суд над королем. Генрих понял: спасти свой трон ему удастся лишь в том случае, если он как можно скорее получит от папы отпущение грехов. Поэтому в конце 1076 г., в разгар зимы, он с женой, ребенком и своими епископами отправился через Альпы в Италию. Григорий же в это время готовился к поездке в Германию, чтобы вести переговоры с курфюрстами. Генриху удалось сыграть на опережение, устроив спектакль под названием «хождение в Каноссу».
В январе 1077 г. Григорий находился в неприступной горной крепости, Каноссе, принадлежавшей тосканской маркграфине Матильде. Столько раз описанный историографами, поэтами и драматургами эпизод – трехдневное покаянное стояние Генриха перед крепостными воротами – на самом деле означал победу униженного короля над папой. Генрих, безоружный, с женой и ребенком, в сопровождении нескольких епископов появился у стен крепости. После трех покаянных дней, которые Генрих, вопреки распространенному мнению, провел не босым и не в рубище, а во власянице, накинутой поверх королевского одеяния, папа, главным образом по настоянию клюнийского аббата Гуго и Матильды, вынужден был отпустить Генриху грехи и ввести короля вместе с его епископами в церковь (28 января 1077 г.). Григорий действительно не мог проигнорировать покаяние, соответствующее канонам, и отказать королю в отпущении грехов. Возвращение Генриха в лоно церкви означало, что он может вернуть себе и королевские регалии. Таким образом, оружие папы обратилось против него же самого, а Генрих выковал из него свое счастье. Григорий в Каноссе проиграл сражение: здесь выявились слабые стороны его морального и духовного оружия.
Однако германские курфюрсты не стали дожидаться папу, да и произошедшее в Каноссе их мало интересовало. В марте 1077 г. они избрали нового короля в лице герцога Швабского Рудольфа. Рудольф обещал сохранить выборность королевской власти, не делать ее наследственной. Партикулярные силы Германии сплотились вокруг идеи выборной власти, а следовательно, против Генриха с его приверженностью централизму. Генрих же, возвратившись в лоно церкви, но не придавая слишком большого значения клятве, принесенной в Каноссе, сговорился с епископами Ломбардии, возвратился, быстро преодолев Альпы, домой и начал борьбу с антикоролем Рудольфом. В Каноссе Генриху развязали руки, чтобы он мог расправиться с внутренней оппозицией. Общество в Германии и в Италии раскололось на две партии: партию папы и партию императора. Население городов в Германии поддерживало Генриха, надеясь, что он сумеет обуздать феодалов. В Италии же народ, настроенный против немцев, поддерживал Григория. Высшие иерархи в Германии тоже разделились на два лагеря, в зависимости от того, кого они больше боялись: короля или папы. Герцоги и графы могли легко менять свои позиции: все зависело от того, где им пообещают больше земли. Борьба между двумя лагерями шла с переменным успехом. Папа Григорий вначале не поддерживал ни одну из сторон, он был заинтересован в ослаблении королевской власти. Но в 1080 г., когда победа Генриха стала выглядеть более очевидной, папа вновь проявил активность. На Великопостном синоде он окончательно запретил светскую инвеституру. Генрих отказался соглашаться с этим решением – и был вновь отлучен от церкви. Папа, сделав выводы из Каноссы, признал законным королем Рудольфа и послал ему корону с надписью «Petra dedit Petro, Petrus diadema Rudolfo» («Скала дала Петру, Петр – корону Рудольфу»). Генрих с епископами, своими сторонниками, созвал в Бриксене собор, на котором Григорий VII был вновь низложен и отлучен от церкви. Новым папой (Климент III, 1080–1110) был избран равеннский архиепископ Вибер, возглавлявший ломбардских епископов, выступавших против Григория.
