Остер задумчиво кивнул — Слушаюсь! — В 1934 году убийство нацистами его бывшего начальника, генерала Курта фон Шлейхера (рейхсканцлер Германии с декабря 1932 по январь 1933 года, предшественник Гитлера на этом посту и, таким образом, последний глава правительства Веймарской республики), способствовало негативному отношению Остера к режиму НСДАП. Как и Канарис, придерживался национально-консервативных взглядов и негативно относился к национал-социализму. Остер едва смог сдержаться, чтобы не наброситься на этого ефрейтора, ухватившего маршальский жезл.
С назначением Адольфа Гитлера на пост рейхсканцлера в 1933 году СА и СС приступили к расправе с оппозицией. Многие чиновники, занимавшие свои посты в Веймарской республике, были заменены национал-социалистами. Между тем штурмовые отряды (СА) под руководством Эрнста Рёма вызывали у Гитлера всё большее беспокойство. Офицеры и рядовые СА, во многом обеспечившие приход национал-социалистов к власти, были недовольны тем, что СА, по их мнению, получили недостаточно полномочий. Ситуацию накаляло наличие внутри национал-социалистической партии двух крыльев — одно тяготело к национальной политике (Адольф Гитлер), а другое считало, что необходимо в первую очередь осуществлять социалистическую программу (Грегор Штрассер). В среде штурмовиков всё чаще раздавались голоса о необходимости второй, истинно социалистической революции. СД Гейдриха собирала компрометирующий материал на Рёма и его ближайших соратников. После того как во время так называемой «Ночи длинных ножей» верхушка СА была уничтожена силами СС, 30 июня 1934 года Гейдрих получил звание группенфюрера СС.
В ходе аппаратной борьбы двух силовых ведомств — СС и вермахта — СД Гейдриха принимала участие в отстранении от власти главнокомандующего сухопутными войсками генерал-полковника Вернера фон Фрича и министра обороны Вернера фон Бломберга. На обоих военных был собран компрометирующий материал. Молодая жена фон Бломберга в прошлом была проституткой, разразился скандал, и Гитлер отправил его в отставку. Фрич по подложному свидетельству был обвинён в гомосексуальной связи и тоже смещён со своего поста. Одновременно были смещены или понижены в должности ещё несколько десятков высших военных чинов.
Серьёзные трения существовали также между СД и военной разведкой — абвером, которой руководил бывший покровитель Гейдриха Вильгельм Канарис. На публике оба руководителя сохраняли дружелюбие и даже встречались каждое утро на прогулке. Однако за кулисами каждый пытался вывести другого из игры: по приказу Гейдриха проводились тайные обыски в служебных помещениях Канариса, а тот старательно искал доказательства еврейского происхождения Гейдриха.
И с пропажей своего врага Гейдрих буквально воспрянул и лучился ощущением счастья. Когда его вызвали к Гессу, Гейдрих натянул на лицо маску старательного служаки.
В марте 1933 года Рудольф Гесс был избран депутатом рейхстага и занял в нём второстепенную должность председателя комитета по правам народных представителей, занимая прочное место в верхушке НСДАП, но для широкой общественности по-прежнему оставался тёмной лошадкой. Всё кардинально изменилось 21 апреля 1933 года, когда Гитлер назначил Гесса за несколько дней до его 39-летия своим заместителем по всем партийным делам. Заместитель был призван освободить занятого государственными делами фюрера от повседневных обязанностей партийного лидера и для этого наделялся необходимыми полномочиями принимать решения от имени фюрера по всем вопросам, касающимся партийного руководства. Тем не менее, рейхсляйтеры заместителю фюрера не подчинялись и само название новой должности Гесса «заместитель фюрера» говорило о том, что Гитлер не был готов полностью передать ему власть в партии. Ещё 24 марта 1933 года Гесс был назначен руководителем новообразованного связного штаба НСДАП, размещавшегося в Берлине на Вильгельмштрассе, 64 в здании Государственного министерства Пруссии напротив рейхсканцелярии и в непосредственной близости с многими имперскими и прусскими министерствами. В зале заседаний кабинета министров Гесс, которому были поручены кадровые решения в области государственной службы, занял привилегированное место по левую руку от Гитлера рядом с рейхсминистром внутренних дел Фриком.