5 марта 1933 года он вновь избран депутатом Рейхстага. 21 марта вице-канцлер подписал указ об амнистии за преступления, которые были совершены в ходе «национальной революции». Все надежды (на самом деле довольно наивные и показывающие, что он довольно плохо ориентировался в политике и в сложившейся ситуации) Папена на то, что он будет править вместе с Гитлером, очень скоро не оправдались. Уже 7 апреля Гитлер назначил себя имперским наместником Пруссии, лишив тем самым Папена всех прерогатив по должности имперского комиссара. У Папена отняли Пруссию и фактически сохранили лишь пост вице-канцлера, по которому у него не было каких-либо постоянных обязанностей. Он де-юре считался одним из руководителей правительства и выполнял то, что ему соблаговолил поручить Гитлер. Например, 20 июля 1933 года он подписал конкордат с Ватиканом – выбор его кандидатуры был обусловлен там, что он когда-то состоял членом католического «Центра» – а с 13 ноября 1933-го по 30 июля 1934 года являлся имперским уполномоченным по вопросам Саара (также без каких-либо определенных полномочий). Вскоре Папен стал чувствовать себя обманутым, кроме того, проводимая Гитлером политика абсолютно не отвечала его собственному видению будущего Германии.
17 июня 1934 года Франц фон Папен выступил в Марбургском университете с резкой антинацистской речью, направленной прежде всего против Йозефа Геббельса. Папен призвал к окончанию революции, прекращению террора, восстановлению свободы слова. «Пришло время всем нашим соотечественникам, – завил Папен, – объединиться во имя братской любви и взаимного уважения, дабы не мешать работе серьезных людей и заставить фанатиков замолчать». (Напомним, это говорил не какой-то социалист-оппозиционер, а вице-канцлер. Какое-то мужество для этого иметь все же надо.) Геббельс запретил публикацию речи, тогда 20 июня Папен, фон Нейрат, Шверин фон Крозик подали в отставку, и Гитлер был вынужден им уступить. Во время «Ночи длинных ножей» Папен был официально отстранен от выполнения своих служебных обязанностей и в тот же день арестован. В ходе всех этих событий один из сотрудников штаба Папена был расстрелян, а пятеро арестованы. После освобождения 2 июля он вторично подал Гитлеру прошение об отставке, заявив, что не может более занимать пост до тех пор, «пока не будет реабилитирована моя честь и честь моих сотрудников». Однако после того, как Гитлер пообещал «восстановить авторитет» Папена и освободить его арестованных сотрудников, они заключили соглашение: Папен остается на посту вице-канцлера до сентября 1934 года, а затем переходит на службу в Министерство иностранных дел.
На следующий день после неудачного нацистского переворота в Австрии – 26 июля 1934 года – германский посланник в Вене Курт Ритт был смещен, а его преемником стал Папен (несколько позже, 11 июля 1936 года, статус Папена был повышен, и он стал именоваться послом). По линии посольства оказывал финансовую и политическую поддержку прогермански настроенным националистическим организациям. 25 января 1938 года австрийская полиция произвела обыск в помещении руководящего комитета местных нацистов. В числе документов, по словам самого Папена, был обнаружен план, по которому поводом для вторжения в Австрию было его убийство.
4 февраля 1938 года при «перетряске» правительства снят с поста руководителя специальной миссии в Вене. В качестве «компенсации» через 10 дней ему вручили Золотой партийный значок, а 13 августа 1938 года официально приняли в НСДАП (билет № 5 501 100). 29 апреля 1939 года он был назначен послом в Турции. Его задачей было попытаться отговорить Турцию от продолжения политики «активного нейтралитета» и склонить на сторону «Новой Европы». Говорили даже, что ему удалось значительно продвинуться в этом вопросе. Однако факт остается фактом – Турция в войну не вступила. Вернее, вступила 23 февраля 1945 года, но на стороне Антигитлеровской коалиции. 24 февраля 1942 года на Папена было совершено неудачное покушение: когда он выходил из резиденции посла в Анкаре, рядом с ним взорвалась бомба. Папен не пострадал, а позже выяснилось, что за покушением стояли советские спецслужбы.
14 августа 1944 года Папен оставил пост в Константинополе, причем одновременно его наградили Рыцарским крестом за военные заслуги с мечами. 14 декабря 1944 года Папен был уволен в отставку и отошел от дел. Сначала он уехал в свое поместье в Валлерфангене в Сааре, а затем – в поместье своего зятя Макса фон Штокхаузена в Штокхаузене близ Мешеде. 10 апреля 1945 года Папен был арестован в охотничьем домике в нескольких километрах от Гут-Штокхаузена группой 194-го планерно-десантного пехотного полка во главе с 1-м лейтенантом Томасом Мак-Кинли.
