В то же время Зорге был своим в партийной группе НСДАП, созданной в Токийско- Йокогамском землячестве Германии в Японии. Он стал инструктором по идеологической работе среди членов немецкой колонии, близко сошелся с руководителем партячейки нацистов Шарффом, которого часто приглашал в пивные бары и другие увеселительные заведения. Общение с ним и другими членами нацистской группы давало мало полезной разведчику информации, но закрепляло его положение в посольстве и германской колонии. Шарфф в октябре 1934 года собственноручно выписал Рихарду Зорге партийный билет члена НСДАП, что еще более повысило его авторитет в нацистских кругах. Благодаря этому Рихард установил контакт с местным националистом Накано Сайго, основавшим японскую фашистскую организацию «Тохокаи», в которую входили реакционно настроенные молодые офицеры. От них Рихарду удавалось получать интересную для него информацию.
В соответствии с планом операции в середине 1935 года Рамзай должен был приехать в Москву, доложить о результатах своей работы и получить новые указания. Он заблаговременно подготовил и отправил в Центр курьерской почтой отчет о проделанной работе, в котором сообщал, что ситуация в стране очень сложная, но он установил контакты со всеми членами своей группы, которые начали добывать необходимую информацию. Сам он успешно развивает личные связи в германском посольстве, в том числе с послом и военным атташе. От них получает не только устные сведения, но и закрытые документы. С местными кругами работа продолжается. Лично Рамзаю привлекать к сотрудничеству кого-либо из японцев сложно и опасно. Работа идет через Джо и Отто, но результатов пока нет. Он также настоятельно просил заменить радиста.
В мае 1935 года произошел провал в шанхайской нелегальной резидентуре, в которой раньше работал Зорге и через которую теперь поддерживал почтовую связь с Москвой. Резидент, арестованный в Шанхае английской полицией, лично знал Зорге. Именно он встречался с ним в Германии в качестве представителя Центра, когда Рихард готовился к командировке в Японию. В Разведуправлении опасались, что провал в Шанхае может затронуть и группу в Токио. Именно поэтому, а не только в связи с необходимостью лично заслушать Зорге по итогам первого этапа его работы в Японии, резидент получил указание прибыть в Москву.
В руководстве военной разведки в это время произошли серьезные изменения. После крупных провалов в Финляндии и во Франции, приведших к арестам нелегальных резидентов и значительной части их агентурной сети, деятельность IV управления была рассмотрена на заседании политбюро ЦК ВКП(б) и получила негативную оценку. Подобные провалы подрывали внешнеполитический авторитет СССР и вызывали рост антисоветских публикаций в мировой прессе. По предложению Сталина было признано целесообразным принять определенные меры, чтобы впредь не допускать подобного. Для совершенствования управления всеми операциями за рубежом было решено вывести Разведуправление из Штаба РККА и подчинить его непосредственно наркому обороны. Одновременно усиливалось руководство военной разведки за счет направления туда опытных кадров из Иностранного отдела ОГПУ, занимавшегося политической разведкой. Первым заместителем Берзина стал Артур Христианович Артузов, который привел с собой группу сотрудников ИНО. Он расставлял их на ключевые посты, стремясь контролировать всю работу управления. Руководить Вторым агентурным отделом, отвечавшим за работу в странах Востока, стал чекист Федор Яковлевич Карин. Он также стал менять его состав, объясняя это необходимостью повысить результативность работы. Новым начальником японского отделения назначили офицера Покладка, сотрудника Разведупра, который лично ранее не занимался агентурной деятельностью. Таким образом, руководство резидентурой в Токио стали осуществлять люди, которых Зорге совершенно не знал и которые также ничего не знали о его предыдущей работе в Китае и Японии.
На этом перемены не закончились. В феврале 1935 года произошел новый провал — в Дании, где был задержан нелегальный резидент военной разведки и арестована группа ценных агентов. Хотя его причиной явились грубые ошибки сотрудников резидентуры, нарушавших указания Центра, Берзин решил взять ответственность на себя и в апреле написал на имя наркома обороны рапорт с просьбой об отставке. Ворошилов ее принял и своим приказом освободил Берзина от должности начальника Разведывательного управления. В подписанном наркомом приказе выражалась уверенность, «что и в будущей своей работе т. Берзин вполне оправдает свой заслуженный авторитет одного из лучших людей Рабоче-Крестьянской Красной армии». Яна Карловича назначили вторым заместителем по политической части командующего войсками ОКДВА, отвечающим за работу военной разведки в этой армии. Он убыл на Дальний Восток к новому месту службы.
