В течение первого года пребывания в Пекине Л. М. Карахан вел также переговоры по вопросам нормализации отношений между СССР и Японией. Он был в курсе всех японских дел, и это значительно облегчало для него решение стоявшей перед ним задачи. Тем не менее переговоры длились много месяцев. Японские правящие круги, хотя и потерпели поражение на пути военных авантюр на советском Дальнем Востоке, все же упорно не желали отказываться от своего интервенционистского курса. Несмотря на явную враждебность японского правительства, Коммунистическая партия и Советское правительство, руководствуясь в своей практической политике принципами мирного сосуществования, неуклонно и последовательно осуществляли курс на установление Дипломатических отношений и налаживание мирного сотрудничества с Японией.
18 февраля 1924 года советский полпред в Пекине имел продолжительную беседу с японскими корреспондентами относительно заявлений японского министра иностранных дел барона Мацуи о том, что Япония не намеревается урегулировать свои отношения с Советским правительством.
Указав на все предшествовавшие попытки СССР нормализовать отношения с Японией, Л. М. Карахан заявил: «В настоящее время Япония в результате землетрясения отброшена более чем на 10 лет назад. Ее международное положение сильно поколеблено. Она принуждена занять более примирительную позицию по отношению к Америке и заискивать в ее дружбе. Никогда еще внутреннее положение Японии не было так чревато всякими грозными возможностями, как в настоящее время. Это опасное внутреннее положение, естественно, поглощает все внимание правительства, и поэтому японское правительство не спешит с урегулированием вопроса о возобновлении сношений с СССР. Между тем положение СССР за последние полгода стало прочнее, чем раньше, и привело к признанию СССР Великобританией и Италией. Японское правительство считает излишним торопиться. Со своей стороны мы тоже не будем настаивать на этом. Мы будем спокойно ждать в полной уверенности, что время работает в нашу пользу. Наша задача в настоящий момент очень ограничена: мы будем спокойно ждать и терпеливо помогать всем, включая и японское правительство, освобождаться от вредных иллюзий».
Под давлением общественности, а также ввиду серьезной заинтересованности в нормализации экономических отношений между двумя странами японское правительство пошло на переговоры о нормализации советско-японских отношений.
В состоявшейся 19 марта 1924 года беседе с Л. М. Караханом японский посланник Иосидзава сообщил, что «японское правительство приняло важное историческое решение, которое должно сыграть громадную роль в отношениях обеих стран». В течение последующих трех дней, писал советский полпред в НКИД, «он мне сообщил «японский план» восстановления отношений между Японией и Россией», оговорив его рядом предварительных условий.
Как сообщал Л. М. Карахан в НКИД, он заявил японскому посланнику: «Никаких предварительных условий принять не могу. В частности, я вообще не имею инструкций обсуждать с ними этот вопрос, но если ставят условия, я даже не передам этого в Москву и не запрошу инструкций». В результате твердой позиции, занятой советским представителем, японская сторона отказалась от предварительных условий.
14 мая 1924 года в Пекине начались официальные переговоры между советским представителем Л. М. Караханом и японским посланником К. Иосидзава, главной задачей которых было восстановление дипломатических отношений между СССР и Японией.
Вначале переговоры проходили успешно, и после восьми заседаний были выработаны основные принципы будущего соглашения. «Последние два дня у меня большое оживление с японцами, — писал Лев Михайлович 20 мая своей жене. — Заседания два раза в день, и сейчас иду в японскую миссию. Сидим по 4 часа подряд иногда два раза в день. Утомительно, но я гоню вовсю. Японцы с непривычки к концу заседания начинают заметно пухнуть. Но это только весело и полезно для дела». Главные разногласия возникли по вопросу сроков эвакуации японских войск с советского Сахалина и условий концессионного договора на разработку японцами нефтяных источников на Северном Сахалине. Переговоры осложнялись также внутриполитической борьбой в самой Японии, в результате которой японское правительство не могло дать четких инструкций своему представителю на переговорах. Однако здравый смысл и реальная оценка сложившегося положения взяли верх.
20 января 1925 года была заключена Конвенция об основных принципах взаимоотношений между Союзом Советских Социалистических Республик и Японией. Согласно этой конвенции, подписанной Л. М. Караханом и Иосидзава, между двумя странами устанавливались «дипломатические и консульские отношения». Стороны подтвердили свое желание «жить в мире и дружбе друг с другом». Правительство СССР выражало готовность предоставить японским подданным и компаниям концессии на эксплуатацию минеральных, лесных и других богатств на советской территории. Японское правительство обязалось вывести свои оккупационные войска с советского Сахалина к 15 мая 1925 года.
