Четырем японцам доступ на берег тоже был закрыт до принятия решения об их судьбе. Можно понять отчаяние четверки, видевшей родную землю, но не имевшей возможности до нее дотянуться. Японцы с "Вакамия-мару" стали просить Резанова увезти их обратно в Россию, где быт их был определен и налажен. А один из них - Тадзюро - 4 января 1805 года попытался покончить жизнь самоубийством, полоснув бритвой себе по горлу. На следующий день Резанов вновь обратился к японской стороне с настоятельной просьбой принять японских моряков, отметив, что они тихого и скромного поведения, хорошие верноподданные микадо.
Длительное ожидание Резановым ответа сёгунского правительства было вызвано затянувшимся обсуждением этого вопроса в японской столице. Мацудайра Саданобу считал, что до укрепления обороны японских берегов следует разрешить русским ограниченную торговлю в Нагасаки под контролем чиновников, так как отмена выданной лицензии вызовет конфликт с могущественной соседней державой.
Эдоские же ученые Хаяси Дайгаку-но-ками Дзюсай и Сибано Рицудзан Хикосукэ в меморандуме правительству предупреждали, что русские якобы будут привозить бесполезные товары и вывозить предметы, необходимые японскому народу а также раздавать подарки и проповедовать еретическую религию, чтобы постепенно сблизиться с невежественным народом и перетянуть на свою сторону не только айну, но и многих японцев. Затем, утверждали они, русские, которые славятся своей воинственностью, начнут под предлогом аренды участков для строительства своих домов и храмов захватывать японские земли. Меморандум призывал правительство отклонить предложение России, но обращаться с посольством вежливо, не выказывая ни вражды, ни расположения.
Правящие круги Японии опасались, что уступка, сделанная России, укрепит оппозиционные настроения. Некоторые представители самурайской интеллигенции (Сугита Гэм-паку, Сиба Кокан) критиковали правительство, указывая, что, отменив лицензию, оно обмануло русских. Переводчики укоряли русских за то, что они 12 лет не использовали лицензию. В расширении внешней торговли были заинтересованы не только чиновники, переводчики и купцы Нагасаки. Торговать с русскими приехали купцы из Эдо, Киото и Осака. Резанов писал: "Отказ в торге произвел сильное в народе впечатление. Приехавшие из Меако (Киото) коммерческие спекулянты уже предлагали мне чрез переводчиков свои условия, офицеры и чиновники ожидали награждения, которое им принять запрещено было, и все они вдруг неожидаемым отказом более нас огорчились. Неудовольствия их, свычка с нами родили более искренности. Последние дни приходили в караульни через преданных нам офицеров разного рода люди со мною прощаться, уверяли, что никогда россиян не забудут, и приносили связки белых вееров, чтоб надписал я имя свое и день прихода нашего, что они будут сохранять, как драгоценность. Я писал им по-голландски и по-японски разные девизы, и они были весьма довольны. Офицеры мои также на других веерах подписывали имя свое. В заключении моем исправил я японской словарь мой и собрал до 5000 слов, учился языку более и более, и сколь ни слабы были познания мои в нем, но при всей строгости правления получал я от офицеров многие сведения и, наконец, и всю тайну нашего отказа".
Чиновники, как отмечал Резанов, под секретом сообщили ему, что "неудовольствие народное так велико, что отказ нам (русским) торга и приема посольства необходимо великие должен иметь последствия и что постановление сие подвержено еще перемене". Собеседники Резанова уверяли, что глава княжества Хидзэн и губернаторы Нагасаки желают установить торговые отношения с Россией, но боятся вызвать подозрения правительства, поэтому следует дождаться смены министров. Они ручались сообщить об этой смене через голландцев для того, чтобы Резанов отправился в Мацумаэ завершить переговоры, причем обещали во время пребывания в Эдо содействовать успеху русских. Чиновники даже советовали Резанову назначить на один год русского служащего в состав голландской фактории для сбора сведений о Японии, пренебрежительно заметив, что голландцы не осмелятся ослушаться их распоряжений.
Лишь в марте 1805 года бакуфу (правительство сёгуната) направило в Нагасаки своего чиновника Киисиро Тояму с официальным ответом на пожелания российского посольства. Встречу представителей обеих сторон было решено провести на берегу, в доме приемов губернатора Нагасаки. За Резановым прислали специальную галеру, а при выходе на берег его ждал паланкин с носильщиками. Российского посла сопровождал знаменосец, небольшой оркестр и доктор Лангсдорф. Немало усилий потребовалось для согласования всех деталей церемониала. Резанов, например, отказался сидеть на полу, поэтому хозяевам пришлось позаимствовать европейские кресла из голландской фактории, обосновавшейся на островке Дэсима в порту Нагасаки.
