Началось столкновение в мае 1823г., когда на общем собрании акционеров был рассмотрен вопрос об отправки кораблей в навигацию следующего года. Возникли некоторые разногласия, для устранения которых был создан специальный комитет из акционеров РАК. В него вошли нарвский купец Егор Карлович Сутхов, петербургский купец Степан Чаплин, титулярный советник Василий Федорович Беляев и лейтенант флота Василий Николаевич Берх. Как только комитет начал работать, вскрылись серьезные упущения в работе директоров Крамера и Северина. Оказалось, что Главное правление купило в 1820 г. корабль "Елену" без всякой надобности. Выяснилось также, что бывший владелец корабля Дж. Д'Вульф продолжал эксплуатировать судно даже после того, как получил за него деньги, По мнению комитета, общий ущерб от этой махинации составил 200 тыс. руб.
Осенью 1823 г. комитет завершил свою работу и представил подробный отчет Особому совету компании. Члены комитета признали, что Крамер и Северин совершили ряд предприятий, нанесших вред всей компании. Во-первых, два корабля - "Елена" и "Елизавета" куплены без всякой надобности, кроме того, на их ремонт было потрачено очень много денег. Во-вторых, по мнению комитета, в последнее время очень сильно увеличились расходы по Сибирским конторам. Третье обвинение касалось непосредственно директоров РАК. Их обвинили в использовании денежных средств Компании в личных целях, в необоснованных выплатах разных премий и вручении денежных наград семье Гагемейстера. Комитет постановил, что расходы по Сибири надо снизить и взыскать с Крамера сумму, заплаченную им за корабль "Елена", а также наказать директоров за использование капиталов компании в личных целях.
Представили члены комитета и свою точку зрения на причины, приведшие РАК к такому положению дел. Комитет выделил три главные причины кризиса компании. Во-первых, "удаление в 1818 году от управления колониями в Америке господина Баранова и преобразование дел в оных; во-вторых, отзыв первенствующего директора господина Булдакова в том же году, что он по случаю постигших его удара и болезни вовсе от службы отказывается… в-третьих, что с сего времени, когда господа директора Крамер и Северин приняли в единственное заведение все дела компании, возникли в полной силе нерасчетливость, худое хозяйство и неосмотрительность".
Детальная критику реформ Леонтия Андреяновича изложена в анонимной "Записке о зловредном влиянии Л.А. Гагемейстера на дела Российско-американской компании". Автор записки был явно человеком близким к комитету, возможно даже одним из его членов. Вот что он пишет о реформах Гагемейстера: "Он уничтожил паи и положил промышленникам жалование - перемена сия вредна как для компании, так и для промышленников, для компании вредна потому, что промышленники, имея в виду известное жалование, перестали заботиться об улучшении промышленности и от того промышленность в последние годы приметно упала… Я всегда говорил, говорю и, пока жив, утверждать буду, что если бы Александр Андреевич (Баранов. - А.Б.), владея прежними силами, прожил бы еще в Америке десять лет и если бы Михаил Матвеевич (Булдаков. - А.Б.) такое же время поуправлял компанией по-прежнему, то компания наша наверно стала бы наряду с первыми европейскими компаниями, обладающими отдельными морями и землями… Я неохотно, но должен сказать правду, что компания значит теперь совсем не то, что значила за пять лет перед сим. Главнейшая к тому причина есть запрещение расторжек с иностранцами в Америке, и главный виновник тому есть Гагемейстер".
Конфликт в Компании был частично разрешен при активной посреднической деятельности адмирала Мордвинова. Сами акционеры призвали его быть арбитром в споре. Изучив все документы, Николай Семенович "нашел в действиях правления некоторые неудачные дела", но они, по его мнению, "от случайных обстоятельств проистекают". А потому "не токмо не благоразумно было бы заводить о сем следствие, но даже очень вредно и для собственных капиталов компании, ибо от подобного действия могли бы потерять акционеры наши достоинство свое". Мордвинов все же предлагал навести порядок в делах компании и рассмотреть вопрос об увольнении директоров РАК.
Авторитет Николая Семеновича был очень велик среди акционеров и мнение адмирала было признано единственно правильным. Крамер был уволен, а на его место 24 июня 1824г. избран петербургский первой гильдии купец Николай Иванович Кусов. Еще до конфликта на пост директора был приглашен другой купец - Иван Васильевич Прокофьев. Он был правителем Московской конторы РАК и пользовался авторитетом среди акционеров, после того как в 1812г. при взятии Наполеоном Москвы сумел организовать эвакуацию всех капиталов конторы за пределы города. Иван Васильевич вступил в должность директора в 1823г. и принял активное участие в конфликте на стороне акционеров.