Поляки упрекали Литво-Руссов в измене клятвам, которыми была скреплена Городельская уния, и, ссылаясь на то, что теперь у них один и тот же государь, предлагали им отменить самый титул особого великого княжества и заменить его общим именем Польши. Литовцы отвергали подобные предложения и с своей стороны высказывали желание, чтобы из акта Городельской унии были исключены слова о вечном присоединении Литвы к Польше; так как эти слова тогда внесены без ведома Литвинов, плохо понимавших латинский текст означенного акта. Кроме того Литовцы требовали от Поляков возвращения захваченных ими западных частей Подолии и Волыни.
Незавидно было положение молодого короля между этими двумя враждебными сторонами, и он часто недоумевал, что ему делать и как поступать. Вначале, очевидно, он находился еще под влиянием своей привязанности к Литве и советов своего пестуна Гаштольда, так что противился требованиям Поляков относительно присоединения Волыни и Подолии; что могло бы повести не только к неудовольствию, но и к явным мятежам в литовско-русских областях. Но с другой стороны, он не имел достаточно власти, чтобы укрощать назойливые притязания польских панов и духовенства, которые, кроме присоединения Русских провинций, постоянно требовали от него клятвенного подтверждения разных для себя привилегий, полученных от Ягайла, и дарования новых, клонившихся к дальнейшему ограничению королевской власти. Между самими членами польских сеймов выступили тогда две большие и несогласные между собой партии: Великополяне и Малополяне. Первые были вообще умереннее, и равнодушнее относились к вопросу о присоединению Русских земель, с которыми они не находились в соседстве. Вторые наоборот отличались запальчивостью и неумеренностью в своих требованиях. Они явно стремились к захвату старосте и всяких урядов, а также к захвату поземельных владений в соседних с ними Русских областях. Главою Малопольской партии являлся все тот же краковский епископ Збигнев Олесницкий; надменный своим кардинальским достоинством, он не хотел уступать первое место на совещаниях и торжествах даже примасу королевства архиепископу Гнезненскому, за которого стояли Великополяне. Первенствующее значение Олесницкого поддерживалось еще самою королевою-матерью Софьей. Эта королева, по происхождению русская и православная, теперь находилась под полным его влиянием, а злые языки утверждали, что она имела с ним не одно только духовное общение.
Казимир IV нередко должен был выносить гордый тон и суровые упреки со стороны Краковского епископа и делал ему уступки. В одном только вопросе он оставался тверд. Олесницкий, главный виновник возведения на Литовский престол Сигизмунда Кейстутьевича, теперь хлопотал за его сына Михаила и требовал, чтобы король помирился с ним и дал бы ему удел в Литовско-Русском княжестве. Но после известного покушения на его жизнь Казимир не хотел и слышать о Михаиле. Последний некоторое время пребывал в Московской земле. С помощью Татар он нападал на Северские области, которые хотел оторвать от Литовского княжества. Великий князь Московский Василий Темный поддерживал его притязания. С своей стороны Казимир поддерживал соперников Василия, Ивана Можайского и Димитрия Шемяку. Потерпев неудачу в своих предприятиях с этой стороны, Михаил искал убежища в Молдавии, потом в Силезии, потом опять возвратился в Московские владения. Но вследствие вновь заключенного с Литвой мира Темный отказал ему в дальнейшей поддержке. Одно, впрочем, не совсем достоверное, сказание сообщает, что Михаил Сигизмундович умер, отравленный каким-то игуменом; этот последний будто бы дал ему просфору с столь сильным ядом, что князь тут же упал и испустил дух. Испуганный такою быстрою кончиной, игумен, опасаясь мести от двоюродной сестры Михаила, великой княгини Софьи Витовтовны, будто бы тотчас вкусил той же отравы и точно так же умер (1452 г.).