Новый пистолет должен был иметь меньшие габариты и массу, ударно-спусковой механизм, позволяющий открывать огонь без предварительного взведения курка, большее останавливающее действие пули, большую безопасность в обращении и высокую надежность работы в тяжелых условиях эксплуатации. Опытный пистолет Макарова разрабатывался в Тульском ЦКБ-14 (в дальнейшем переименованном в ЦКИБ СОО) под обозначением ТКБ-429, как раз отвечал выше указанным требованиям. В начале поиска наилучшего варианта и раннего этапа опытно-конструкторских работ Макаров сконструировал два варианта своего пистолета. Один под патрон 7,65mm Browning, дававший преимущество в меньших габаритах и массе оружия, другой – под более мощный отечественный 9x18. Патрон 9x18 был создан инженером Семиным еще перед началом войны. Его прообразом был немецкий 9mm Ultra, разработанный германской фирмой GECO, однако, имея одинаковую длину гильзы эти патроны не взаимозаменяемы, так как диаметр пули отечественного патрона составляет 9,2 мм. По энергии и скорости пули 9x18 (официальным обозначение 57-Н-181) занимает нишу между 9mm Short и 9mm Parabellum, имея большее, чем у первого, останавливающее действие пули и при этом возможность использования в оружии со свободным затвором, в сравнении со вторым. Новый русский 9 мм патрон был короче, чем штатный 7,62x25, с меньшей начальной скоростью и энергией пули, меньшим ее пробивным действием. Однако, за счет большего калибра обладал не только не меньшим, чем у более мощного 7,62 мм патрона останавливающим действием пули, но и даже превосходил его по этому качеству. В итоге выбор был сделан в пользу более эффективного 9 мм патрона.
Над созданием своего пистолета Макаров работал днем и ночью. По воспоминаниям конструктора: «Достаточно сказать, что я в то время работал ежедневно, практически без выходных дней, с восьми часов утра и до двух-трёх часов ночи, в результате чего я дорабатывал и расстреливал образцов в два, а то и в три раза больше, чем мои соперники, что, безусловно, дало возможность в совершенстве отработать надёжность и живучесть». Выбрав схему работы автоматики с использованием энергии отдачи при свободным затворе, конструктор сделал оружие малогабаритным, сравнительно легким, очень надежным в работе, простым в обслуживании и недорогим в производстве. В целом, общая компоновка и конструкция узлов и механизмов оружия были основаны на решениях, использованных в немецком Walther PP, но при этом Макаров существенно усовершенствовал их по нескольким направлениям: упрощение, как собственно конструкции, так и обращения с пистолетом, его обслуживания; многофункциональность деталей; повышение надежности работы в экстремальных условиях эксплуатации; увеличение прочности деталей и служебного ресурса; повышение технологичности и темпов массового производства. Возвратная пружина расположена вокруг ствола, что позволило сделать пистолет более компактным и легким, по сравнению с конструкциями, в которых эта пружина размещается под стволом.
Макарову удалось практически полностью устранить задержки при стрельбе, вызванные утыканием патрона в скос патронника. Конструктору удалось добиться идеального соотношения высоты расположения верхнего патрона, геометрии и наклона скоса патронника, зеркала затвора-кожуха и конструкции выбрасывателя. У ПМ верхний патрон в магазине расположен очень высоко, почти на уровне патронника, в результате чего, при других вышеуказанных особенностях, подача патронов осуществляется с минимальным углом и риск утыкания сведен к минимуму. Тот же Вальтер ПП весьма «привередлив» к форме пули используемых патронов из-за низкого расположения верхнего патрона по отношению к патроннику. Надежность работы ПМ благодаря такой конструкции была доказана не только на испытаниях, но главное, в реальных боевых действиях – в Афганистане, Чечне, и других странах, где велись и продолжают идти локальные воины. Ударно-спусковой механизм куркового типа, двойного действия с автоматической постановкой курка на предохранительный взвод имеет значительно более простую и технологичную в производстве конструкцию. Спуск с предупреждением. Усилие спуска при стрельбе с предварительно взведенным курком, в режиме одинарного действия, составляет 2 кг, а при стрельбе самовзводом – 4,5 кг. Детали УСМ намного прочнее, долговечнее, а сам механизм легче в обслуживании, нежели использованный в пистолете PP. С левой стороны рамы расположен рычаг затворной задержки.