Важнейшим из преобразований Филиппа стала его военная реформа. В ранней молодости Филипп в качестве заложника провел несколько лет в Фивах, где познакомился с замечательным полководцем Эпаминондом. Сочетание греческих и македонских принципов послужило основой для создания новой армии. В Македонии традиционное ядро вооруженных сил составляла конница, в которой служила знать, пешее же войско было слабым и неэффективным. Филипп из рядовых крестьян создал мощную пехоту. Ее военные подразделения, называвшиеся, как и в Греции, фалангой, отличались от нее своим вооружением и построением. Все воины имели шлем, кожаный панцирь, небольшой круглый щит, короткий меч и длинное копье (сариссу), достигавшее 5,5 м в длину. Македонская фаланга имела в глубину до 16 рядов. Сокрушить ее с фронта практически не представлялось невозможным, а ее фланги защищала кавалерия. Кроме этих двух частей в армию входили также легковооруженные воины, пращники и лучники. Своим вооружением, выучкой и дисциплиной армия Филиппа превосходила военные силы греков. Царь сам тренировал ее, заставляя ежедневно совершать длительные переходы независимо от времени года.
Филипп реорганизовал и государственное управление, уничтожив полусамостоятельные княжества. Призывая знать ко двору и раздавая ей государственные и военные должности, он сформировал штат придворных, подчиненных его воле. Наряду с этим, царь расширил их круг за счет неродовитых талантливых людей, обязанных своим возвышением лично ему.
Ко времени прихода к власти Филиппа Македония находилась в сложном положении. Она была отрезана от моря, на суше граничила с рядом воинственных племен. Первоначально Филипп поставил своей задачей укрепление рубежей своего государства и достижение выхода к морю. Его походы против пограничных племен иллирийцев, пеонов и прочих, обезопасили страну с суши. Завоевания во Фракии дали Филиппу источник денежных средств, поскольку находившиеся здесь золотые рудники Пангея перешли под его контроль, и Филипп начал чеканить золотую монету (статеры), которая стала вскоре общепризнанной единицей обмена, вплоть до отдаленных областей Восточного Средиземноморья. Располагая крупными средствами и корабельным лесом, Филипп смог построить флот, который, однако, не имея богатых традиций, уступал греческому.
Фессалийская знать выбрала его