В том же 1884 году Николай Карлович избирается кандидатом в члены правления Общества Московско-Рязанской железной дороги. Начинается его активная деятельность в железнодорожном предпринимательстве. Он, правда, пробует еще заниматься и другими делами. По совету своего тестя, Льва Васильевича Давыдова, приобретает за 150 тыс. рублей имение в Киевской губернии, чтобы превратить его в высокодоходное сельскохозяйственное предприятие. Но ничего, кроме убытков, этот эксперимент ему не принес. Необдуманно приобретенное полуразрушенное имение требовало слишком больших капитальных затрат. Однако эта неудача послужила ему хорошим уроком на будущее. Николай научился быть более осмотрительным, тщательнее обдумывать свои действия в последующей, имевшей гораздо большие масштабы предпринимательской деятельности на железных дорогах.
С. Ю. Витте
С начала 1890-х годов российское правительство вновь приступило к активному железнодорожному строительству. Инициатором его выступило Министерство финансов во главе с С. Ю. Витте. Для активизации строительства был взят курс на создание крупных железнодорожных монополий на базе тех частных железнодорожных обществ, которые доказали свою жизнеспособность. В ряде случаев при организации железнодорожных монополий министр финансов сам активно содействовал расширению железнодорожных предприятий. Так было и с укрупнением в 1891–1892 годах Общества Рязанско-Козловской железной дороги, преобразованного в Общество Рязанско-Уральской дороги, и с Обществом Московско-Рязанской железной дороги, преобразованным в Общество Московско-Казанской дороги. Именно с этим содействием была связана смена руководства правления Общества Московско-Казанской железной дороги, приведшая к приходу молодого и энергичного руководителя, Николая Карловича фон Мекка.
Надо сказать, что весь предшествующий период Общество Московско-Рязанской железной дороги действовало достаточно успешно. Эксплуатация дороги со дня ее открытия до 1893 года давала хорошие результаты. Валовой доход составлял в среднем около 70 млн рублей в год, расход эксплуатационный – около 30 млн рублей. Дивиденд, выплачиваемый за этот период, колебался в размере от 22 до 30 рублей за акцию. Такое блестящее положение дел общества создало ему репутацию одного из самых солидных и богатых железнодорожных обществ. Его акции в основном были сосредоточены в немногих руках (главным образом, семейства фон Мекк) и потому почти не являлись предметом спекуляции. Московско-Рязанская железная дорога одной из первых стала развивать дачное и пригородное сообщение. От Москвы были пущены скоростные пригородные поезда, понижены тарифы на проезд до ближайших подмосковных пунктов, устроены остановочные платформы на участке от Москвы до Быково. Эта местность с тех пор стала одним из излюбленных дачных районов московских жителей.
С именем Николая Карловича фон Мекка связано вступление компании на путь активного железнодорожного строительства, ее интенсивного расширения, превращения в одну из семи крупнейших железнодорожных монополий России начала XX века. 1 ноября 1890 года Николай Карлович становится членом правления общества вместо выбывшего из состава правления А. П. Вилимбахова. А уже в следующем, 1891 году оно переименовывается в Общество Московско-Казанской железной дороги, и Н. К. фон Мекк избирается председателем правления нового общества. В этом качестве он бессменно руководит им в течение 27 лет, вплоть до национализации компании после 1917 года.
Став руководителем Московско-Казанской железной дороги, Николай Карлович свой ум, энергию, практический опыт, да и придворные связи направил на ее развитие. За первые девять лет его управления протяженность Московско-Казанской железной дороги увеличилась в девять раз – с 233 верст до 2,1 тысячи верст. А за 50 лет существования общества (с 1863 года) протяженность его линий увеличилась в 13 с лишним раз. Фактически в Среднем и Нижнем Поволжье была создана новая разветвленная железнодорожная сеть: Рязань – Казань, Рузаевка – Пенза – Сызрань – Батраки, Инза – Симбирск, Тимирязево – Нижний Новгород.
Успех Николая Карловича фон Мекка основывался на высоком профессионализме, тщательности проведения изыскательных работ, проработки проектов. Об этом свидетельствует история получения им концессии на строительство линии, соединяющей Москву с Уралом и Сибирью. В 1910 году группа московских предпринимателей во главе с Ф. А. Головановым выступила с проектом железнодорожной магистрали Москва – Нижний Новгород – Екатеринбург – Курган – Омск с ответвлением на Казань. Общество Московско-Казанской железной дороги выдвинуло контрпроект, предусматривавший сооружение двух линий: Казань – Екатеринбург и Нижний Новгород – Котельнич. На основе трехлетних изысканий особо тщательно была проработана трасса через Уральский перевал. Предложение Общества Московско-Казанской железной дороги, поддержанное Министерством финансов, было утверждено 14 мая 1913 года.