В апреле 1875 г. Лорис-Меликов был назначен состоять при наместнике Кавказа великом князе Михаиле Николаевиче с производством в чин генерала от кавалерии. В 1875 и 1876 гг. дважды находится в продолжительных отпусках ввиду необходимости лечения. В немецком курортном городе Эмсе знакомится с вышедшей в Берлине брошюрой «Наше положение» либерального земского деятеля А.И. Кошелева, критиковавшего недостатки российской бюрократической системы. Там же, в Эмсе, встречается с автором брошюры и историком-славянофилом М.П. Погодиным. Идейные воззрения всех троих были довольно близки, и, по всей видимости, к этому периоду относится оформление умеренно-либеральных взглядов самого Лорис-Меликова. Вскоре он принимает посильное участие в разработке новой брошюры Кошелева «Общая земская дума», в которой намечались пути «восстановления утраченной связи народа и государя» без нарушения основополагающих принципов самодержавной монархии. Для этого, по мысли разработчиков, следовало создать Думу из депутатов от земских губернских собраний с правом законосовещательного голоса. Именно из этого концептуального проекта черпал Лорис-Меликов идеи в области политических реформ в период высшего взлета своей карьеры.
В 1876 г. Лорис-Меликов назначается командующим отдельным Кавказским корпусом, в ходе Русско-турецкой войны 1877–1878 гг. он проявляет себя талантливым военачальником, одерживает крупные победы над неприятелем. В апреле 1878 г. был удостоен графского титула Российской империи. За более чем 30-летнюю военную службу Лорис-Меликов награждается орденами Св. Анны 4-й, 3-й и 2-й степеней, Св. Владимира 4-й, 3-й и 1-й степеней, Белого Орла, Св. Александра Невского, Св. Георгия 1-й и 2-й степеней, золотой саблей «За храбрость» и целым рядом иностранных орденов: мекленбург-шверинским «За военные отличия» 2-й степени, прусским «За заслуги» и черногорской медалью.
В апреле 1879 г. назначается временным харьковским генерал-губернатором, а вслед за этим и командующим войсками Харьковского военного округа. На новом месте стремится соединить жесткую линию по отношению к революционному подполью с привлечением к сотрудничеству с властью умеренной оппозиции. В последнем Лорис-Меликову значительно помогало его личное обаяние, умение завоевать популярность людей. Биограф оставил такой отзыв о нем в харьковский период его деятельности: «Доступность, простота в обращении, ласковость графа быстро расположили к нему массу. Он действительно имел способность привлекать к себе людей; его мягкие, вкрадчивые манеры, веселость, магнетическое влияние красивых умных глаз очаровывали многих...» Даже в выполнении прямых служебных обязанностей по подавлению революционного движения проявил недюжинные дипломатические способности, чтобы, с одной стороны, своими энергичными действиями заслужить одобрение правительства, а с другой – провести их осмотрительно, не вызывая к себе чрезмерной ненависти революционеров. О том, насколько это ему удалось, красноречиво свидетельствует уже тот факт, что Лорис-Меликов умудрился стать единственным среди генерал-губернаторов, не включенным Исполнительным комитетом «Народной воли» в список приговоренных им к смерти.
