В 1955 году направлен по распределению в трест «Уралтяжтрубстрой», где за год освоил несколько строительных специальностей, затем работал на строительстве разных объектов мастером, начальником участка. В 1957 году становится прорабом строительного управления треста. В 1961 году вступил в КПСС. В 1963 году назначен главным инженером Свердловского домостроительного комбината. С 1966 года – директор Свердловского ДСК.
В 1963 на XXIV конференции партийной организации Кировского района города Свердловска единогласно избран делегатом на городскую конференцию КПСС. На XXV районной конференции избран членом Кировского райкома КПСС и делегатом на Свердловскую областную конференцию КПСС.
В 1968 году переведён на партийную работу в Свердловский обком КПСС, где возглавил отдел строительства. В 1975 году избран секретарём Свердловского обкома КПСС, ответственным за промышленное развитие области. Предшественник Б. Ельцина на посту секретаря Свердловского обкома КПСС Я. П. Рябов рассказывал в интервью:
Так получилось, что несколько моих друзей учились вместе с Ельциным. Я решил спросить их мнение о нём. Они говорили, что он властолюбив, амбициозен, что ради карьеры готов переступить даже через родную мать. «А если ему дать задание?» – спрашиваю. Они говорят: «Любое задание начальства он разобьётся в лепёшку, но выполнит». – Я. П. Рябов
