Александр Лерман родился в Москве в 1952 году. В 1970 году окончил спецшколу при Музыкальном училище имени Гнесиных по классу виолончели. С того же года изучал в Вильнюсском университете английский и литовский языки, закочив учебу в 1975 году. В 1965 году с гнесинским хором Лерман попал в Артек, где от новых знакомых из социалистических стран наслушался новейшей западной музыки. В 1968 году он стал участником группы «Виолончелисты», составленной полностью из студентов класса виолончели Гнесинского училища и Московской консерватории. В команде он играл на клавишах и пел.
В 1970 году Лерман перешел в группу Градского «Скоморохи», где, кроме них, выступали Александр Буйнов и Юрий Фокин. Группа базировалась в Москве, и при невысоких заработках совмещать эти концерты с учебой в Вильнюсе оказалось для Александра слишком дорого. В итоге он переехал назад в Москву.
В январе 1972 года Александр был приглашен Павлом Слободкиным в ансамбль «Веселые ребята», в котором ранее выступал Градский, а в то время уже работал барабанщик «Скоморохов» Владимир Полонский. Вскоре в ансамбль пришел из армии Александр Буйнов. В качестве ведущего вокалиста группы «ВР» Лерман исполнил ряд песен, получивших всесоюзную популярность: «Варшавский дождь», «Я к тебе не подойду», «На перекрестке», «Чернобровая дивчина», «Когда молчим вдвоем», а также принял участие в записи первого LP ансамбля «Любовь – огромная страна». В ансамбле спел две свои песни: «Новгородский пир» и «По этой лестнице». В сентябре 1974 года перешел ненадолго к Севе Новгородцеву в ансамбль «Добры молодцы». Однако вскоре Новгородцев уехал за границу, а Лерман после единственной гастрольной поездки с «Добрыми молодцами» перешел ненадолго в «Аракс», в это время участвовавший в постановке «Тиля» в Театре имени Ленинского комсомола.