Отец поэта, Ян Эрбен, был сапожником и садовником; мать, Анна, была дочерью учителя. По материнской линии достались Карлу любовь и тяга к учению. Он закончил гимназию в Градце Кралове, после этого изучал философию, а потом право. Во время учения его другом и собеседником стал Карел Гинка Мах, завязал Эрбен дружбу с Франтишком Палацким, а позже и с Боженой Немцовой, познакомился с известными зарубежными собирателями фольклора и много времени проводил в архивах. До 1843 года работал судебным чиновником, потом ассистентом в Национальном музее, а в 1851 году получил место архивариуса города Праги, позднее был назначен руководителем канцелярских учреждений города Праги. Был дважды женат. Первая жена Барбора (Бетинка) Мечирова умерла в 1857 году, после ее смерти он женился на Софии Мастной. От первого брака у Эрбена было 3 дочери; сыновья его умирали в младенческом возрасте.
Умер Эрбен 21 ноября 1870 года в возрасте 59 лет. Наследие, оставленное им чешскому народу, огромно. Удивительно, как много удалось ему собрать, переработать за его не особо долгую жизнь.
Эрбен собирал и сочинял сказки, песни, баллады, считалки, наговоры, писал статьи для научного словаря Ригера, издавал старочешские труды (например, избранные труды Яна Гуса), переводил свод гражданских законов и уголовный кодекс, принял участие в составлении гимназических учебников, был редактором «Пражских новостей», много путешествовал – в Вену, Загреб, в Москву. В связи со своей исследовательской работой был членом многих известных обществ, например членом Чешской королевской академии наук, членом археологического общества в Москве, членом совета Харьковского университета, корреспондентом Императорского геологического института в Вене; получил множество наград и отличий: например, черногорский князь Николай Первый провозгласил его рыцарем третьей степени. Сборник баллад Эрбена «Китице» («Букет») был торжественно помещен в личную императорскую библиотеку.
