Михаил Григлрьевич Ефремов родился в семье батрака и батрачки Ефремовых 14 февраля 1897 года по старому стилю (27 февраля по новому стилю) в городе Таруса, расположенном на границе Калужской и Московской областей, на левом берегу реки Оки, в месте слияния с нею реки Тарусы. Уже через два дня, 16 февраля, он был крещен священником Петропавловского собора Смирновым, о чем сохранилась запись в метрической книге за 1897 год[30].
Отец Михаила, Григорий Емельянович Ефремов, происходил из бедной крестьянской семьи деревни Ольховец Новосильского уезда тогда Тульской губернии. Крайняя нужда, большая семья и малый надел земли у отца заставили его искать счастья в чужих краях. В поисках работы он дошел до Тарусы, где устроился работать у местных богатеев. Выполнял разные работы: сторожил лес, заготавливал дрова, сено, работал на мельнице в деревне Юрятино неподалеку от Тарусы.
В Тарусе Григорий Емельянович встретил Александру Лукиничну Ганьшину, такую же батрачку, как и сам. Ее отец рано умер, а мать, овдовев, жила в Тарусе в Калужском переулке. Через некоторое время они поженились. Сначала жили в д. Юрятино, а затем переехали в Тарусу. Александра Лукинична также трудилась от зари до зари: стирала, работала в поле, в лесу, служила кухаркой у местного чиновника Голубицкого. Жили бедно, главным богатством были дети, которых с каждым годом становилось все больше. Сохранилась фотография дома, в котором жила семья Ефремовых в Тарусе.
В 1905 году Михаил пошел в школу, которая располагалась в небольшом одноэтажном здании в сотне шагов от Оки. Все три класса размещались в одной комнате. Миша был выше всех своих сверстников ростом, сильный и закаленный, неутомимым на выдумки, и скоро стал верховодить всеми ребятами в школе.
В 1908 году Михаила, только что закончившего три класса, родители отдали в учение на Рябовскую мануфактуру в Москве: уж очень понравился фабриканту Рябову не по годам смышленый мальчишка, которого он однажды случайно встретил на рыбалке. Так закончилось Мишино детство, которое было очень коротким. Вскоре Михаил оказался в Москве, и жизнь в ней ему сначала очень не понравилась. Ежедневно рано утром надо было идти на фабрику, выполнять разные поручения, выслушивать ругань, покорно сносить щелчки и подзатыльники. Михаил всерьез начал задумываться о побеге домой, но до этого дело не дошло. Исполнительного и смышленого мальчишку приметил гравер дядя Гоша, который и взял его к себе в ученики. Он терпеливо обучал мальчика тонкому и непростому делу гравера. Молодой ученик радовал мастера своим упорством и трудолюбием. Позднее Михаил Григорьевич с особой теплотой вспоминал своего учителя, у которого получил первые уроки жизни.
Годы работы Михаила на фабрике в Москве совпали с подъемом революционного движения в России. На заводах участились случаи забастовок рабочих. Бастовали и на фабрике Рябова. Михаил вместе с другими бросал работу и выходил за ворота фабрики, но понять, за что рабочие ругают хозяина, поначалу не мог. Фабрикант Рябов, которого он много раз сопровождал на рыбалку в Юрятино, казался ему спокойным, добродушным человеком, любившим посидеть с удочкой, тем не менее рабочие называли его «кровопийцей».
Многого не понимал тогда еще Михаил, многого не знал, но жизнь его постепенно становилась иной. Добрые люди подсказали ему, что на Остоженке организованы Пречистенские рабочие курсы. В них могли продолжить свое образование рабочие, окончившие начальную школу. Михаил поступил на эти курсы. Днем работал, вечером учился, и так продолжалось в течение почти шести лет. В период учебы он повстречался со многими интересными людьми из числа рабочих других московских фабрик и заводов. Беседы и споры, свидетелем и участником которых он стал, многому его научили.
Годы учебы у дяди Гоши тоже не прошли даром: Михаил стал хорошим гравером-инструментальщиком. Со временем он покинул фабричную ночлежку и поселился у своего друга Николая Ильича Прокофьева, который жил вдвоем с сестрой рядом с фабрикой. Их маленькая квартирка из двух небольших комнатушек стала для него родным домом.