Молодому отцу удалось устроиться помощником инженера на завод «Роллс-Ройс», а Энн занялась хозяйством и детьми, ведь, как это часто бывает в молодых семьях, вскоре у Джоан появилась сестричка Дайэнн. В семье младшую называли Ди, а Джоан – Джо. Родители обращались к ней «Джоан» только когда собирались отругать.
Семья Роулинг поселилась вдали от больших городов и несколько раз переезжала, сначала в Уинтэрберн, а затем в Татсхилл. Жили они небогато, долгое время – на одну зарплату отца, поэтому даже в раннем детстве малышек особо не баловали. Недостаток игрушек мама компенсировала безграничной любовью и богатой фантазией. Обычные прогулки она превращала в настоящие приключения и учила дочек радоваться даже самым простым вещам. А еще каждый день перед сном она им читала. В их доме все полки были заставлены книгами.
Джо росла мечтательной и впечатлительной. Она отчаянно любила сказки. Всякий раз, когда мама читала им, младшая Ди засыпала через пару-тройку страниц, а Джо, наоборот, просила читать еще и еще. Энн, конечно же, не поддавалась на уговоры, поэтому девочке приходилось идти на хитрость. Как только дверь за мамой закрывалась, Джо доставала из-под подушки заранее припрятанный фонарик и, как многие дети, читала под одеялом до глубокой ночи. А иногда просто лежала и фантазировала, какую историю она хотела бы услышать. Именно так она придумала свою первую сказку о кролике по имени Кролик и пчелке по имени Пчелка. Джо тогда было шесть лет. Услышав сказку, младшая сестра пришла в полный восторг. После этого Джо захотелось придумывать новые приключения Пчелки и Кролика.
С самого раннего возраста Джо отличалась от большинства детей. Она постоянно витала в облаках, расхаживала по улице с «волшебной палочкой» из куска подобранной в лесу дубовой ветки, придумывала заклинания на разные случаи жизни и учила соседскую ребятню помогать заколдованным существам. Не все дети до конца понимали ее игры, а некоторых они и вовсе пугали, поэтому спустя какое-то время Джо стало гораздо интереснее оставаться дома, в мире своих фантазий, которые она с удовольствием записывала в толстую тетрадь. Постепенно это занятие ее настолько увлекло, что девочка объявила маме и папе: в будущем она станет писательницей. Хотя обоих родителей поведение дочери скорее умиляло, отец считал все это обычным детским лепетом и всерьез не воспринимал. А вот мама в глубине души уже тогда верила в свою маленькую фантазерку Джо.
Родителей настораживало только то, что их старшая дочь совсем мало общается со сверстниками, отрывается от детского коллектива, а ее воображаемый мир уж слишком разросся. Они опасались, что в будущем у дочери могут возникнуть проблемы в общении.
И опасения их оказались ненапрасными. Отношения с одноклассницами у Джо не заладились еще в младшей школе. Маленькая, чудаковатая, в круглых очках девочка, такая нелепая, на физкультуре постоянно становилась объектом для насмешек. Лишь первые годы обязательная для всех школьная форма помогала скрывать то, насколько малыми были доходы семьи Роулинг даже по меркам самой обычной школы. В целом для экономики Великобритании семидесятые годы – довольно тяжелый период: забастовки, инфляция, толпы безработных. Когда девочки подросли, их маме едва удалось устроиться в школу лаборанткой.