Осенью 1872 года, когда он уже совсем подготовился к гимназии, в Кёнигсберг с триумфом возвратилась прусская армия. Но на самом деле более важным для Давида было то, что в это же время еврейская семья Минковских переехала в их город из местечка Алексотен под Ковно 5. Своё родное место они вынуждены были покинуть из-за преследований, которым подвергались евреи в царской России. Отцу семейства — удачливому торговцу — пришлось второпях всё распродать, понеся убытки. В Кёнигсберге он завёл новое дело — экспорт тряпья, идущего на изготовление бумаги. Дети были обеспокоены этой переменой в жизни семьи, однако мать успокоила их, сказав, что новое занятие отца — одно из благороднейших, так как бумагу лучших книг, которые им так нравилось читать, можно сделать только из этого тряпья. В конце концов дела отца снова пошли в гору, хотя поначалу времена были тяжёлые. Семья переехала в большой старый дом рядом с железнодорожной станцией, на берегу Прегели. На другой стороне реки жили Гильберты.
Макс, старший из мальчиков Минковских, в России не имел возможности поступить в гимназию из-за своего еврейского происхождения. Так никогда и не получив официального образования, он стал партнёром в делах отца, а после смерти последнего фактически «отцом семейства». Оскар, второй сын, стал одним из немногих евреев, посещавших Альтштадтскую гимназию в Кёнигсберге. Позже, став врачом и исследователем в области медицины, он обнаружил связь между диабетом и поджелудочной железой и прославился как «дедушка инсулина». Третий сын, Герман, в возрасте восьми с половиной лет поступил в приготовительную школу той же гимназии. Согласно жизнеописанию семьи, с любовью написанному их сестрой Фанни и названному «Три универсальных гения», братья Минковские произвели «сенсацию» в Кёнигсберге «не только своими большими талантами; но и личным обаянием». Особенно впечатляющими были математические способности маленького Германа. В одном классе, когда учитель не смог понять математической задачи, написанной на доске, ученики хором повторяли: «Минковский, помоги!»
Упоминания о том, что в это время на кого-нибудь произвели впечатление способности Гильберта, в записях Фанни нет. Позже он вспоминал себя как тупого и глупого в юности — «dammeling», как он обычно выражался. Наверное, это было преувеличением, ибо, как позже заметил один из его друзей, «за всем, что ни говорил Гильберт, как бы парадоксально это ни звучало, всегда чувствовалось его страстное и трогательное стремление к истине».
Гимназия, которую выбрали для Давида его родители, считалась лучшей в Кёнигсберге — старинная частная школа, основанная в начале XVII столетия и имевшая в числе своих выпускников самого Канта. Тем не менее выбор этот был весьма неудачным. В то время в Кёнигсберге было редкостное сосредоточение будущих научных талантов. Альтштадтскую гимназию одновременно посещали Макс и Вилли Вины, Арнольд Зоммерфельд и Герман Минковский. Однако Давиду, посещавшему Фридрихс-колледж, не пришлось в свои школьные годы познакомиться ни с одним из этих мальчиков.
К несчастью для Гильберта, Фридрихс-колледж был очень традиционным заведением со строго установленной учебной программой. Слово «гимназия» объяснялось тем, что такая школа была предназначена для гимнастики ума ребёнка, развивающей его умственные способности так же, как физические упражнения развивают его тело. С этой целью изучению латинского и греческого языков придавалось особое значение. Считалось, что изучение этих языков и античной литературы сделает ученика искусным во всех умственных занятиях. Грамматика поможет ему сформулировать свои мысли; поэзия пробудит в нём эстетическое чувство и разовьёт его вкус; изучение исторических и философских текстов расширит его кругозор и даст ему основы к «правильному пониманию» современности.
По традиции после древних языков математика больше всего ценилась как средство укрепления силы ума. Однако во Фридрихс-колледже её преподавание шло на значительно худшем уровне, чем преподавание латинского и греческого. Естественные науки вообще не преподавались.
Языковые классы составляли основную часть учебной программы. Особое внимание уделялось изучению грамматики, на этом основывались последующие занятия литературой. Такое обучение оставляло мало возможностей для развития самостоятельного мышления. Однако оно не помешало Давиду время от времени набрасывать на полях своих тетрадок небольшие стишки.
В это же время младший из братьев Минковских в костюме из простыни и наволочки играл в домашнем спектакле роль Отелло. Устроившись в кресле у окна комнаты, отведенной Фанни для упражнений на фортепьяно, он поглощал Шекспира, Шиллера и Гёте, запоминая последнего почти наизусть, так что, по словам сестры, «в последующие годы он вполне обходился только научными книгами».