У Давида были очень плохие способности к заучиванию наизусть, а в Фридрихс-колледже запомнить и изучить было одно и то же. По словам одного из друзей, «языковые классы вызывали у него больше грусти, чем радости». Не особенно быстро он усваивал и новый материал. Казалось, он никогда не мог понять то, чего предварительно не проработал в собственном мозгу. Несмотря на все эти трудности, он никогда не отставал от своих школьных товарищей. Он был трудолюбивым и ясно представлял себе сущность прусской системы образования. Не было никаких глупых выходок с его стороны. В отличие от Эйнштейна, он доучился в гимназии до конца, пока не сдал Abitur (экзамен, после сдачи которого разрешается поступать в университет).
Много лет спустя одна пожилая родственница Гильбертов вспоминала: «Всё, что я знаю о дяде Давиде, — это то, что все в семье считали его немного не в себе. Школьные сочинения писала за него мать. В то же время он мог объяснить учителям математические задачи. Никто его толком в семье не понимал».
Наконец он нашёл школьный предмет, соответствовавший его наклонностям и доставлявший ему нескончаемое удовольствие. Позже он вспоминал, что впервые почувствовал тягу к математике, потому что она была «bequem»—
Дни в Фридрихс-колледже никогда не вызывали у него приятных воспоминаний.
Однако с летними каникулами наступали светлые времена. На лето вся семья выезжала в Раушен 6, небольшую рыбацкую деревушку на берегу моря. Хотя позже место это стало популярным морским курортом, в то время его посещали немногие. Среди них была большая семья Карла Шмидта. Так же, как и Отто Гильберт, юрист по образованию, он, будучи радикальным социал-демократом, предпочёл стать мастером-каменщиком и домостроителем. Его пятый ребенок Кёте, рисуя рабочих и матросов Кёнигсберга, уже в то время проявила исключительное дарование. Много лет спустя, став знаменитой художницей, Кёте Кольвиц, вспоминая ежегодные поездки в Раушен, передавала то, что должен был испытывать и Давид: «Дорога в Раушен занимала пять часов, так как железной дороги в то время ещё не было. Мы ехали в journaliere, представлявшей собой большую закрытую телегу с четырьмя или пятью рядами сидений. Задние сиденья снимались, чтобы освободить место для необходимых для отдыха вещей: постели, одежды, корзин, ящиков с книгами и вином. В телегу впрягались три, а иногда четыре лошади. Впереди на высоком сиденье находился возчик. Ехать приходилось сначала по узким кёнигсбергским улочкам, выезжать через лязгающие Трагхеймские ворота и наконец через весь Земландский полуостров. Недалеко от Сассау можно было впервые увидеть море. Тогда, вставая на цыпочки, мы радостно кричали:
Лето в Раушене было полно идиллии. Это был «детский рай» для приезжающих сюда. В сентябре уже начинались школьные занятия, а в ноябре Прегель замерзала до марта.
Вспоминая своё детство, Гильберт однажды объяснял: «В школе математикой я занимался мало, так как знал, что буду этим заниматься позже». Однако наступило время сменить это философское настроение. В сентябре 1879 года, в начале последнего учебного года в гимназии, он перешёл из Фридрихс-колледжа в Вильгельм-гимназию. Это была государственная школа, в которой уделялось значительно больше внимания математике и даже затрагивались некоторые новые достижения в геометрии.
В то же время юный вундеркинд Герман Минковский успел обойти Давида, который был старше его на два года. Весной этого года «благодаря превосходной памяти и способности схватывать на лету» (как позже вспоминал Гильберт) Минковский закончил за пять с половиной лет восьмилетний курс Альтштадтской гимназии и поступил в местный университет.