Через два года, одиннадцати лет, он переселился в Вену и сначала посещал школу при главном городском соборе, храме Святого Стефана, чтобы подготовиться к обучению в Венском университете. В 1499 г. юноша Герберштейн был записан в университет, где ведущие итальянские профессора научили его латинской риторике, блестящие навыки в которой он вместе с иностранными языками сложил в копилку будущего дипломата. Громадное влияние на Герберштейна оказал знаменитый профессор Конрад Цельтис. Отец Цельтиса был крестьянином, но сын, благодаря неустанным трудам, добился не только ученых званий и высокого авторитета в университетских кругах, но и, как выдающийся поэт-гуманист, лаврового венка из рук римского императора Фридриха III, отца Максимилиана I.
Цельтис был незаурядным педагогом и, кроме греческого языка, в котором видел не только язык древних авторов, но и вечный язык высокой культуры, преподавал слушателям географию и историю. Его пример человека из низов, достигшего вершины, воодушевлял юношу, знаменитые путевые карты Цельтиса и подробное обозрение германских земель, сделанное им, служили Герберштейну образцом в собственных позднейших трудах.
Шестнадцати лет, в 1502 г., Герберштейн закончил университет со степенью бакалавра, пройдя полный курс artes liberalis, семи «свободных наук»: грамматики, арифметики, геометрии, астрономии, диалектики, риторики, музыки. Этот этап жизни — обучение в университете — имел для него непреходящее значение, он никогда о нем не забывал и позднее заказал гравюру с изображением самого себя среди слушателей лекции профессора.
Став бакалавром, Герберштейн продолжил было учиться на юридическом факультете Венского университета, но скоро его оставил. В будущем он всегда сожалел, что не получил докторской степени. Однако на обучение наукам юноша Сигизмунд затратил десять лет, что было беспрецедентно много для того времени, и образование, полученное им, было на голову выше обычного. Он отчетливо понимал свое превосходство над теми, кто годами дразнил его «писакой». Герберштейн высоко ценил университет — и недаром. Именно благодаря университету он получил возможность приблизиться ко двору, поскольку император Максимилиан заботился о Венском университете, из стен которого выходили преданные и компетентные чиновники, необходимые двору, и наблюдал за выдающимися выпускниками.
Следующие несколько лет, между 1506 и 1514 гг., Герберштейн служил в армии как младший офицер, вначале при брате Георге, потом при других офицерах, участвовал в походах Максимилиана I против Венгрии и Венеции. Он прекрасно владел мечом, не хуже, чем в будущем — пером. Он занимался провиантом, выполнял обязанности гонца, обучал военному делу новобранцев, руководил вылазками. Храбрый и осмотрительный, он обратил на себя внимание командования. Его представили Максимилиану I, который отметил его незаурядные способности и, главное, незаурядное образование. Император обратился к Герберштейну с вопросом, чего бы тот пожелал за свою хорошую службу. Тот скромно ответил, что не просит большего, чем пожаловал его властелин. Дипломатичность ответа понравилась императору, он посвятил Герберштейна в «золотые рыцари», что было высоким отличием для молодого и незнатного дворянина, и определил в придворную службу. Этому событию была посвящена специальная гравюра.
Он был высок, статен, с четкими линиями удлиненного лица и большими глазами, с юности обладал очень важным качеством: внушительностью и импозантностью. Он был не чужд самолюбованию, и многократно заказывал гравюры, изображавшие его то на коне, то в подаренной русским великим князем роскошной шубе, то в санях. Гравюрами, на которых по его заказу были запечатлены наиболее важные или интересные моменты его жизненного пути, Герберштейн в свое время украсил издания всех своих книг.
Сразу после венской свадьбы, в 1515 г., Герберштейн получил первое серьезное дипломатическое задание: выступить посредником в споре о баварском наследстве между племянниками Максимилиана I, братьями Вильгельмом и Людвигом, у которых были запутанные и противоречивые отношения друг с другом и с матерью, сестрой императора, баварской герцогиней Кунигундой. Это было очень сложное и деликатное поручение, распутать клубок имущественных и политических несогласий до конца не удалось, но Герберштейн проявил себя как великолепный защитник императорских интересов.
В это же самое время его старший брат Георг возглавлял императорские войска, подавившие крестьянское восстание в Истрии, Каринтии и Крайне, и особо отличился как искусный военный тактик.
