Отец Ли умер. Его роковой сердечный приступ случился за два месяца до рождения Ли, так что Маргарита Освальд осталась одна с ребенком, В этих условиях мать и сын могли бы сильно привязаться друг к другу, но этого не произошло. Когда у Ли были стычки со взрослыми, мать обрывала взрослых, заявляя, что обвинения против него «вымышленные», она защищала не его, а свою репутацию. В действительности ей было трудно правильно оценивать подобные обвинения. Дома ее не было весь день, но она запретила Ли приходить к ней на работу. Она не хотела, чтобы у него были товарищи по играм, и он проводил очень много времени в одиночестве. Очень рано Ли стал пропускать школьные занятия, предпочитая бездельничать дома, смотреть телевизор и зачитываться комиксами. Когда ему было тринадцать лет, мать и сына вызвал к себе в связи с непосещением уроков школьный психиатр, который пришел к заключению, что мать не понимает, что уединение Ли — это форма протеста против того, что она не обращает на него внимания, и является его реакцией на полное отсутствие настоящей семейной жизни. Своему школьному руководителю Ли сказал:
— Что ж, мне приходится находиться с ней под одной крышей. Наверное, я ее люблю.
От него не потребовали объяснения, что такое любовь. Весьма возможно, что он не имел об этом настоящего представления. К этому времени у Ля сложился вспыльчивый и жестокий характер. Однажды он погнался с ножом за своим братом (у матери это сошло за «небольшую драку»). Другой раз, размахивая ножом, он угрожал жене своего сводного брата. Драка эта была серьезной, и мать попробовала вмешаться. Но было уже поздно: она потеряла над ним контроль. Ли стал слишком взрослым, и вместо того чтобы послушать ее, бросился на нее и ударил. В его поведении уже установились прочные рефлексы: он не мог сдерживать раздражения в обращении с мужчинами и не умел справляться с женщинами, быстро впадал в ярость.
Хотя испытательные тесты показывали высокий уровень его умственного развития, это не подтверждается его характеристиками. Судя по документам, он плохо учился и, закончив девятый класс, бросил школу. Подражая своему брату Роберту, он вступил в корпус морской пехоты, что было неудачным выбором для юноши, не признававшего авторитетов. Ли выводил из себя офицеров, в они не оставались в долгу. Товарищи по службе дразнили его «мокрой курицей». Три года, проведенные им на военной службе, — это ряд мелких дисциплинарных проступков и два военно-морских суда. Они завершились — после его попытки перебежать в Россию — его увольнением как нежелательного лица. Однако служба в морской пехоте накладывает печать даже на самых упрямых рекрутов. Обучение снайперскому делу поставлено там лучше, чем где бы то ни было, и рядовой Освальд получил квалификацию «Снайпера по стрельбе из винтовки М-1» на стрельбище в Сан-Диего Это была единственная область, где он проявил способности.
Ли приобрел также привычку обращаться к мужчинам постарше со словом