Весной 1943 года в книжный магазин заглянула Джейн Бэнкрофт и познакомилась с Хансеном. Джейн работала на военном авиационном заводе, а в свободное время занималась художественным шитьём. Её прадед, британский дворянин Джон Уинторп, был основателем колонии Массачусетс Бэй. Её манеры выдавали аристократическое происхождение, а лексикон привлекал внимание оригинальностью и непосредственностью. Детство и юность Джейн прошли в Техасе, в конюшнях Форт-Блисс и на кавалерийском посту в Эль-Пасо, среди военных и лошадей. Она была эрудированной и начитанной, и кругозор её охватывал многое — и новости с фронта, и древнекитайскую поэзию Ту Фу и Ли По, и теологию Томаса Стернза Элиота, и философию Бэтиуса, и живопись от Леонардо до Поля Кадмуса, и музыку от Баха до симфоний Малера. Тогда как Бен Али мог легко процитировать любой диалог из Сократа, Джейн могла воспроизвести любой миф из «Метаморфоз» Овидия. В августе 1943 года Джозеф Хансен и Джейн Бэнкрофт поженились. Тогда же Хансен, вдохновлённый предложенным замыслом Джейн, написал свой первый роман, получил от издателя задаток в пятьсот долларов, однако произведение так и не было опубликовано. В июле 1944 года у Хансенов родилась дочь Барбара. Пытаясь найти более подходящую её интересам работу, Джейн поменяла места в нескольких книжных магазинах на Голливудском бульваре, в то время как Джозеф работал дома за пишущей машинкой, одновременно присматривая за девочкой. Однако что бы он ни начинал писать — романы ли, рассказы, пьесы или стихи, всё это непрестанно возвращалось издателями.
В 1951 году мать Джейн дарит Хансенам маленький особняк на Голливудских Холмах, который Хансен позже опишет в своём романе «Улыбкою его жизни» («The Smile In His Lifetime»). C 1951 пo 1953 годы Хансен работает ведущим музыкальной радиопередачи «Незнакомец с моря». На радио его пристроил бывший однокашник Джордж Ходжкин, который одно время был директором Лос-анджелесской радиовещательной станции, пока не перешёл работать на телевидение. В 1954 году отец Хансена умирает от рака поджелудочной железы. Годом позже Хансен пишет по просьбе своего друга Тома Ленгьела сценарий к фильму о жизни фермеров, и два эпизода из этого сценария впоследствии появляются на экране. В 1956-м «Сэтедэй Ревью» и «Нью-Йоркер» публикуют стихи Хансена. Хансены временно поселяют к себе в дом подругу Джейн по имени Фронси, оставшуюся после развода без средств к существованию, с тремя ее детьми. В 1957 году они переезжают в более просторный дом на юго-западе Лос-Анджелеса, где остаются жить на долгие годы. Супруги наконец-то находят постоянную работу — Джейн устраивается учительницей в школу, а Джозеф снова поступает продавцом в книжный магазин в вечернюю смену. Это высвобождает ему время на творчество.
В 1963 году друг Хансена Уэйн Плучек, впоследствии погибший от СПИДа, представил его Дону Слэйтеру. Слэйтер издавал скромный журнал под названием «Один», где вскоре появились первые рассказы Хансена. Все люди, которые там публиковались имели псевдонимы, и Хансену, несмотря на все его доводы против, тоже пришлось взять себе псевдоним — Джеймс Колтон. Тогда же Хансен безуспешно пытается опубликовать свой первый роман «Парень из Вэлли» («Valley Boy»). В конце концов, отчаявшись, Хансен отослал потрёпанную рукопись в калифорнийское издательство «Ле Адэ», которое в основном специализировалось на порно-литературе. С изменённым сюжетом, добавлением порно-сцен и соответствующим художественным оформлением роман был опубликован под скользким названием «Заблудший на полночном шоссе» («Lost on Twilight Road»). Как ни унизительно это было сознавать, но Хансен наконец-то стал опубликованным романистом.
В 1965 году Дон Слэйтер назначает Хансена главным редактором журнала. Хансен видит, что политика издательства нуждается в существенном пересмотре. В результате возник конфликт, и Слэйтер вместе со своим приятелем тайком перевез имущество редакции в другое место. Однако Хансен не отчаивался. Он переименовал журнал в «Тангенц» дабы избегнуть судебных преследований и, едва сводя концы с концами, продолжил издательскую деятельность. Жена активно помогала ему в качестве оформителя. Тем не менее, в 1970-ом, подписка на «Тангенц» снизилась, и издание пришлось свернуть.
