Когда фотографии Брюса в костюмах были умышленно слиты в прессу, оказалось, что он не только собирался покинуть «Голден Харвест» ради «Шоу Бразерс», но и собирался снимать для них свою первую картину. Газеты восторженно сообщали, что Ран Ран предложил Брюсу ошеломляющую плату за фильм, и когда Брюс отверг ее, Шоу отправил ему пустой подписанный контракт с просьбой о том, чтобы Брюс заполнил сам поле с суммой. Когда «Чайна Мэйл» спросила Брюса, будет ли он снимать следующий фильм в «Шоу Бразерс», он ответил скорее как наемник, чем проповедник: «Фильм может быть снят „Шоу Бразерс“, „Голден Харвест“ или любой другой компанией. Я никогда не хотел быть привязанным к кому-то конкретному».
Рэймонд Чоу полагал, что Брюс использовал Шоу, чтобы улучшить свою позицию в переговорах с «Голден Харвест», но с такими деньгами на кону он не хотел уличать его во лжи. «Когда актер становится очень популярным, вы не можете просто обвинить его во всех преступлениях». Финт Брюса в сторону «Шоу Бразерс» обеспечил зеленый свет съемкам «Игры смерти» от Чоу.
Вместо того чтобы дописывать сценарий, Брюс немедленно приступил к съемкам битвы в пагоде, потому что у бывшего ученика Карима Абдул-Джаббара появилось небольшое окно в конце августа 1972 года. У Абдул-Джаббара, который только что выиграл чемпионат НБА и награду лучшему игроку в «Милуоки Бакс», появилось несколько свободных недель перед следующим сезоном. Брюс был в восторге — он хотел снять фильм с Каримом, так как они тренировались вместе в Лос-Анджелесе. «Китайцы с удовольствием проглотят этот фильм, если я буду драться с парнем ростом под два двадцать», — предсказывал он.
Что происходит, когда парень ростом 1,70 метра дерется с парнем ростом 2,18 метра, даже если низкий парень — Брюс Ли? «Я пытался исполнить идеальный удар ногой в челюсть Кариму и в тот день, должно быть, ударил раз триста, — говорил Брюс. — Вы знаете, насколько высоко его подбородок? Мне пришлось действительно растянуть ноги. Ну и в конце концов я потянул паховую мышцу». Брюс едва не получил еще одну травму, когда упал со сцены во время трюка. «Я должен был поймать его, — вспоминает Карим, — и мы здорово посмеялись, потому что в моих руках он казался ребенком». Карим также стал свидетелем того, как Брюс столкнулся с неожиданным соперником: «Каскадер во время разговора с Брюсом решил бросить ему вызов. Брюс быстро уложил его на лопатки. Люди решили больше не испытывать его».
В синопсисе Брюса для фильма Карим был стражем пятого и последнего этажа — Большим боссом. Что касается того, кто был на остальных четырех этажах, Дэн Иносанто говорит, что Брюс «постоянно менял свое мнение», основываясь на том, кто был доступен. Брюс отправил билет «Чайна Эйрлайнс» Иносанто, который бросил учеников, чтобы сыграть защитника третьего этажа. «Его работа в кино похожа на его борьбу, — говорит Иносанто. — Он просто делал. Еще за день до съемок он не знал точно, каким будет бой. Затем он собирал все идеи вместе. Он выдумывал детали истории на ходу, спонтанно. Так и получалась „Игра смерти“».
На роль защитника четвертого этажа Брюс нанял эксперта по корейскому хапкидо Джи Хан Чже, которого Брюс впервые встретил на демонстрации боевых искусств в Соединенных Штатах в 1969 году. Чже только что подписал контракт с «Голден Харвест» и был свободен. Согласно некоторым сообщениям, Брюс был разочарован работой с неопытным Дже, который с уважением говорит: «Брюс был хорошим актером кино. Мой уровень и его уровень отличались, что создавало небольшой зазор».
На роли защитников первых двух этажей рассматривалось несколько имен, включая Таки Кимуру (инструктора в Сиэтле) и Вон Шунь Ляна (учителя вин-чунь в детстве). Он даже пытался поговорить с Джеймсом Коберном, когда тот был в Гонконге, но Коберн вежливо отказался.
Брюс снял только три верхних этажа и несколько сцен на открытом воздухе, прежде чем отложил проект в сторону. В целом получилось около девяноста минут «сырых» кадров, которые Брюс отредактировал примерно до тридцати минут готового материала.
В первоначальном варианте Ли и два единомышленника — Джеймс Тьен (снимавшийся в «Кулаке ярости») и Че Юань (каскадер из Гонконга) — прибывают на третий этаж и сталкиваются с Дэном Иносанто, который играет филиппинского мастера эскрима, одетого в традиционную одежду. Брюс одет в то, что стало его самым знаковым нарядом: плотно облегающий ярко-желтый комбинезон с черной полосой. Он был вдохновлен лыжным комбинезоном, который Роман Полански предоставил Брюсу во время отпуска в Швейцарии. Даже костюмы предназначались для поддержки тезиса фильма о том, что мастер единоборств должен быть выше традиций. «Я одет в типичные мусульманские одеяния. Все ходят в традиционной одежде, — говорит Иносанто. — Но Брюс похож на современного богатого путешественника».