Г.А. Целлер родился 14 марта 1884 г. в Армавире в семье поволжского немца столяра Гейнриха (Андреаса, Андрея) Целлера. Отец Гергарда происходил из селения Усть-Золиха Саратовской губернии. С 14 лет он ушел в город на заработки и на свою родину больше не возвращался. Сменив ряд профессий, Гейнрих Целлер остановился на столярном ремесле. В 1882 г. он обосновался в селе Армавир, где сначала трудился по специальности на строительных работах, а впоследствии устроился модельщиком на чугунолитейный завод П.Н. Лимарева, ранее принадлежавший немцам Гамму и Шмидту. В 1906 г. Гейнрих Целлер получил увечье и до самой своей смерти в 1922 г. занимался только мелкими столярными работами, в основном полировкой.
Мать Гергарда Целлера Клара (в девичестве - Гуве) была домохозяйкой и иногда в качестве поденной работы занималась шитьем. Умерла она в 1922 г., в один год со своим мужем. В тот год в Армавире умерло большое количество горожан. Много было и немцев. Причиной катастрофической смертности стал голод.
Семья Целлеров, по всей видимости, была прочно интегрирована в русскоязычную среду, некоторые признаки этого прослеживаются даже в метрических книгах лютеранской церкви Армавира. Там есть две записи о рождении младших братьев Г.А. Целлера. В них нет никакой дополнительной информации, которая отличала бы их от тысяч других записей такого рода. Однако если учесть, что немцы Армавира в досоветский период, особенно в отношении того, что касалось обрядовой стороны их жизни, были очень замкнутым сообществом, то фамилии восприемников при крещении детей в семье Целлер обращают на себя внимание. Из четырёх человек, которые выступили в качестве крёстных родителей, только один имеет немецкую фамилию. Трое других - Ильин, Глизевич и Гапани. Это может говорить о том, что семья Гейнриха и Клары Целлер имела прочные социальные связи за пределами лютеранской (немецкой) общины. О том, что Ильин, Глизевич и Гапани не были лютеранами, кроме их фамилий, косвенно говорит и тот факт, что более они никогда не упоминались в метрических книгах ни в каком качестве. В противном случае это было бы довольно странно, если учесть то обстоятельство, что метрические книги после последней записи о крещении ребёнка в семье Целлер велись ещё более 20 лет. Целлерам, даже имея хороших знакомых из числа русских или других православных людей, нужно было иметь веские основания, чтобы пригласить их в качестве восприемников.
Таким образом, уже родители Г.А. Целлера не вполне отвечали портрету типичного армавирского немца - бывшего колониста, лютеранина или реформата.
С самых ранних лет Гергард исполнял роль няньки для своих многочисленных младших братьев и сестер. По воспоминаниям Г.А. Целлера, их семья испытывала крайнюю нужду, и из 14 детей остались лишь трое - он и две девочки, остальные умерли в раннем возрасте от болезней и недоедания. Уже с 11 лет, чтобы прокормить членов большой семьи, мальчик стал работать вместе с отцом. К 14 годам он изучил столярное дело и начал трудиться самостоятельно - в ст. Лабинской, а с 1901 г. на механических заводах А.Е. Хахаева и П.Н. Лимарева в Армавире. На последнем предприятии, кроме отца, работал кузнецом брат его матери Филипп Карлович Гуве, живший в одной квартире вместе с Целлерами.
Как вспоминал сам Гергард Андреевич, несмотря на все трудности, связанные с поиском заработка, ему все-таки удалось получить начальное образование в пределах двухклассного училища. К сожалению, у нас нет сведений о том, в какой местной школе он учился.
После перехода чугунолитейного завода П.Н. Лимарева в собственность М.И. Мисожникова производство стало быстро расширяться. С 1902 г. из Ростова-на-Дону на предприятие прибывает много новых рабочих. Среди них оказались и те, кто уже был вовлечен в антиправительственное движение. Двое таких революционно настроенных рабочих - Гальский и Петров сняли "угол" у Целлеров. Под влиянием квартирантов и ряда других литейщиков Г.А. Целлер быстро проникается социал-демократическими идеями. О своей деятельности он позже вспоминал, что "первая работа состояла в том, что вовлекали более передовых рабочих в кружки самообразования и вели в среде рабочих агитацию о плохой жизни и необходимости борьбы".
После образования в селе местной группы Российской социал-демократической рабочей партии (РСДРП) в 1903 г. Г.А. Целлер вошел в ее состав. Сразу же был поставлен вопрос об организации на заводе М.И. Мисожникова политической забастовки. Владевший грамотой, Гергард Андреевич каждую субботу посещал контору предприятия, где на основании табеля заполнял расчетные книжки рабочих. Часто общаясь с начальством, он собирал информацию о настроениях среди заводской администрации. Накануне стачки на квартире Целлеров на гектографе было распечатано воззвание к рабочим.