Статус Великого Мастера обязывал Лабзина поддерживать контакт с другими масонскими ложами Петербурга. Его не раз приглашали присоединиться к ним, но он неизменно отвечал отказом. Вот два показательных примера. Лабзин бывал на собраниях ложи «Соединенных друзей», основанной в столице в 1802 году камергером Императорского двора Александром Александровичем Жеребцовым. Эта ложа быстро стала едва ли не самой многочисленной в столице. Она объединяла в своих рядах прежде всего аристократов. Общество там было блестящим. Во главе списка красовалось имя великого князя Константина Павловича, за ним шли чередой герцоги, князья, графы, генералы и иные «сильные мира сего». (В этой ложе среди прочих состояли Александр Дмитриевич Балашов, министр полиции при Александре I, и Александр Христофорович Бенкендорф, шеф жандармов при Николае I.) В ложе существовали замысловатые обряды, своеобразный культ солнца и сил природы, так называемая «естественная религия». На знаках ложи изображался треугольник с тремя латинскими S, обозначавшими слова soleil, science, sagesse (солнце, наука, мудрость). Лабзина все это смущало, он усматривал тут попытку возрождения античного язычества или средневекового пантеизма, умаление «величия Господа». Не нравилось Александру Федоровичу и свободомыслие, поощряемое в этой ложе. Слово «вольнодумец» (libre penseur) всегда было для него знаком ненавистного «вольтерьянства» и вызывало отторжение, а в «Соединенных друзьях» это был комплимент.
В ложе проповедовались любовь к красоте жизни, предписывалось добиваться этой красоты для всех людей на свете, пропагандировалось устройство земного эдема, построение Великого Храма человечества.
Как пели братья в хоровой песне:
Лабзина это никак привлечь не могло, он искал в масонстве «смирения страстей, отречения от суеты», его идеалом был друг и соратник Н.И. Новикова Семен Иванович Гамалея, суровый аскет и подвижник. Лабзин даже написал стихотворный памфлет (разумеется, под псевдонимом), направленный против слишком уж жизнелюбивой философии братьев из другой ложи. «Что нам жуирство прославлять / и бонвиванство восхвалять? / Нам надобно дух укреплять / И взоры к нему обращать». (Жуир и бонвиван на французском — люди, стремящиеся получать от жизни все удовольствия и не задумывающиеся о смысле бытия.) Помимо этого, он находил, что «работы ложи токмо из одних обрядов и церемониалов состоят, учения имеют мало и предмету [цели] никакого».
Не устраивало Лабзина и явное расхождение между декларациями ложи и ее практической деятельностью. В уставе «Соединенных друзей» говорилось, что братья стремятся «стереть между человеками отличия рас, сословий, верований, воззрений, истребить фанатизм, суеверие, уничтожить национальную ненависть, войну, объединить человечество узами любви и знания». Цель прекрасная, но в реальности ложа была закрытым аристократическим клубом, что для искреннего поборника равенства сословий Лабзина было абсолютно неприемлемо. Наконец, все работы в ложе и даже переписка между братьями велись исключительно на французском языке. Александра Федоровича как яростного сторонника распространения русского языка это искренне возмущало.
Другой ложей, с которой Лабзин находился в дружеских отношениях, была ложа «Палестины», открытая в 1809 году. Самый девиз ее привлекал Лабзина: «Pro Deo Imperatore et Fratribus», то есть «За Бога, Императора и братство». Поначалу эта ложа тоже была аристократическим кружком, но затем во главе ее стал граф Михаил Юрьевич Вильегорский, один из «превосходнейших Отечества сынов». Князь Петр Андреевич Вяземский так поэтично описал его:
Все в ложе переменилось. Языком работ стал русский, в состав братьев стали принимать людей всех сословий — чиновников, офицеров, артистов и музыкантов, литераторов, купцов и даже ремесленников (например, скрипичных мастеров). Это была, пожалуй, самая пестрая по составу ложа Петербурга. Вильегорский был светлой личностью, привлекавшей к себе симпатии самых разных людей. Богатый и знатный вельможа, он сумел возвыситься над сословными предрассудками своей среды и «мог брата видеть в каждом». Он был меценатом, покровителем наук и искусств, благотворителем и филантропом. Михаил Юрьевич дружил с артистами, художниками, музыкантами, поэтами, при этом сам пробовал себя в разных областях искусства и был, по словам друзей, «гениальным дилетантом в музыке». П.А. Вяземский, человек очень язвительный, часто злой на язык и всегда скупой на похвалу, писал о нем так:
