Согласно легенде, он устроился в торговый порт грузчиком. Вскоре предприимчивый и смекалистый ярославский мужик пришел к выводу, что таскать мешки коллективно гораздо сподручнее, чем в одиночку. Он сколотил артель, которая очень скоро начала приносить доход. По другой легенде, Петр Елисеев не только получил вольную от своего барина, но и, если верить фольклору, сто рублей от его возлюбленной княгини Долгорукой. На эти деньги он купил мешок апельсинов, поехал в Петербург, вышел на заснеженный Невский проспект и стал их продавать. Это будто бы и были первые заработанные им деньги, ставшие основой его будущих несметных богатств. Эта легенда породила в Петербурге слухи про «фармазонский рубль», якобы выигранный Петром Елисеевым еще в имении Шереметева. Есть, впрочем, еще одна легенда, согласно которой Петр Елисеев разбогател после того, как нашел в лесу клад, зарытый отступавшими под натиском Наполеона москвичами.
Так это или нет, но через несколько лет Елисееву удалось открыть гастрономическую лавку на Невском проспекте, а затем и снять помещение для оптовой торговли в здании Петербургской биржи. В 1824 году он уже праздновал открытие первого собственного магазина колониальных товаров на Биржевой линии Васильевского острова.
В 1825 году Петр Елисеев умер. Но дело его, подхваченное сначала вдовой, а затем сыновьями, развивалось с такой скоростью, что очень быстро торговое предприятие «Елисеев и К°» стало одним из ведущих в торговом мире Санкт-Петербурга. Все его процветание и успехи были связаны с легендарным именем основателем фирмы Петра Елисеева. Это имя стало нарицательным. И сегодня петербуржцы, бывая в различных городах страны, могут легко увидеть, что один из самых лучших и благоустроенных магазинов в любом провинциальном городе в народе называют «Елисеевским».
В 1903–1907 годах по проекту одного из крупнейших архитекторов и общественных деятелей конца XIX – нача-ла XX веков Г.В. Барановского в Петербурге, на углу Невского проспекта и Малой Садовой улицы, Елисеевым был построен магазин колониальных товаров. Барановский построил для Елисеева не только здание магазина, но еще и особняк и два доходных дома. Родилась даже легенда, будто архитектор был зятем Елисеева. Однако это не так. Он не мог им быть по определению. Дочь Елисеева родилась, когда Барановскому было 43 года, а умер архитектор, когда девочке не исполнилось 17 лет. На самом деле он был всего лишь семейным архитектором Елисеевых.
Елисеевский магазин представлял собой яркое, чуть ли не вызывающее сооружение в стиле модерн, которое не сразу было принято петербуржцами. Оно и в самом деле выпадало из привычного архитектурного ряда Невского проспекта. Неслучайно в народе его долго называли «Кондитерским пирогом». Коммерческое назначение этого необычного здания подчеркивали огромные витринные окна и мощные аллегорические скульптуры Промышленности, Торговли, Искусства и Науки на фасадах.
Кроме магазина «Колониальные товары» на первом этаже, здание включало театральный зал на втором и ресторан – на третьем. Особым богатством и разнообразием отличался интерьер торгового зала, экзотически убранные витрины которого ярко освещались причудливыми настенными светильниками.
В советское время Елисеевский магазин превратился в ленинградский Гастроном № 1 с обязательным специальным отделом по обслуживанию партийной и советской номенклатуры – «Спецхавальником», как его окрестили в народе. При этом прилавки магазинов были удручающе однообразны. На них ничего, кроме скромного дежурного ассортимента товаров, не было. По анекдоту: возвращается купец Елисеев из мира иного в наши дни и, конечно, прямехонько – в свой магазин, на Невский. Смотрит – интерьеры вроде в порядке, иллюминация – тоже. «Все будто по-прежнему, – замечает Елисеев, – магазин мой торгует, и Романов у власти… Только вот у входа стояло у меня по бочке икры – красной и черной, кому они мешали?» И еще один вариант того же анекдота. У побывавшего в советское время в Ленинграде Елисеева спросили: «Ну как, нашли разницу до революции и после?» – «Ходят в них, как и прежде, и знать, и челядь. Только раньше с парадного хода входила знать, а с черного – челядь, а теперь наоборот».