Здобув домашню освіту. У квітні 1791 записаний сержантом у лейб-гвардії Преображенський полк, у січні 1797 підвищений до прапорщика і переведений у Ярославський піхотний полк. З 1791 — сержант, з 1797— підпоручик, з 1800 — поручик, з 1803 — штабс-капітан, з 1809 — капітан, з жовтня 1811 — полковник, з вересня 1812 — генерал-майор, з січня 1826 — генерал-лейтенант, з грудня 1833 — генерал від інфантерії. З 1805 — ад'ютант полководця М. Кутузова (Голенищева-Кутузова), користувався його особливою довірою. Брав участь разом з ним у війні Росії з наполеонівською Францією (в битві під Аустерліцем контужений), 1808—12 — в російсько-турецькій війні, під час якої в 1811—12 — управитель канцелярії головнокомандувача, неодноразово виконував дипломатичні доручення, секретар мирного конгресу в Бухаресті. З 1812 служив при штабі М. Кутузова спочатку у Санкт-Петербурзькому ополченні, пізніше — черговий генерал діючої армії, учасник Бородинської битви, військової ради у Філях. У жовтні 1812 призначений шефом Севастопольського піхотного полку. Під час переслідування французької армії, що відступала до р. Березина, командував авангардом передового корпусу генерала М. Платова, поранений списом. Під час закордонних походів російської армії 1813—14 командував окремими «летючими» партизанськими загонами, особливо відзначився при Ганау та Арсис-сюр-Об, 1814 воював на території Франції, брав штурмом м. Мелен. 1814 перебував при імператорі Олександрі І в Парижі. Пізніше послідовно займав посади: командир 2-ї бригади 23-ї піхотної дивізії, начальник штабу 1-го піхотного корпусу, служив у почті імператора з квартирмейстерської частини, командувач 14-ї піхотної дивізії. З грудня 1826 — сенатор. У 1829—31 — начальник Головного штабу 1-ї армії, 1831—44 — командувач спочатку 3-го і 5-го (пізніше — 4-го) піхотних корпусів. Брав участь з 3-м корпусом у придушенні польського повстання, блокував фортецю Замостя, яка впала у жовтні 1831. Труну з тілом генерала було перевезено з Франції через Одесу до Києва і поховано у Києво-Печерській лаврі (за заповітом небіжчика) 7 травня 1844. Могила П. Кайсарова, незважаючи на заплачені гроші, була занедбана. 1849 встановлено чавунну плиту і огорожу. Пізніше замінено наявним надгробком, на якому, за описом 1910, стояло погруддя похованого (втрачено у 1960-х рр.). У 1923—24 пам'ятник відремонтовано, майданчик навколо замощено плиткою. 1951 вмонтовано таблицю від «вдячного потомства». 1991 поховання впорядковано. Могилу оточує металева ажурна огорожа. Надгробок має вигляд високого саркофага з блоків сірого граніту, на якому викарбувано зображення атрибута військової слави — лаврового вінка, перетнутого стрічкою. В головах — стела з чорного габро з фігурним верхом, на якій накладними бронзовими літерами написано ім'я похованого, вмонтовано білу мармурову таблицю з вирізьбленим майже стертим написом.