Urodził się 7 grudnia 1812 r. w Słowikach, folwarku Giełgudyszek niższych na granicy Prus Wschodnich. Uczęszczał do szkół na Żmudzi i w Augustowskim, następnie podjął studia prawnicze na uniwersytecie w Warszawie. Wziął udział w powstaniu listopadowym, ochotniczo zgłaszając się do regularnych oddziałów powstańczych. W jednej z potyczek odniósł poważne rany, ledwo uchodząc z życiem. Po upadku powstania Kajsiewicz wyjechał przez Niemcy do Francji, gdzie spotkał m.in. Jana Koźmiana, Adama Mickiewicza, aPiotra Semenenkę i Bohdana Jańskiego. W 1836 r. wstąpił do seminarium w Paryżu, by po roku udać się do Rzymu na studia teologiczne. Święcenia kapłańskie przyjął w 1841 r., zaś rok później wraz z Semenenką założył Zgromadzenie Zmartwychwstania Pańskiego. Po powrocie do Francji podjął formacyjną pracę w duchu katolickim w środowiskach polskiej emigracji, wśród której w owym czasie modne były idee mistycyzmu głoszone przez Towiańskiego, uznane przez Kajsiewicza za bardzo niebezpieczne. Jego kazania szybko przyniosły mu sławę wybitnego kaznodziei, choć ich antyrewolucyjny charakter sprawiał, że ich autor spotykał się z niechęcią niektórych środowisk emigracyjnych i krajowych. W połowie lat 40. przeniósł się ponownie do Rzymu, zaś pod koniec dekady podróżował po Anglii, Niemczech i Galicji. W 1855 r. został przełożonym Zgromadzenia Zmartwychwstańców. W ostatnich latach życia podróżował m.in. do Bułgarii, Ameryki i Syrii, gościł także w Galicji, głównie jednak zajmował się sprawami Zgromadzenia we Włoszech. Zmarł w Rzymie 26 lutego 1873 r. Jego najważniejsze dzieła to kazania, m.in.: O rządach Opatrzności", O pokucie, O trojakim życiu i trojakim patriotyzmie, O cudownym rozszerzaniu się i trwaniu wiary Chrystusowej z powodu ostatnich walk Kościoła katolickiego w Polsce, O ważności męczeństwa, O jedności z miłości bożej, O postępie religijnym, a także List otwarty do braci księży grzesznie spiskujących i do braci szlachty nie mądrze umiarkowanych.