吳棠先祖“宅于（皖南）休寧之商山村，明代中葉四世祖吳萬由徽遷滁，卜居于滁州、定遠(yuǎn)、盱眙之三界。” （吳棠《重修吳氏族譜敘》）
吳棠父親吳洹，字圣基，號北山，坐館為業(yè)。性情和易，治家有法。家貧不能送子讀書，便親自教授。寒暑皆隨雞聲起，教吳棠以朱子小學(xué)及圣賢書，錄前賢名言粘在窗壁上，以便吳棠隨時學(xué)習(xí)。母親程氏，定遠(yuǎn)縣武庠生程夔光之女，敕封孺人，死后，賜封一品夫人。有二子吳檢、吳棠。吳棠先后娶盱眙庠生李世锜之女李氏、寶慶府知府譚光祜之女譚氏、兩淮伍祐場（今江蘇鹽城市伍祐鎮(zhèn)）大使黃宗壽之女黃氏為妻，側(cè)室史氏，妾沈氏、邵氏。（吳棠于同治十三年重修的《盱眙吳氏族譜》）吳棠有三子二女，子吳炳采、吳炳祥、吳炳和。長女名不祥，次女述仙。
長子吳炳采，字載甫。生于道光二十四年（1844年），于咸豐十一年（1861年）去世，娶句容縣知縣王會圖之女為妻，生有一女。王氏生于道光二十二年，炳采死后守志終身，賜封淑人，吳家人稱“大老太”。
二子吳炳祥，字吉甫，生于道光三十年（1850年），同治庚午（1870年）科舉人，江蘇候補道，光緒二十年（1894年）署江蘇鹽巡道，寓居揚州，光緒二十五年（1899年）病故于任上。著有《怡廬詩鈔》二卷。娶定遠(yuǎn)同知銜胡清女為妻。胡氏生于咸豐二年，賜封宜人。有二子：公望、公武。公望有二子四女：長子克斌、次子克昶。四女為：克靜、克琬、克敏、克寧。公武無后，過繼克寧為后。
三子吳炳和，字協(xié)甫，生于咸豐二年（1852年），以父蔭欽賜舉人。光緒五年（1879年）九月入京謁試，光緒六年（1880年），奉旨參加禮部考試，授直隸候補道。炳和娶黃氏，賜封宜人。有子增訶，娶桐城張廷玉的后人張傳經(jīng)為妻，傳經(jīng)生于1883年，卒于1955年。增訶有子克炎，克炎有子紹彬，1993年于滁州市工商銀行退休。妻秦翠蘭在滁州市郵電局退休。紹彬有二子一女。長子秦威，次子吳琦，女吳媛媛。
長女名不詳，嫁河南知縣秦茂林之子秦爾熙，有子秦其增。次女述仙，嫁漕運總督楊殿邦之孫楊士燮，字味春。述仙四歲喪母，最為吳棠鐘愛，會詩文，針線、廚藝俱佳。時味春屢試不第，致使夫家貧困，“述仙三年內(nèi)，妝奩典賣一空，助夫苦讀，后楊味春官居浙江巡警道，賴其助力。經(jīng)常濟(jì)困扶貧，周恤親友，公婆謂之賢孝婦”。（吳炳仁《約園存稿》）
兄吳檢因家貧棄學(xué)，置一馬磨磨麥為粉養(yǎng)家。吳棠鄉(xiāng)試、省試，都由吳檢陪同，拉一蹇驢讓棠乘之，另一驢駝面粉換盤纏。每到旅店，店主都以為吳檢是吳棠的仆人，后見同寢同食，方知其為兄弟。（吳炳仁《約園存稿》）
吳檢有四子：炳麒、炳仁、炳壽、炳康。炳麒字祥伯，跟隨吳棠長年征戰(zhàn)，官至四川直隸州忠州知州，有一子增倬，字銀齋；炳仁字莼甫，官至揚州知府，有《約園存稿》三卷。有子十一，女五。炳壽有子三：增侃、增年、增榖；炳康有一女靜淑，過繼增榖為嗣。
吳棠兄弟于同治三年（1864年）移家滁州，隨同遷滁的還有族侄吳炳經(jīng)等人。吳炳經(jīng)字德甫，廩貢生，跟隨吳棠南北征戰(zhàn)，軍功保舉奉賢知縣。
吳氏孝敬堂的輩份至吳棠已是十二代，從吳棠的祖父吳钅才 起，輩份譜為“金水木火土”為偏旁的字。吳棠又?jǐn)M十二字為“后之命名者庶有所依”。即“克紹至德繼祖揚芳詩書世守福壽延長。”吳氏族譜有《原籍商山族譜》、吳棠于同治十三年重修的《盱眙吳氏族譜》、《皇帝封贈誥命圣旨》、《清河移建崇實書院記》等四冊，保存在洛陽吳檢的五代孫吳至海處。吳棠侄玄孫吳紹贛和吳紹坪于近年所補修吳氏族譜一冊，已由吳紹坪自費印刷。
現(xiàn)居滁州的吳棠嫡裔可以確認(rèn)的有吳紹彬一家。吳檢有子四，次子炳仁有子十一，故后人比較多。還有吳炳經(jīng)的曾孫吳紹華等族人。
吳氏孝敬堂的族人跟隨吳棠常年征戰(zhàn)，授予知縣、道員的有數(shù)十人。后人中也有很多有成就的：
吳繼光（紹琳），字鐵夫，黃埔軍校第二期畢業(yè)，國民黨軍第58師副師長兼174旅旅長。在淞滬抗戰(zhàn)中殉國。（見吳志浩口述 徐茵執(zhí)筆《血染淞江光昭青史---回憶父親吳繼光將軍》）
吳紹骙號又骙。1905年生，美國明尼蘇達(dá)大學(xué)博士。著名作物遺傳育種專家、農(nóng)業(yè)教育家、社會活動家。中國玉米育種奠基人之一。歷任河南大學(xué)農(nóng)學(xué)院副院長兼河南農(nóng)業(yè)廳副廳長、河南農(nóng)業(yè)大學(xué)副校長，河南省人大常委會副主任、政協(xié)副主席。中國民主同盟中央委員、中央監(jiān)察委員。
吳少同（紹同），1919年生，福州軍區(qū)空軍后勤部部長。抗戰(zhàn)期間參加新四軍四支隊，曾營救過五名美軍飛行員。
作者與吳棠后裔及吳氏宗親的合影
