吳棠世居明光市（原屬盱眙）老三界。咸豐八年（1858年），李兆壽至老三界，焚燒民房數(shù)百家，吳氏家族數(shù)百人倉皇出逃，依附吳棠，轉(zhuǎn)徙清淮等地。吳棠哀嘆“飄零我是無家客。問故巢，而今安在，劫灰凄惻。”吳炳仁也曾有詩記載在淮安時(shí)的困境：
蘆屋同居數(shù)十人，一盂麥飯派來均。
更挑野菜和根煮，驚恐憂勞度一春。
由此可知三界的吳氏老屋已不存在。同治三年（1864年），李兆壽交出滁、定、盱等地，吳棠在三界建造新宅，后因“后裔寓滁”在滁城另建新居。（汪雨相《嘉山縣志》）現(xiàn)在可以確認(rèn)的吳棠曾經(jīng)居住過的有三處：
1、西公館與約園：西公館位于滁城西大街75號，共有七進(jìn)。門匾上書“瞻豐草堂”，潘慰祖（江蘇淮安人，工書法篆刻）書。吳炳仁曾有詩作：“饑驅(qū)廿載困名場，負(fù)我瞻豐舊草堂”。1937年，西公館被日寇燒毀一部分，其余的于1995年拆遷。吳棠侄玄孫女吳紹坪等曾于1993年在故居前合影留念。現(xiàn)匾額和遺留的石鼓等保存在吳棠侄玄孫吳紹憲處。約園是吳家的花園，地點(diǎn)在三古堆，吳炳仁《約園存稿》曾記載“我有約園豐山麓”，并小注 “予有約園在滁城西隅”。現(xiàn)已淹入城西水庫，據(jù)說干旱的時(shí)候還能露出來。
2、南公館：位于南譙北路（中心街）64—72號。古稱中心橋街，位于老城區(qū)中心地段，南公館東面臨街，西至金剛巷，北至鹽局巷，南至人民電影院（含本身），是一個(gè)長方形的建筑群。吳炳經(jīng)的曾外孫王立仁90多歲了，對吳棠故居非常熟悉。他說，吳棠的房子叫南公館，在人民電影院那一片，房子很高大，很漂亮。中心街是東西向，為了房子門朝南，沿中心街做了一道木柵欄，進(jìn)柵欄是一個(gè)大院子，沿院子北側(cè)開了一個(gè)大門，后面是上房，還有很多房子。有一百多間。南公館的老太太（吳炳采之妻）是我們王家的姑娘，我媽媽吳汝琨（吳炳經(jīng)的孫女）嫁到王家來，我妹妹王德華又嫁到吳家去（夫吳棠侄玄孫吳紹贛）。我們是親上加親。因而，小時(shí)候經(jīng)常到南公館去玩。
吳棠于同治十一年（1872年），以病奏請開缺，朝廷不允，給假兩月調(diào)養(yǎng)。時(shí)過兩年，病已漸重，于1875年復(fù)請開缺，乃獲準(zhǔn)允。過去建筑周期長，滁州新宅上百間房子短期內(nèi)不可能建好，依此推測南公館當(dāng)為吳棠準(zhǔn)備告老退休之時(shí)在滁州修建，建筑年代當(dāng)在1872年之前。
1937年抗戰(zhàn)爆發(fā)，長孫吳公望等逃難去外地。南公館大門口的院子被加頂蓋成大禮堂，寧宗憲主編《中國戲曲志·安徽省卷·滁縣地區(qū)分卷》記載：“1939年至1940年間，由日偽縣長龔璽揆、區(qū)長孫光輝等在滁城商界攤派籌款而建成。原名‘荒興大戲班（院）’，是為獻(xiàn)媚日本駐滁城宣撫班班長‘荒井喜七郎’而起的。” 1950年4月，這里用作滁州軍分區(qū)電影俱樂部。1952年，改為國營人民電影院，翻蓋了放映大廳。拆去大門口的院子和客廳等前半部分的房子。1953年，新華書店進(jìn)駐北面的部分房子，臨街的房子改做門市部，后面作庫房和職工宿舍，其余的幾十間房子在50年代房改的時(shí)候充作公房。據(jù)滁州市房產(chǎn)經(jīng)營管理處提供的《滁縣房改后房主分戶情況登記表》記載：“房主姓名吳公望（吳棠嫡孫），住中心街72號坐東向西。1962年5月27日，吳公望出租72號房產(chǎn)兩間給李樹華，每月租金2.40元。”1972年和1985年，原寬4米的中心街兩次拓寬至24米，拆除民房1萬平方米。南公館臨街的房子被擴(kuò)路拆除。90年代末期，臨街的房子再次拆除改建成樓房，剩余的房子基本保持晚清的格局，除新華書店職工外，居住的都是收入較低的市民。
現(xiàn)在用作新華書店職工宿舍的部分保存較好。有東西正房三間，面闊三間，進(jìn)深一間。硬山頂，小磚瓦。抬樑式五架樑，面闊十二米，進(jìn)深七米。掛落雕花槅扇窗。還有南北廂房各兩間，抬樑式三架樑，面闊兩間六米，進(jìn)深五米。2006年4月，已被市政府批準(zhǔn)為市級文物保護(hù)單位。東面臨街，西至金剛巷，北至鹽局巷，南至人民電影院均為保護(hù)范圍。
3、北公館：在北大街25號，吳炳經(jīng)所建。50年代仲家油坊遷入，已被改造的面目全非。
光緒二年（1876年）吳棠卒于滁城。
據(jù)吳氏族人相傳，當(dāng)日為防盜墓，一門出三棺，分葬三處。吳棠真墓在南譙區(qū)沙河集的東圩村山許村民組龍山，（《滁州市志》、《滁州市文物志》）文革中被毀，尚留墳壙；衣冠冢在明光市老三界十字路東北角，已無存。
光緒皇帝和慈禧太后都有祭文，并有 “御制頭品頂戴原任四川總督吳棠碑文”，謚“勤惠”。曾祖吳連、祖父吳釮、父吳洹俱贈(zèng)光祿大夫。吳棠的幾位夫人先后都賜封一品夫人。三子吳炳和欽賜舉人、刑部員外郎。并下旨吳棠事跡入國史館（清史稿有“吳棠傳”），在清河、三界等地建“勤惠公祠”。清河的“勤惠公祠”至今仍在，淮安市撥款修繕，已作為旅游景點(diǎn)開放。并新建“扁舟亭”和漕運(yùn)總督府。 三界的故居為吳炳祥“徇鄉(xiāng)人請?jiān)蕰壕铻閰乔诨莨珜ｌ簟保?nbsp;（汪雨相《嘉山縣志》）1932年嘉山縣在老三界成立，縣政府就設(shè)在勤惠公祠。2000年8月被拆除。
吳氏家族世居三界，離滁城不足百里，遷滁已過百年，自吳棠起都把滁城作為故鄉(xiāng)。如他在《滁州新建忠義祠碑銘》中說：“既悲相從患難之無人，又感吾鄉(xiāng)風(fēng)俗好義，能殺賊以衛(wèi)鄉(xiāng)里，凜凜乎有生氣焉。”正因?yàn)閰翘脑诔亲魍司又使饩w《滁州志》把他作為“流寓”劃入“列傳”部分。吳炳仁在“喜舍弟吉甫（炳祥）自蜀南旋應(yīng)試畢住滁待榜”一詩中也寫道：“灘經(jīng)滟滪愁奔浪，山繞滁陽見故鄉(xiāng)。”
