白衣古镇始建于先秦时期，方圆十余里，是古柳州遗址，由于地处巴山之麓，势控秦蜀之咽，水陆交通方便，历来是商贸埠岸，屯兵重镇，文化摇篮。
自秦朝以来，有着悠久的历史渊源和深厚的文化沉积。其间沧海桑田，遗留不少宫殿寺观，牌坊石阙，阁楼亭台，雕梁画栋，轩榭楹联，公馆府第，坟茔墓地。格调高雅，工艺精湛。
白衣庵这块圣洁水土，钟灵毓秀，人杰地灵。历代人才辈出，犹以清代更是人文蔚起，科甲盖世。姓不出支，世不过三代，竞出翰林二人，进士四人，举人八人，拔贡七人，另有监增廪生三十余人，由学入仕者四十余人。正如清诰授文端公倭仁大学士撰《吴太母李孺人节略》中所称“人文秀发，科名鼎盛，清操伟烈，著于中外，实大者根深固”。
由于吴氏家族在朝为官者达四十余人，而且，政声赫名，深受皇恩泽典，振采五朝五色天书暨二朝之螭玺，施予封赠赏赐，纳入皇族，赐姓格鲁吉达。家族中被诰授大夫者二十一人，尚有赏穿黄马褂者、赏戴花翎者、赐勇号者十余人。又敕授衔职者二十多人。女性中诰命一品夫人八人，夫人二人，诰命淑人、恭人、宜人者近四十人，先后敕帑建节孝牌坊六座，可谓盛极一时，荣耀空前，为白衣庵人文增光添彩。四川总督丁宝祯对此曾有“门高王榭”之赞，实不过誉。
明崇祯甲申年（公元1644年）初建大佛殿，供奉白衣观音慈像，始称为白衣庵。清光绪甲申年（公元1884）年惨遭火焚，毁于一炬，唯白衣观音庙幸免于难。咸丰二年（1852年）吴德溥任同知使贵州，1854年任施秉县令，练团造械，1855署理安平县令，1889任遵义府知府兼知县，后任翼长总揽军事前后达30年，因抚边有功，皇帝召见，圣旨赏赐黄马褂，并赐德溥夺巴图鲁勇号，升贵州粮储道，光绪三年升任贵州按察史，署布政史，光绪六年授云南布政史。清光绪甲申年（1884年）德溥军家乡白衣古镇火焚，皇上下诏颁旨重建，准予取样皇宫，动用了州、巴两河十三年河道税银，并在各省募捐银两十万，在全国调集能工巧匠，大兴土木，耗时十年，建成了规模宏大、气象非凡的六庙三宫和庞大的吴氏宫邸。雄伟的孝节牌坊与魁星点斗，浑然一体，形成了别具一格的古建筑群，雕梁画栋，格调高雅，文武百官、社会名流广留墨宝，古镇重放异彩，熠熠生辉。
