1880年，二十六歲的衛輝人徐世昌與輝縣豪門士紳席存忠（字庚揚）之女席元棣（字栘華）結婚，成為輝縣的女婿。
1895年的天津小站練兵，開啟了有金蘭之誼的徐世昌與袁世凱二人在中國近代史中的宦海浮沉。
光緒皇帝載湉與慈禧太後于光緒三十四年（1908）十月二十一日（十一月十四日）、二十二日先後薨逝。時任軍機大臣、慈禧太後生前的“紅人”袁世凱，于十二月十一日（1909年1月2日）接到新登基的宣統皇帝溥儀之父——攝政王載沣以朝廷名義釋出的谕旨：“袁世凱着即開缺回籍養疴”，滿人那桐補其缺。時任東三省總督的徐世昌亦于次年初奉旨内調郵傳部尚書，四月一日交卸進京，其職由滿人錫良接替。
乘此閑暇之際，徐、袁離開京師前往徐世昌的老家——衛輝，那裡的馬市街、曹營街有袁世凱在小站練兵時購置、營建的府邸居所和徐世昌的祖宅。
但袁世凱認為馬市街袁宅“屋宇狹隘，人煙稠雜，于病軀甚不相宜。”“輝縣有荒園一所，拟竢天氣和暖，赴彼獨居靜養，於衛生（徐世昌乳名衛生）銷夏似均相宜也。”（《袁世凱全集》）
在徐世昌嶽丈席存忠的操持下，輝縣城内牌坊街占地10餘畝的徐公館、南新街占地11000平方米的袁公館相繼得到營建、修葺、竣工。
徐氏公館為左、中、右三穿三進院相連的四合院，主院的穿廳及正廳，均為面闊七間、進深三間仿宮廷型的硬山式屋頂建築。磚木結構的青堂瓦舍以朱門丹窗飾之，而垂脊下雕工精良的石獸石刻更是彰顯出徐氏的富甲。
位居京師尚書要職徐世昌于此的居住、辦公，使徐公館一時門庭若市，輝縣及衛輝等地的地方士紳、政界名流、文壇耆宿，相繼登門拜谒投帖。此時的徐公館俨然成為衛輝府轄制區域内一個令人豔羨的沙龍會所。
百忙之中的徐、袁二人，面對醉心已久、勝境名迹彙集的百泉衰敗現狀不勝感慨，遂聯袂倡議對百泉予以維護、修葺。
“經始己酉（1909），旋于辛亥（1911），曆三載而工竣”，所用資金由徐袁二人及北洋袍澤、舊将和河南紳民等近七十餘人醵資，此足見偏居輝縣一隅的尚書徐世昌以及被“開缺”的袁世凱在當時的影響力……
如今，徐世昌公館幽靜樹木森森的氛圍中，已無當年的政客雲集、權謀策劃，惟有遺存的一院四房十二間房舍依然隐約地透漏着當年建築的那份奢華闊大。