1880年，二十六岁的卫辉人徐世昌与辉县豪门士绅席存忠（字庚扬）之女席元棣（字栘华）结婚，成为辉县的女婿。
1895年的天津小站练兵，开启了有金兰之谊的徐世昌与袁世凯二人在中国近代史中的宦海浮沉。
光绪皇帝载湉与慈禧太后于光绪三十四年（1908）十月二十一日（十一月十四日）、二十二日先后薨逝。时任军机大臣、慈禧太后生前的“红人”袁世凯，于十二月十一日（1909年1月2日）接到新登基的宣统皇帝溥仪之父——摄政王载沣以朝廷名义发布的谕旨：“袁世凯着即开缺回籍养疴”，满人那桐补其缺。时任东三省总督的徐世昌亦于次年初奉旨内调邮传部尚书，四月一日交卸进京，其职由满人锡良接替。
乘此闲暇之际，徐、袁离开京师前往徐世昌的老家——卫辉，那里的马市街、曹营街有袁世凯在小站练兵时购置、营建的府邸居所和徐世昌的祖宅。
但袁世凯认为马市街袁宅“屋宇狭隘，人烟稠杂，于病躯甚不相宜。”“辉县有荒园一所，拟竢天气和暖，赴彼独居静养，於卫生（徐世昌乳名卫生）销夏似均相宜也。”（《袁世凯全集》）
在徐世昌岳丈席存忠的操持下，辉县城内牌坊街占地10余亩的徐公馆、南新街占地11000平方米的袁公馆相继得到营建、修葺、竣工。
徐氏公馆为左、中、右三穿三进院相连的四合院，主院的穿厅及正厅，均为面阔七间、进深三间仿宫廷型的硬山式屋顶建筑。砖木结构的青堂瓦舍以朱门丹窗饰之，而垂脊下雕工精良的石兽石刻更是彰显出徐氏的富甲。
位居京师尚书要职徐世昌于此的居住、办公，使徐公馆一时门庭若市，辉县及卫辉等地的地方士绅、政界名流、文坛耆宿，相继登门拜谒投帖。此时的徐公馆俨然成为卫辉府辖制区域内一个令人艳羡的沙龙会所。
百忙之中的徐、袁二人，面对醉心已久、胜境名迹汇集的百泉衰败现状不胜感慨，遂联袂倡议对百泉予以维护、修葺。
“经始己酉（1909），旋于辛亥（1911），历三载而工竣”，所用资金由徐袁二人及北洋袍泽、旧将和河南绅民等近七十余人醵资，此足见偏居辉县一隅的尚书徐世昌以及被“开缺”的袁世凯在当时的影响力……
如今，徐世昌公馆幽静树木森森的氛围中，已无当年的政客云集、权谋策划，惟有遗存的一院四房十二间房舍依然隐约地透漏着当年建筑的那份奢华阔大。