袁世凯与他三哥袁世廉关系最好，这一年世廉因病辞去了徐州兵备道的职务，袁世凯派次子袁克文前往徐州，将袁世廉及其姨太太一起接到了洹上治病疗养。病情稍微好转后，兄弟俩时而扶杖漫步，时而下棋聊天，时而湖上泛舟。他还经常同妻儿老小设宴园中，邀请河南坠子、梆子戏艺人来园演戏。逢上过年或者过生日，还会请来京城京剧界名角如谭鑫培、王瑶卿、王晦芳、杨小朵等来唱堂会。亲朋好友以及旧时北洋属下相聚一处，让袁世凯充分享受了一段赋闲时光。
袁世凯是在恐慌的气氛中离开北京的，除了北京锡拉胡同旧宅里留下几个看门人外，大部分家眷逃到了天津，借住在富商梁生宝家里，袁世凯只带了大姨太沈氏、五姨太杨氏和新娶的七姨太张氏暂住卫辉府汲县。后来搬迁到彰德洹上村，他又纳了两个小妾。
八姨太名叫郭宝仙，浙江归安人。其母原为某富室之妾，因性情刚烈，与正室夫人一场大吵后，牵着幼女宝仙出走，其时还怀着身孕。几经辗转，流落天津，终于堕入风尘。更糟糕的是，不久她母亲得了一场重病，丢下宝仙和一个弟弟撒手归西，郭宝仙万般悲痛，典卖了衣物，又从妓院借了二千余金，方将母亲安葬。这之后郭宝仙迫于无奈，也开始在妓院里谋营生，艳帜新张，生意出奇地好。郭宝仙对青楼的皮肉生涯深恶痛绝，为了摆脱这种生活，她放出话来：谁能以万金相聘，她即嫁给谁。袁克文是风月场中人物，从相好的妓女蟾香处听到这件事，回到洹上村时告诉了嗣母沈夫人。沈夫人考虑到老公袁世凯罢官居家，心情抑郁不欢，长此以往怕闹出病来，遂派袁克文携带银两再次北上，赴天津将郭宝仙赎出。回到洹上村第三天就进了新洞房。郭宝仙一生有三个子女：十三子克相、十五子克和、十四女祜祯。袁克相娶前清大学士那桐孙女为妻。袁克和娶天津铁门张调宸之女为妻。袁祜祯嫁给民国总统曹锟的儿子曹士岳，后离婚去了美国。
九姨太太姓刘，天津人，出身在小户人家，是小家碧玉。刘氏原是五姨太杨氏的贴身丫鬟，从小跟着杨氏进入袁府，亲眼目睹了袁家的兴盛与衰败。如前所述，袁世凯在家中最宠信的两个姨太太分别是沈氏和杨氏，大姨太沈氏是袁世凯在落魄之时结识的，有一段难舍的生死情缘。五姨太杨氏长相平常却特别善于持家，深得袁世凯的眷顾。这两个最受宠的女人，表面上一团和气，暗地里争斗不断。见大姨太和嗣子袁克文合作，给袁世凯新娶了八姨太郭宝仙，五姨太杨氏不高兴了，她决定争回自己失去的“领地”。办法只有一个，把跟随自己多年的丫鬟刘姑娘送给袁世凯收房为妾。杨氏擅长吹枕边风，半夜在袁世凯耳边鼓捣，说得老袁心里直痒痒，索性做个顺水人情，将刘姑娘收做了九姨太。一场不见硝烟的家庭战争，牺牲品却是正当妙龄的刘姑娘。这个新收的九姨太太清高孤傲，喜欢吃斋念佛，年纪轻轻却整天手里拈着一串佛珠，开口闭口“阿弥陀佛”。袁世凯见情况不妙，在离洹上村正南半公里处找了一块地，建了几栋白墙黑瓦的房子，给九姨太当佛堂兼住所。刘氏生有一子一女，子克藩排行十六，早死。女经祯排行十三，嫁给了苏州状元陆宝忠的公子。美国“阿波罗”登月计划的主管陆孝宽，即为陆状元的后代。
袁世凯一生娶有一妻九妾，一并简略叙述如下。
正室妻子于氏是袁家的一块“牌位”，下得厨房，却上不得厅堂。有一次外交过程中，于夫人穿着红褂子红裙子，接受外宾们的祝贺。
不料正在仪式进行时，忽有某国公使走上一步，到她面前要同她行握手礼，于夫人大为惊慌，立即把身子一偏，嘴里“啊”的一声，将双手缩了回去。公使僵在那里，场面顿时尴尬至极。袁世凯做了洪宪皇帝，于皇后坐在威严的殿堂上接受朝贺，黎元洪、曹锟等人的老婆依次给她行礼，于皇后又要还礼，又要下座位去搀扶，嘴里还连声说“不敢当，不敢当”，闹出了不少笑话。
大姨太沈氏前边章节已经交待，不再赘言。
二姨太白氏、三姨太金氏、四姨太季氏，此三人均为朝鲜人，是袁世凯在朝鲜监国任小钦差时的“战利品”。关于袁的这三个外国洋太太，有各式各样的传奇流传于世。传说最多的是三个美妾为朝鲜国王馈赠的王室公主，这大多是小说家之言，不可轻信。就袁世凯当时的身份和地位来说，他绝对不敢私下接收朝鲜方面的“和亲”。袁家二公子克文在《洹上私乘》一书中极力渲染三个朝鲜姨太太的“望族”背景，实际上是子虚乌有的肥皂泡。克文是三姨太金氏所生，为生母添彩可以理解，但绝非事实。
袁世凯精力旺盛，在朝鲜初期却只带了大姨太沈氏。“瞌睡来了”就有人“递枕头”，谙熟洋务的好友唐绍仪帮他物色了几个洋丫鬟，带进袁府，请袁世凯“笑纳”。不过，唐绍仪玩了个偷梁换柱的花招。他带进袁府的洋丫鬟中，有个金氏是汉城大户人家的千金，说好了是进袁府当夫人，没想到却成了个婢女，而且还负责提供性服务。金氏是个性格倔犟的女子，少不了要缠着袁世凯闹，当她的肚子一天比一天大起来时，袁世凯妥协了，答应娶她为姨太太，在给二姐的信中袁诉苦道：“不便不纳，已暗纳，未告人知。”
时至今日，这三个朝鲜姨太太的身世之谜仍然难以解开，倒是她们娶进袁府以后的生活情况颇为人所熟知。袁静雪在《我的父亲袁世凯》中曾经详细地讲到过她们：三姨太金氏娶进袁府时才16岁，她皮肤很白，浓黑的头发长长地从头顶一直披到脚下，看上去十分美丽。但是她神情木然，似乎永远没有高兴的时候，就是袁世凯到了跟前，她也是板板地对坐在那里。有时候袁世凯说到高兴的事，她也会陪着笑，但是笑过之后立即把笑容敛住，脸上再也看不到丝毫笑意。
每逢过年过节是她最伤心的时候，总是会暗地哭一场，对于娘家的情况她也不愿意多提。金氏临死的前一天，对袁克文说了两件事，一件事是，在她过门以后不久，大姨太沈氏借对她管束教导的名义对她进行虐待，把她绑在桌子腿上毒打，她的左腿到临死前还不能伸直；另一件事是，她的父母原以为是嫁给袁世凯当正室夫人的，及至过门以后才知道不但是姨太太，而且随身带进袁门的两个丫鬟也同她平起平坐成了姨太太，按年龄排序她还排在了第三房，父母十分痛心。后来，女儿又要随袁世凯离开朝鲜，她母亲哭成了泪人，最后投井自杀了。
金氏对袁克文说，以前没提这些事，是维护袁世凯的名声。现在在弥留之际，她把这些伤心往事对亲生儿子说出来，心里会好受一些。
二姨太白氏生了四子二女：五子克权，七子克齐，十子克坚，十二子克度，长女伯祯，六女籙祯。袁克权娶前清两江总督端方的女儿为妻。袁克齐娶民国总理孙宝琦的女儿为妻。袁克坚娶民国陕西督军陆建章的女儿为妻。袁克度娶富商罗云章的女儿为妻。伯祯嫁两江总督张人骏的儿子。
祯嫁民国总理孙宝琦的儿子。
三姨太金氏生了二子三女：次子克文，三子克良，三女叔祯，八女姓名不详（早夭），十女思祯。
袁克文娶天津富商刘尚文的女儿为妻。袁克良娶前清邮传部尚书张百熙的女儿为妻。叔祯嫁伪山东省长杨毓珣。思祯嫁伪北京宪兵司令邹文凯。
四姨太季氏生了一子三女：四子克端，次女仲祯，四女姓名不详（早夭），七女复祯。袁克端娶何仲瑾的女儿为妻。仲祯嫁出使大臣薛福成的儿子。复祯嫁晚清大臣荫昌的儿子。
五姨太杨氏是天津杨柳青一个小户人家的女儿，聪慧灵气，玲珑可人，虽说长得不是很漂亮，但天生有王熙凤式的治家才能，很受袁世凯赏识。如果说大姨太沈氏是袁府前期女主人的话，五姨太杨氏娶进门后，家庭的权力中心便向她转移了。杨氏心灵手巧，口齿伶俐，遇事有决断，袁府的日常生活被她安排得有条不紊，无论该吃什么、穿什么，或是该换什么衣服，该买什么东西，都交她一手经管。就是袁世凯的贵重财物，也是由她收藏保管。时间一长，袁家女人中逐渐形成了两个群落，一个以大姨太沈氏为中心，包括沈氏管束的三个朝鲜姨太太，是老阵营。另一个以五姨太杨氏为中心，包括杨氏管束的六、八、九姨太太，是新阵营。老阵营与新阵营交锋，总是新阵营取胜机率大。久而久之，杨氏自然取代沈氏，成了袁府内部的中心人物。
五姨太杨氏生有四子二女：六子克桓，八子克轸，九子克久，十一子克安，五女季祯，十五女姓名不详（早夭）。袁克桓娶江苏巡抚陈启泰的女儿为妻。袁克轸娶两江总督周馥的女儿为妻。袁克久娶民国总统黎元洪的女儿为妻。袁克安娶天津李善人的女儿为妻，李善人之女病亡后，复娶天津着名“美国张”的女儿为妻。季祯嫁给了苏州状元陆宝忠的儿子，婚后不久病逝。
六姨太叶氏，是袁世凯在直隶总督任上时娶进门的，说起来颇有传奇色彩。有一次袁克文受父亲老袁的委派到江南办事，这个名士派头十足的富家公子沉溺于烟花柳巷，把老袁让他办的事袁家四公子（五、六、七、八公子）
抛到了九霄云外，直到要返回京城时，才感到大事不妙。回京复命时，袁克文磕完头，支支吾吾，故意将一张早已准备好的美女照片掉到了地上，袁世凯问是什么。袁克文硬着头皮说他在南方为父亲物色了一名绝色美女，现在带回这张照片，是想征求父亲的意见。老世凯一看，那姑娘果然不错，一边点头说“好，好”，一边把照片装进了口袋。此后不久袁世凯专门派大管家符殿青带着银元去苏州钓鱼巷将叶氏接到天津成亲。叶姑娘原来是二公子袁克文相中的美女，阴差阳错忽然成了父亲的小妾。从红颜知己到后母，这个角色转换让“洞房花烛夜”中的叶姑娘感慨万千，她那哀怨的眼神，深深地沉在了历史某个角落。
六姨太叶氏生有二子三女：十四子克捷，十七子克有，九女福祯，十一女奇祯，十二女瑞祯。袁克捷娶山东祝家之女为妻。袁克有迷恋上了京剧演员于云鹏的女儿，后娶为妻。奇祯嫁天津王家（后离婚）。
七、八、九这三个姨太太上文已经说了，不再重复。
在彰德洹上村时，袁世凯家族中有17子15女，是袁世凯的全部儿女。此后几十年，他们在中国历史舞台上粉墨登场，演出了一幕幕悲欢离合的悲喜剧。
当时袁世凯年过五旬，按照旧时观念已进入老人阶段。人过半百万事休，加上政坛风云变幻，沉浮无常，他对家族聚居的天伦之乐尤其珍惜。他雇请园丁栽种了桃、李、杏、枣等果树，还把渠水引进园子，开凿了一个大水池，种植荷、菱，养殖鱼类。到了秋天，袁世凯兴致勃勃地带领儿孙去池塘里捉螃蟹。有意思的是，这些螃蟹是袁世凯平时教儿孙们用高粱和芝麻饲养的，因此收获到那些又肥又大的螃蟹时，全家人都会格外高兴。有月亮的夜晚，袁世凯还同姨太太们荡桨划舟，朝鲜籍三姨太金氏和六姨太叶氏一个弹七弦琴，一个拨琵琶，给秉烛夜游增添了异样的情趣。
宣统二年（1910），袁世凯回汲县处理家产事务，遇到了算命瞎子许长义。许瞎子给袁卜了一卦，问了八字，摸了手相，放出话来：
吉人天命，贵不可言，命中官星正在移动，官职将有大升迁。一问日期，许瞎子说是明年八月。袁世凯虽然高兴，心里却半信半疑，给了卦礼十元，并对他说，届时如能应验，另有厚谢。后袁世凯当了大总统，许瞎子以卦卜灵验为由，进京向袁世凯请赏，袁让人安排他在总统府招待处住了个把月，馈赠银圆一千，然后派人把他送回汲县。此后许瞎子声名鹊起，请他算命的人络绎不绝，他在家乡购置田产，成为汲县有名的大地主。
袁世凯也许知道“洹上隐居”只是他人生中的一个休止符，但是他肯定没有想到“明年八月”后将东山再起，一跃而登上大总统的宝座，将成为中国政坛上举足轻重的人物。
清末，袁世凯在安阳洹上村营建的养寿堂垂钓亭。
袁克文有名士派头，被袁世凯狠狠训斥了一顿。袁认为名士看似风雅，实则误己误人，非做人之根本，不值一哂。但是袁世凯嘴上这么训斥，他自己却也有浓郁的名士情结，尤其在落魄之时表现得更加明显。年轻时在陈州组织文社，就曾经风雅过一回。如今在洹上，空闲时间多了，不免雅兴大发，又邀集了一帮擅长诗词歌赋的幕僚亲信，诗酒唱和，留连忘返。这段时间与袁世凯唱和的有沈祖宪、凌福彭、史济道、权静泉、陈夔龙、费树蔚、闵尔昌、吴保初、王廉、田文烈、王锡彤、丁象震等人。后来袁克文将洹上唱和的诗词抄录下来辑为一册，题名《圭塘倡和集》，刊行于世。
这些人物绝大多数都是真才子，绝非庸庸之辈，比如吴保初就是一例。
吴保初（1869～1913），字彦复，祖籍安徽庐江，淮军将领吴长庆次子，着名的“清末四公子”之一（其余三位分别是湖南巡抚陈宝箴之子陈三立，福建巡抚丁日昌之子丁惠康，湖北巡抚谭继洵之子谭嗣同）。吴保初擅长诗赋，也喜欢女人，饮酒抚琴，召妓宴客，是勾栏酒肆中的风月之徒。作为名门之后，吴公子却心有不甘，政治情结浓厚，大胆上疏朝廷，要慈禧把权力还给光绪。以一个六品的官衔去玩鸡蛋碰石头的官场游戏，被他的上司刚毅臭骂了一顿。吴保初一气之下，挂冠归隐，辞职不干了。
对官场政治绝望之后，吴保初寄情风月，恣意声色，一时名噪沪上。然而高消费必须有经济基础做后盾。像吴公子这般散财结宾客，没几年便将家中田产典当一空，到了境况窘迫的地步。有一次几个朋友召妓，不料被召的一个名叫菊仙的妓女偶遇风寒，回家第二天就咯起血来，吴公子闻讯后到处为她找医生。尽管囊中羞涩，仍然慷慨解囊，等到菊仙病好了，闭门谢客，单独约请吴保初作倾心长谈，从那以后菊仙恢复了“彭嫣”的本名，二人结成夫妻，留下了一段才子佳人的佳话。吴保初是才子，彭嫣是才女，光靠写诗是没有办法过日子的，二人商议一番后，决定到彰德洹上投奔袁世凯。
到了洹上，吴保初见过袁世凯，寒暄几句后，袁世凯问他来此有何贵干。吴公子仰天狂笑一阵，说道：“我是来要饭吃的。”
袁世凯见他落魄却依然狂放不羁的书生性情，也忍不住笑得前仰后俯，在文案上给他挂了一个名，领一份薪金，愿来就来，愿走就走，不用像别人一样按点上下班。应该说袁世凯对吴公子还是不错的，这里头有袁爱才的因素，更多的是看在恩师吴长庆的分上。可是吴公子并不怎么买账，挂名做了一段时间的袁府幕客，还是携着如夫人彭嫣离开了洹上村，云游四方去追求逍遥的神仙日子。临走时留下两句诗：“丈夫饿死寻常事，何必千金卖自由。”不过，袁世凯对吴公子的讥讽并不是太在意，后来吴患病半身不遂，袁仍分两次汇款三千元给吴做医疗费。
吴保初无子，后从兄长处过继一子，名炎世；有二女：长女弱男，嫁章士钊；次女亚男，嫁梁瑞麟。吴氏三兄妹都是同盟会的早期会员。
袁世凯想当隐士，然而“隐士”难隐，闲云野鹤的生活中，掺杂了许多政治因素。