此时，胡蝶的声誉如日中天，她已经到达了演员的巅峰之处，而这个女人显然十分理性，也十分清楚自己即将面临什么，所以她做了一个决定，那就是激流勇退——如果你仔细看她的每一张照片的话，你会从她的眼睛中看到一种女人的深邃和睿智。
当胡蝶从欧洲回来后不久，就得到了父亲胡少贡患癌症的消息，她于是决定利用这个机会结婚，这也是为了让父亲看到女儿婚嫁，不带着遗憾离开人世。此时，她已经与洋行茶叶部的一名职员相恋了四年，他就是潘有声。
其实，在潘有声之前，胡蝶还曾有个初恋情人，那是在拍摄《秋扇怨》时，她和该片的男主演林雪怀由相识而相恋，当时林雪怀似乎是一颗正在冉冉升起的男星，有峻美的外表和不错的演技，而胡蝶则是刚入影坛不久的新人。这对金童玉女很快就于1927年3月22日在上海北四川路上新落成的月宫舞场举行了隆重的订婚仪式。然而，这个订婚仪式似乎来得太早了，似乎注定了什么。就在此后，林雪怀所经营的生意接连受挫，而雪上加霜的是，他的演艺事业也每况愈下，那还没有迸射出的光辉此时已经暗淡了下去。林雪怀开始变得沉沦，沉湎于声色犬马，从一个风流倜傥的翩翩影星变成了一个只剩下风流的落魄男人，他挥霍着已经不多的积蓄，然后又开始花费胡蝶挣得金钱，这一切，终于让胡蝶忍无可忍，向他提出了解除婚约。
这显然是一个痛苦而有令人难熬的过程，如果说胡蝶当初有那么一点是依靠了林雪怀的影坛地位的话，那么林雪怀现在显然是想要依靠她一辈子，因而，他连那最后的一点男人气质也丢失了，只剩下无赖，整日纠缠着胡蝶，每天索要的都是她的身体和金钱。无奈，胡蝶不得不选择向法院递交了一纸诉状，申请解除两人的婚约。然而由于林雪怀竭尽全力的纠缠，法院也不得不先后多次开庭，终于在拖了一年后才算结束这场噩梦般的婚约。
尽管解除了婚约，但长达一年的审理让胡蝶有些心力交瘁，对爱情有些敬而远之，如同一个疲惫的人想要好好地休息一下一样，但当胡蝶还处在与林雪怀婚约的阴影中的时候，她的表妹胡姗却在积极为胡蝶寻找着下一个男人。一天，当胡蝶来到她表妹家的时候，遇到了一个男人，通过表妹介绍，得知他叫潘有声，但胡蝶当时的感觉也就是仅此而已，不过是又多认识了一个人，这对整日周旋在交际圈中的胡蝶来说，眼前这个男人毫无魅力可言，他太平常了。然而，在此后的四年中，她却渐渐感觉到了他的沉稳、宽宏，尤其是可以依赖的踏实，胡蝶已经说不上从什么时候起已经将潘有声视为一个依靠，因为她是在不知不觉中靠在了这根支柱上的。和潘有声在一起，她感觉到的是一种安详的宁静，在外面弄得一池涟漪的心回到这里后总能很快恢复平静，这是一种宁谧的爱。四年中，潘有声始终保持无微不至的关怀，这终于赢得了胡蝶的信赖。但当胡蝶冉冉上升的时候，她始终不愿结婚，直到她意识到巅峰已至、选择了激流勇退的那一天。1935年11月23日，胡潘两家在上海九江路的圣三一教堂里，为她和潘有声举办了轰动一时的中西合璧式的婚礼。这也成了上海滩的一大新闻，各大媒体争相报道。有的影迷还在报刊上撰文写道：“听到胡蝶结婚的消息真难过了好久，因为我不但爱瞧她的照片，而且还爱保存她的照片。唉，胡女士莫非真撇下我们这群失落者，而伴着你那有声的潘郎而去吗？你的心真是太狠。”
结婚后，胡蝶就大幅减少了片约，婚后的一年中只接拍了两部影片。
而安静的婚后生活也仅仅持续了一年多，随着日本的全面入侵，上海这块歌舞升平的乐土也闻到了硝烟的味道。1937年，震惊中外的卢沟桥事变爆发，日本开始了全面侵华战争。这年8月，日军进攻上海。11月，上海失守。不久，明星公司在上海枫林桥的总厂被日军占领，明星公司从此不复存在。但好在潘有声此前已经将生意延伸到了香港，当日本军旗插上上海后，胡蝶和潘有声就决定避居香港。此后的一段时间里，胡蝶夫妇依然过着富足安乐的日子，潘有声收入颇丰，工作之余就赌马，惹得胡蝶有时也要与赛马争一争老公，在香港的这段时间成了胡蝶最幸福的时光。