欧阳修的有一首蝶恋花中有这样一句“风月无情人暗换，旧游如梦空肠断。”在戴笠死前不久，他向胡蝶提出了结婚，但此时胡蝶有些犹豫，她尽管已经与戴笠成为情人，可是她毕竟是有夫之妇，她可以与戴笠同居，但正式结婚还有些难以接受。
戴笠此时也许是已经萌生退意，他多次向胡蝶诉说因与蒋介石的矛盾而产生的烦恼。当戴笠离开重庆前往北平后，他让他的好友唐生明的妻子徐来劝说潘有声和胡蝶两人，希望他们离婚。唐生明也就是军阀唐生智的四弟，戴笠与其素来关系密切，在上海沦陷前他就曾与唐生明一起去上海的妓院，而徐来也是上海著名的电影明星，她与胡蝶早就是闺中密友。戴笠与胡蝶能走到一起，她也是起了不小的作用的。
此时在上海的潘有声也受到了杜月笙的邀请，杜月笙劝说他应该明智些，在离婚协议书上签字，戴笠死后，胡蝶重新回到了潘有声身边，然后就悄悄去了香港。在香港的最初几年，潘有声继续经商，他创办了以生产“蝴蝶牌”系列热水瓶为主的兴华洋行，而胡蝶则十分低调。直到潘有声病逝后，1959年，已经年过半百的胡蝶才重新来到摄影机前，加盟香港著名的邵氏影视公司，主演了《街童》、《苦儿流浪记》、《两代女性》、《后门》等片，其中《后门》一片获第七届亚洲电影节最佳影片金禾奖，而她获得了最佳女主角奖，同年该片又捧走了日本文部大臣颁赠的特别最佳电影奖。
1975年，胡蝶移居加拿大的温哥华，并改名为潘宝娟。当她来到这片北美土地上后，在回忆录中写道：“据说温哥华的地形像摊开的右手，手的方向是伸向太平洋彼岸的亚洲，伸向中国。我住在这滨海城市的临海大厦，不论是晴朗的白天，或是群星灿烂、灯火闪烁的夜晚，当我站在窗户边向远处眺望时，我的心也像温哥华的地形似的，伸向东方，希望握着祖国、我的母亲的温暖的手。”
1989年4月25日，胡蝶在温哥华因病与世长辞，她的最后一句话是：“胡蝶要飞走了！”
胡蝶到底爱没爱过戴笠，始终众说纷纭，我们只知道胡蝶是个十分聪明的女人，她和阮玲玉截然相反，阮玲玉无论和那个男人在一起都是因为明明白白的爱，而胡蝶则不同，她的感情从来都是藏匿的好好的，她的一个原则就是竭力保持她良好的形象，而不象阮玲玉那样敢于将自己的真情实感表露出来，甚至因此自杀也用一封遗书清清楚楚地写下了自己的爱。“九一八”事变后，社会传说风流成性的张学良这一夜正是在胡蝶温柔怀抱中度过的时候，当时马君武在《时事新报》上写了一首《哀沈阳》：赵四风流朱五狂，翩翩蝴蝶最当行。温柔乡是英雄冢，哪管东师入沈阳。告急军书夜半来，开场弦管又相催。沈阳已陷休回顾，更抱阿娇舞几回。胡蝶立即在《申报》上声明：“蝶亦国民一分子也，虽尚未能以颈血溅仇人，岂能于国难当头之时，与负守土之责者相与跳舞耶？‘商女不知亡国恨’，是猪狗不如者矣！”
胡蝶则在回忆录中极力避免提及她与戴笠同居的三年，似乎戴笠只是一个若有若无的人，她在回忆录《在重庆的日子》中也极力辩解说：“……关于这一段生活，也有很多传言，而且以讹传讹，说胡蝶也未吃亏，她的丈夫潘有声因此在当时唯一对外通道的滇缅公路来回走单帮，有戴笠主管的货运稽查处免检放行，确也捞了一笔横财，成了确凿之据的事实。现在我已年近80，心如止水，以我的年龄也算高寿了，但仍感到人的一生其实是很短暂的。对于个人生活琐事，虽有讹传，也不必过于计较，紧要的是在民族大义的问题上不要含糊就可以了。”
她又说：“我并不大在乎，如果我对每个传言都那么认真，我也就无法生存下去了。我和张学良跳舞的事情，闹了近半个世纪。现在不都澄清了吗？”一夜风流的确好办，无论有无，否认就是了，但与戴笠同居三年又如何轻易抹去呢？
最后还得追问一句，她到底爱不爱戴笠？
戴笠一向对她以礼相待，如果她不爱他，他求婚又怎能获得她的应允？