武士彟在家乡文水做商人时已经结婚生子，他的妻子是相里氏，是当地一位退职将军的女儿。后来，随着武士彟的事业展开，他几乎照顾不了家庭，整天勤奋工作、忠于职守、埋头苦干。相里氏为他生了三个儿子，后来，小儿子病死了，相里氏因失去儿子而悲伤成疾，不久也死了。
武士彟很难过，但他还是没有回家，仍然坚守在自己的岗位上。李渊闻知后大受感动，曾下诏表奖他，说他“忠节有余”。不久，李渊就主动为武士彟考虑续娶的问题，李渊选中隋朝贵族杨达的女儿。史载杨氏“明诗习礼”，能“阅史披图”，举止温闲，诗画兼能，是个有相当文化素养的女子。富家女不愁嫁，但是，皇上亲自说媒，不嫁也得嫁，更何况武士彟为人忠厚，口碑不错。
对于武士彟这个出身寒门的将军来说，能与贵族联姻自然求之不得。当李渊一提，他赶紧纳头叩拜，口称感激皇恩不止。唐武德三年（620年），在桂阳公主的主持下，武士彟与杨氏举行了盛大的婚礼。婚礼办得很排场，费用全部由国库支给，这在历史上是罕见的殊恩和殊荣。