嘉庆二十五年（1820年），沈葆桢出生在福州侯官一个贫寒的士绅家庭。其父沈廷枫，共育有八个子女，但只有六人长大成人，沈葆桢排行第四，是长子。或许出于养家的需要，忙于生计的沈廷枫直到45岁才考中举人。更糟的是，他至少三次进京考试，都没有中，于是放弃了这一打算。没有考中进士，沈廷枫自然不可能进入清廷的官僚机构。然而，他成了享有一定声誉的学者，靠在家中设馆教书来维持人口渐增的家庭。这成为沈家除田地以外的最主要收入来源。
家里人多，加上物质匮乏和身体孱弱，沈葆桢的童年为健康不良和恐夜症所苦。当他成年时，依然患有不少病，包括眼、背部和腿的疾病，失眠，还有水肿病，这些病使他在59岁时病亡。
经济困难并没有影响沈家对孩子们的教育。尽管身体虚弱，沈葆桢三岁就由母亲每日授课。母亲除了操持日常家务之外还亲手为他抄写课本，认真地传授儒家教义。真正的勇气和意志只有来自忠孝，这一信仰被强有力地不断灌输进沈葆桢的脑中。据称，由于他懂得了儒家的美德，他的恐夜症被治好了。
对青年时期的沈葆桢有重大影响的是他的舅父林则徐。林无疑是沈家亲属中的最卓越的人物。1824-1830年，林因双亲丧事，长时间住在福州。当1830年林出外任职时，虽然当时的沈葆桢不过10岁，但林给他的印象很深刻——由于沈所受的儒家教育，同时按中国常例，双亲以成功的亲戚作为教育儿子的典范，这一点是理所当然的。1832年，林则徐和夫人看上了沈葆桢的可贵品质，决定将次女许配给他。
此后五年，林是江苏巡抚。据说，沈葆桢被带到他的苏州官署，但我们得到的证据并非如此。林虽不在家，但他依然很关心未来女婿的学识增进情况。他时时看沈的文章。沈不可能不受到林的影响。林在处理下属报告时的思虑是家中所熟知的，林总是亲自批复这些报告，并且在退还之前细心地将批语记下来。沈懂得，如此专心致志，本身不是目的，而是获得当官的深奥知识的途径。因此，尽管自己贫穷老实，若有才干，终将受人注目。
更重要的是，19世纪30年代早期，林则徐已经是个卓越的改革家，在治水、赈灾以及盐务、办案等方面都卓有声誉。他的正直为他赢了得“林青天”的称号。他和出色的国事改革者来往密切，如龚自珍、魏源。在江苏，林则徐在他一系列的改革活动中增加了禁鸦片这一项。所有这些，沈葆桢从家庭谈论中都有所了解。
17岁时（1837年），沈葆桢拜林昌彝为师。此人是林则徐和魏源的知己，是“三礼”（《周礼》、《仪礼》、《礼记》）的权威。由于这些著作强调政府制度规章，成为改革思想的源泉。林昌彝务实的改革态度，同辈称他为“当代顾炎武”。林昌彝还是爱国者，鸦片战争之后，出于对英国人的仇恨，他将书室命名为“射鹰楼”，因为“鹰”和“英”谐音。
总之，沈葆桢的童年和青少年时期受到“开通的”儒家思想教育。他不仅读经以准备考试，而且读了许多其他方面的著作，这些内容是构成务实的改良派“治世良方”中的一部分。同老师林昌彝、舅父林则徐的联系，不用说还有受他父亲的影响，这些人灌输给他的是忠诚、正直和爱国的强烈感情。这时，大多数年轻读书人不可能离开为准备科举考试而规定的经书，直到他们进入官僚机构得到保障之时为止，而沈葆桢却早已接触到了这方面的书籍。当然，他也是为了科举考试而学习。1839年，19岁那年，他和老师一起中了举人，且他名列第三。
当年，他与表妹——林则徐的次女林普晴结了婚。后来，沈葆桢回忆说，他和林普晴的关系始于童年时期。1824-1830年，林则徐因母亲和父亲去世，携全家回到福州。尽管在财富和身份上有很大的差距，但林则徐在家乡长时间逗留，使林、沈两家更为亲近。据说，林普晴五六岁时，虽然有许多富裕人家的表亲和玩伴，她却对沈葆桢有着特殊的好感。
沈葆桢和他的新夫人自幼就是玩伴。他们的结合，在大多数传统婚姻中是不典型的。这种特殊关系充分说明了林普晴作为妻子和助手，日后对于沈葆桢的事业所作的奉献。对沈家的熟稔使她能适应贫穷得多的生活方式。虽然如此，她一直不知道沈家贫困的程度，直到她接触到一张当票才有所知（这是她第一次见到这种单据）：她的婆婆当掉自己的衣物，才有钱买米。此后她更加尽心地取悦她的公婆。在传统的中国家庭里，婆婆的形象是吓人的，但是因为她的婆婆也就是她的姑母，所以两人之间的关系很和睦。
婚后最初几年二人的生活很困难。沈葆桢准备进京考试，林普晴不得不承担大部分家务。1840年、1841年、1845年，沈三次考试失败，到1847年才考中。为了筹措沈进京所需的路费，以及1844-1847年在京逗留的费用，林普晴想到婆婆当衣服的事，便把嫁妆中的珠宝卖掉。
林普晴在林家受到过良好的教育，她也致力于教育自己的孩子们。沈葆桢开始为官生涯，她帮他准备文稿，处理机密文件。她试图以委婉的劝告，帮助沈矫正主要缺点——心胸狭窄和易怒。据沈葆桢自己坦白，她并不成功。她一共养育了五个儿子，五个女儿，她继续帮助沈葆桢工作，直至1873年去世，这一年她53岁。
沈葆桢终于成为一名官员后，在19世纪50年代末或60年代初，他纳了一妾，后又纳了一妾，她们各生了一男一女。
1847年，沈葆桢27岁，他得到了他非常渴望的进士头衔。在他苦学的几年中，国家遭到了重大灾难。不用说，许许多多的人都遭到了鸦片战争的蹂躏。沈所受的影响自然同样深刻。为了发动这场公认是正义的战争来反对鸦片，他的岳父被贬黜流放。战争之后，他的家乡福州变成了开放的通商口岸。令当地士绅首领们愤怒的是，沿海省份之中唯有福建开了两个口岸。他们觉得开放厦门比较适宜。后来，英国人来了，盘踞在乌石山的积翠寺。乌石山上的几所宗教建筑，是福州市民经常去的地方，尤其是节日。1821年，林则徐重修了这座他最喜爱的积翠寺。因此这个寺被占，引起了当地的公愤。1850年，林则徐作为地方士绅代表们的首领，迫使英国人撤出该寺。
鸦片战争使沈深受影响，特别是受到林则徐的影响，他常常对孩子们讲述林则徐的事迹。沈葆桢自己后来所表现的爱国精神，坚定不移地铲除吸食和生产鸦片的决心，很可能起源于这时。他后来献身于改革和引进西方军事和海军技术，也可能是受到林则徐的影响。林则徐在鸦片战争之后就成为这一类型的“近代化”的最早倡导者之一。虽然沈和林在战后没有什么机会相聚，林的政治活动以及后来沈所编辑出版的林的政书，必然对青年沈葆桢产生深刻影响。