史载张“屡试不第”，接触佛道后，“顿悟无生”；又载其“少业进士”。可见张氏参加过科举考试，甚至参加过进士考试，却落了第。功名的失利，再加上他生长于天台山，难免受到佛宗道源的熏陶；当时宋真宗统治时期是儒、佛、道并行于世，而他“年过三旬，独与大道有缘焉”。在当时东南道教圣地的桐柏宫倾心修道。若干年后，被台州府诚邀出山，为台州录事参军，一干就是四十年。
话说张伯瑞在官府为吏办事，每日午餐由家僮将饭食送到衙门中食用。他钦食中有一嗜好，即佐餐必须有鱼。无巧不成书，他家婢妾中亦有喜好食鱼者。
这一天，家僮送午餐至衙门，适值张伯端随主官大人出外公干，便请同僚传话家僮，将午餐留下自回。可这同僚中亦好喜好玩笑戏闹者，他们知道这张伯端在佐餐食鱼的嗜好，遂将其中那一盘鱼藏若到张伯端那公案上端的房梁上，事后众人间然忘了这件事，中午张伯端返回，揭开饭笼，发现间然缺少一碟鱼，而晨出家门时，明明见厨上购进一尾鱼！于是心中暗道：“定是那喜食鱼之婢妾与自己争食。回到家中，心中仍然为此而闷闷不乐。
真是合该有事，那喜食鱼之婢妾偏在此时来讨主子欢喜却不知张件端心中正恼她。结果，这女子越是做出那千娇百媚的情态来，他那心中就越是气愤，最后竟情不自禁地伸手扇了那女子一个耳光。那女子一下蒙了。当弄清楚主子是因怀疑她偷吃了佐餐之鱼而打她的，心中甚觉冤枉！既羞又愧，一时想不开，竟然悬梁自尽而死。
宋时女子地位极低，何况死一个婢女，当然算不得什么，那张伯端虽深悔自责不该为口腹之欲而鲁莽，竟使那婢女送了年轻性命。但时间长了，也就将那怀绪淡下来。
再说气候渐暖，忽一日从房梁上掉落数只蛆虫于张伯端的公案上。他忙搬梯上房梁去查看，原来是同僚们藏于其上那盘鱼已腐烂生虫。此时，张伯端猛悟：那盘鱼不是婢妾争食，那地狱中又徒增一名冤魂！
张伯端颓然蒌顿在公案后的木椅中半天方醒过神来，他惊叹道：“我处理公案，积牍盈箱，其中像这“窃鱼”之事不知道还有多少啊！由于此事件的刺激，他遂赋诗发泄胸中烦闷：“刀笔随身四十年，是非非是万千千，一家温饱千家怨，半世功名百世愆。紫缓金章今已矣，芒鞋竹杖任儵然。有人问我蓬菜路，云在青山月在天。”
至此，他看破功名，纵火烧毁案上文书，却因“火烧文书”罪被谪戌岭南兵籍。当时他已是暮年，充军岭南后，仍为求道而奔波不止，一个老人意志仍如此坚强，值得我们佩服。