关于香山的传说，民间还有另种一说法。
据说，香山曾是一座杏花山，那时候漫山遍野的都是杏树，一到春天，坡坡岭岭都开满了杏花，远远就能闻到扑鼻的杏花味。
很久以前，香山上并没有树，连野草也很少。那时，山坳里有间小茅屋，茅屋里住着一位姓王的后生，因为他以采石为生，人们都叫他王石匠。
有一天，王石匠正在山崖上采石头，一不小心，从崖边上滚了下来。正在这时，一位老和尚从这里路过，伸手接住了他。老和尚将王石匠扶到一块岩石上，对他关怀备至，王石匠非常感激。
老人又伸手从小布包里捧出几把又红又大的山杏儿，让他以此充饥，太阳快下山时，老人起身告辞。
一转眼，十多天过去了，老和尚留下的山杏儿早已经吃完了，只剩下两把杏核儿。
这一天，王石匠又来到山上，当他站在山顶上，看着这光山秃岭，不免有些惆怅。他忽然想起了家中存着的那些杏核儿。心想，我要是把这些杏核儿都种到山上，几年后，杏树一定能够开花结果。想到这儿，他朝家里走去。
过了一会，他从家里扛来一把镐头，带着杏核儿又来到山上，并把两把杏核儿就都种到了山上。他刚刚回到家里，天就下起了大雨，这真是一个好兆头，他特别高兴。
第二天早晨，天刚亮，王石匠就爬到了山上。他抬头一看，有些不相信自己的眼睛。满山遍岭全都长出了一尺多高的小杏树。
难道那位搭救过自己的老和尚是过路的神仙？从此，王石匠就整天待在山上浇水、修枝，精心地看管着满山的小杏树，盼着它们快点儿结出果实来。
第二个春天，山上的小杏树，果真都开满了杏花，漫山遍野香气袭人。
没过多久，树上结出了山杏儿。有红的、黄的，半红半黄的，好看极了。
王石匠把它们摘下来，拿到城里去卖，不到一个月，就卖了一百多两银子。
他用这些钱盖了两间新房，并从山下娶了一个非常漂亮的姑娘。从这以后，王石匠变得更加勤快，小两口的日子也越过越好。
日子过得真快，一晃几年过去了，王石匠已经有了一个女儿，名叫香儿。这姑娘长得聪明伶俐，还有一副爱唱山歌的好嗓子。
一天，王石匠正带着香儿在山上干活，忽然看到一位老者从山路上走来。他仔细一看，原来是几年前救过自己的那位老和尚。他又回惊又喜，快步向老人走过去，纳头就拜。可是老人家已经不认得他了。王石匠说出几年前的事老人才恍然大悟。
看着这满山遍野桃杏树，老人很心慰。并给这山取名叫“杏花山”。
太阳偏西的时候，他们一起下了山。老人觉得这里的景色实在是太好了，不舍得离开。于是从山下找来几位工匠师傅，在半山腰处盖了座小庙，自封“杏园寺”。
从此，“杏花山”这个美丽的名字就被越来越多的人所熟知。每到春天，这里的坡坡岭岭都会开满杏花，漫山遍野郁郁葱葱，远远就能闻到扑鼻的花篮。后来，人们就根据这杏花的香味，把“杏花山”叫成了“香山”。