马祖，四川成都人，俗姓马，在佛教僧侣中，以俗姓称祖的，可能就是他了。
马祖十二岁出家当了和尚，后来到南岳拜怀让为师。
怀让看马祖整天呆呆地坐在那里参禅，于是便见机施教，问他：“你整天在这里坐禅，图个什么？”
马祖说：“我想成佛。”
怀让就拿起一块砖，在马祖附近的石头上磨了起来。
马祖不解地问：“师父，您磨砖做什么呀？”
怀让：“我磨砖做镜子啊。”
马祖：“磨砖怎么能做镜子呢？”
怀让：“磨砖不能做镜子，那坐禅又怎么能成佛呢？”
马祖：“那要怎么样才能成佛呢？”
怀让：“这道理就好比有人驾车，如果车子不走了，你是坐车呢，还是骑牛？”
马祖无法回答。
怀让又说：“你是学坐禅，还是学坐佛？如果学坐禅，禅并不在于坐卧。如果是学坐佛，佛并没有一定的形状。对于变化不定的事物不应该有所取舍。你如果学坐佛，就是扼杀了佛；如果你执着于坐禅，就是背道而行。”
马祖听了怀让的教诲，如醍醐灌顶，从此真正悟了道，跟随怀让整整十年。马祖离别怀让后，到江西去作方丈。在怀让的六位入室弟子当中，只有他得到了心传。努力和毅力要放到正确的方向上，否则，即使付出再多，花费的时间再长，也是缘木求鱼。