中国明清时期的商帮，以晋商和徽商为首，是当今史学界的共识。和以长途贩运起家，并以“北票号，南钱庄”闻名天下的晋商不同，徽商的创业，大多源于小本经营和几代人艰辛的财富积累。
“前世不修，生在徽州，十三四岁，往外一丢，翻山越岭，来到杭州，有生意就停留，没生意到苏州……”这首数百年来经久不衰的当地民谣，道出了徽州人外出经商的无奈。
徽州自古土地贫瘠。近代的一些学者根据有关史料进行统计后发现，明清时期，即使在丰年，徽州全年的产粮，也只够当地人吃三四个月。为了生存，徽州人只得脱离农村，背井离乡外出经商。明清之际的大儒顾炎武说：“中家以下皆无田业，徽人多商贾，盖其势然也。”由此可见，大多数徽商在经商之前，都处于“无田业”的贫困状态，没有较多的资本。
根据徽州婺源、休宁等地的县志记载，即使日后经商有成荣归故里，得以名列其间的“名商”，也大都出身贫寒，不得不从小本经营做起。
婺源人李士葆家贫离乡后，20岁来到芜湖，为当地的中产之家做佣工，收入甚微，直到年逾四旬，依然一贫如洗。后来，他向别人借了些钱，开始做小买卖，凭借一点一滴的积攒和一套把生意做活的本领，逐渐积累了一笔非常可观的财富。晚年，他把上千两白银全部捐出，为家乡商人修建会馆，因此留名青史。
明朝成化、嘉靖年间的歙县人黄豹，自幼家贫，于是走出家乡做了货郎。他一度在湖广地区当小贩，不断积攒微薄的利润。多年之后，黄豹带着这笔钱来到千里之外的扬州，投资经营盐业，历经三年的惨淡经营，在当地盐市上成为规模较大的商户。黄豹死后，他的儿子黄子承父业，几十年后成为当地盐商中的头面人物，甚至多次为当地官府出谋划策，其建议多被采纳。
在重农抑商的封建社会，商人是备受歧视的。即使出身草莽的明太祖朱元璋，也明文规定：农民可以穿丝绸制成的衣服，但商人即使再富有，也只能穿布衣。清朝的雍正皇帝也曾说：“四民以士为长，农次之，工商其下。”
为此，其他如京郊和冀、鲁、豫等地的商人，大都“以末致富，以本守之”，即经商发财后回到家乡购买田产——务农是根本，经商只是万般贫困下迫不得已的权宜之策。
但很多徽商，即使经商有成，也没有回归土地经营，而是代代相传，将商号招牌不断做大，如王致和、胡庆余堂、胡玉美等流传到21世纪的徽商老字号，都在数百年来，历经了几代名商的苦心经营。
被封建社会视为“末业”的货殖（商业），改变了很多徽州人的命运，“以贾代耕”成为诸多徽商终其一生乃至累代相传的立身之本。乾隆年间，扬州徽商的办公聚会场所，被命名为“务本堂”。以“务本”、“敦本”命名的徽商寓所，在很多地方都屡见不鲜。可见，大多数徽商都抱定了以货殖为恒产的决心，侨居异地经商，也是一种安身立命的“本分”和“本业”。
一幅流传至今的徽商旧宅对联，可以作为其“务本”经商、以货殖为恒产的注脚：“读书好，行商好，效好便好；创业难，守业难，知难不难。”