古人行医时，往往身背葫芦。这葫芦一方面是装药用的器具，另一方面也是行医的招牌。他们的药一般都是丸药，装在葫芦里，用的时候就从葫芦中倒出几粒给病人服用。后来，中医门诊和药店兴起了在门外悬挂药葫芦作为标志。据说这源于一个传说。
在很久以前，某地发生了一场瘟疫，死了不少人。有一次，集镇上来了一个神奇的老翁，开了一家药店，门前悬挂一个药葫芦（又称“药壶”），专治这种瘟疫。每当来了看病的人，老翁从药葫芦里倒出几粒药丸，给病人一吃，病就痊愈了。病人病好了，却不知吃的是什么药，于是，“不知葫芦里卖的是什么药”的说法便流传开来。后来，不光兴起了悬挂药葫芦，还把行医称为“悬壶”。