中共中央决定召开中共三大后，各地按中央的通知精神，按民主程序进行大会代表的推选工作。当时中共中央下设北方、两湖、江浙和广东4个区。区党组织的名称叫区委员会。各区委员会都接到中央通知，要求选派代表参加中共三大。
据当时北方区委负责人之一的罗章龙回忆，1923年五月间，中共中央从上海来信，内容是关于召开中共三大的问题，要求北方按照中央的规定选派代表参加。中央规定参加三大的条件是：第一，主要是产业工人；第二，各区委书记可以来，但不要都来；第三，工运负责人。
罗章龙回忆说，中央关于召开三大的通知文件到达后不久，“中英”（中央代号）又单独写了一封信给时任北方区委书记李大钊，内容是了解北方区参加三大的准备工作，并要求李大钊和罗章龙前去参加三大。最终北方区委决定选出李大钊、罗章龙、王荷波、王仲一、王俊等12人为代表，其中绝大多数是工人，共青团组织也派出负责人参加，这是全国各区代表中人数最多的。
其他区也或指定或选举，派出了代表。两湖区有毛泽东、陈潭秋、项英等，江浙区有徐梅坤、王振一、于树德等，广东区有谭平山、冯菊坡、阮啸仙等。中央代表为陈独秀、张国焘、张太雷。此外，从法国回来的蔡和森、向警予，从苏联回来的瞿秋白也参加了会议。刘仁静作为出席共产国际第四次代表大会的代表，马林作为共产国际的代表出席会议。
在中共三大前，全国各地共推选代表40名。马林在1923年6月25日向共产国际执行委员会、工会国际和共产国际执行委员会东方部远东局的报告中说：“出席大会的代表来自北京、唐山、长辛店、哈尔滨、山东（济南府）、浦口、上海、杭州、汉口、长沙和平江（湖南）、广州和莫斯科（旅苏学生支部）。”这说明，三大代表经党员选举产生，具有广泛的代表性，能够代表全国420余名党员的意志。
以北方区委为例，选出的12名代表，分三批走。为了保密，不乘同一交通工具，不同一天走，但时间相隔不远。路线是由北京坐火车经天津到上海，再由上海乘船到广州。和罗章龙一起坐船的有湖北省劳动组合书记部负责人项英。到广州后，罗章龙住在中共广东区委，其他代表则由广东区委派交通员带到指定的地点居住。广东区委对外的代号叫“管东渠”。罗章龙回忆说：“我们每天住的地方都不同，有时在谭平山家，有时在广东区委，有时在马林家，有时在其他地方。中央负责同志也不住在代表宿舍，每次开会都是有人带路。其他代表则住在代表宿舍。”
江浙区代表、时任江浙区委书记的徐梅坤也较详细地回忆了他们一行六人赴广州参加中共三大的过程。他说：
我和王振一从上海坐船到广州去开会，和我们同船前往的还有李大钊、陈潭秋、于树德、金佛庄共六人。于、金两人是自己出的路费。记得当时于树德没有钱，急得没办法，我给他出主意，让他把邻居一位朋友的妻子的金手镯借来卖掉，买了船票。船不能从上海直开广州，必须在香港停留一天。记得在香港和李大钊上岸去还喝了一点酒。船到广州，在太古码头上岸。这时，天气已经很热，街上卖荔枝的很多，价钱很便宜。到广州后，广州党组织派人来接我们，是在长堤码头。因为我们互相认识，所以没用介绍信。我们都没有带行李，随身只有一个小包。一上码头就沿珠江岸边步行到三大会址。因其他代表还没有到齐，休息了两天才开会。
从1923年初到5月间，中共中央开始着手进行三大的筹备工作，“主要由第三国际代表和二届中央委员会主持”，主要是对大会的内容和议题进行研究，并成立了各种起草小组。
根据共产国际执委会1923年1月12日决议精神，陈独秀为中共三大起草了《关于国民运动及国民党问题的议决案》。中共中央和共产国际代表马林就国共合作等大会议题，征求各地党组织和党员的意见。尤其是对国共合作的问题，专门召开了起草委员会会议讨论。1923年6月上旬，中共三大预备会议在广州东山的春园召开。春园是指广州东山新河浦22号、24号、26号三幢公寓式洋楼，是1922年一个姓黎的美国华侨商人与其他两位华人合建的，是一所很有特点的建筑。这所原本普通的房屋，因中共三大的召开，而永远地载入了史册。
会议由陈独秀和马林主持。马林讲了共产国际关于国共合作问题的意见及国际形势。会议讨论了中央委员人选和中共三大各决议案的起草情况。马林和陈独秀等党的主要领导人经常在春园24号楼二楼和三楼客厅研究问题，探讨国共合作的方针策略，修改中国共产党党纲、党章，起草中共三大的宣言和各项决议草案。
罗章龙回忆说：“中共‘三大’前夕，在广州开的预备会议我参加了，开了两天，先后在陈独秀的家，马林住的春园召开的，预备会由二届中央委员和一些省的负责人参加……内容主要是对有关大会问题交换意见。”
据徐梅坤回忆，为了召开中共三大，毛泽东、向警予、蔡和森、张太雷、瞿秋白、陈独秀以及共产国际代表马林比较早地来到广东。三大会议前的事务工作是广东区的代表谭平山、阮啸仙、刘尔崧、罗绮园等人负责筹备。“关于国共合作问题，共产国际是有指示的，我党接到了第三国际的指示，所以召开‘三大’进行讨论。”
会前，共产国际代表马林还找各地代表谈话，特别是工人代表，“内容主要是交代和解释国共合作的必要性”。除此之外，“马林还向代表谈到了下届中央的组织安排，党章和决议的准备情况，并不厌其烦地反复说明为什么要这样做的理由”。