1927年春，邓小平途经蒙古，穿过沙漠，到达西安。
邓小平回国时，国共两党的合作已处在走向破裂的前夜，政局动荡。他接受中共中央的分配，到刚刚成立的西安中山军事学校工作。
西安中山军事学校隶属于冯玉祥的国民军联军总部，是由国民党左派当时担任国民军联军驻陕总司令的于右任创办的，实际上是由刘伯坚等几位共产党人帮助筹建起来的，学校的主要任务是培训国民军联军营、连、排初级军官，以及中共选送的革命青年。学校的主要领导职务也都由共产党派人担任。校长史可轩就是一名中共党员（1927年6月牺牲），他还担任国民军联军驻陕总司令部政治保卫部长兼政治保卫师师长。副校长李林也是从苏联回国的共产党员。组织科长高克林以及负责学员日常操练的总队长许权中都是共产党员。学员分为三个大队，大队长也分别由共产党员担任。分队的主要军事、政治干部绝大多数是共产党员和共青团员。在当时可以说是一个红色的学校。
冯玉祥，安徽巢县人。曾任北洋陆军第十一师师长，陕西、河南的督军及陆军检阅使等职。1926年9月，当北伐的国民革命军攻抵武汉时，他在苏联顾问团与中国共产党人刘伯坚等的全力帮助下，率部宣布脱离北洋军阀的系统，在五原宣誓就任国民军联军总司令。公开宣布集体加入当时作为革命统一战线组织的中国国民党，接受国共合作纲领，接受“联俄、联共、扶助农工”三大政策，举起打倒北洋军阀政府、配合南方国民革命军北伐的旗帜。
邓小平在中山军事学校担任政治处处长兼政治教官，并任该校中共党组织书记。
中山军事学校的教学主要是军事训练和政治教育。政治课程有：社会科学概论、帝国主义侵略中国史、列宁主义概论、土地问题、农民问题、军队的政治工作，等等。对共产党员和积极争取入党的学员还要加授什么是共产党和共产主义ABC等党课。
邓小平回忆说，政治教育主要讲革命，公开讲马列主义。
邓小平除了负责做政治工作外，还兼讲政治课。有同学回忆说：“他经常给学员讲中国大革命的形势和任务，法国大革命和苏联革命的经验，要求每个军人应遵守纪律，养成吃大苦、耐大劳、英勇善战的作风，使学员在谈笑中明白了许多革命道理。”“他给全校作过几次政治报告，中心意思是反帝反封建，打倒军阀，铲除土豪劣绅，动员群众进行斗争，建立革命政权等革命道理。讲得生动精辟，通俗易懂，对我们的鼓舞教育很大。”
在史可轩、李林、邓小平等一大批共产党人的努力下，这所学校办得朝气蓬勃，被人们称为“西北黄埔”或“第二黄埔”。学校培养出一批有革命觉悟的初级军官和党政工作干部，并向国民军联军驻陕总司令部政治保卫队输送了一批毕业生，逐步组建了一支由中国共产党掌握的武装力量。这支武装力量在1928年成为陕西渭华暴动的基础。陕北红军的一些著名将领，如刘志丹、高岗等都曾在这所学校学习过。
在西安期间，邓小平也曾短期兼在西安中山学院讲课，这个学校也是由共产党派人领导筹备创办起来的。有学员回忆，邓小平作报告时用手卡着腰，讲得很生动。除此之外，邓小平还参加西安的一些党团会议和革命群众集会。
1927年4月，中国政局发生突变。蒋介石公然背叛革命，发动了四一二政变，大肆屠杀共产党人和革命群众。曾经参加革命，倾向进步的冯玉祥开始倒向蒋介石。6月10日，冯玉祥参加了汪精卫在郑州召开的反共会议。6月19日，冯玉祥下令要所有在他部队工作的共产党员集中到开封，并逮捕了中山军事学校校长、共产党员史可轩，将其杀害。冯玉祥一边对其军队中的共产党人进行清除，一边在开封对被他囚禁起来的共产党员搞集中营，洗脑筋。
邓小平在得知所有到开封去的共产党员要被集中的消息后，立即与刘伯坚、李林等人商量，不去开封“受训”，立即去武汉寻找党中央。
冯玉祥虽然附和了蒋介石汪精卫的反共活动，但他毕竟受过进步思想的影响，对大多数共产党人手下留情，并未加害，最后将刘伯坚等200多名共产党员“礼送出境”。
六七月间，邓小平离开西安，经郑州辗转到了当时中共中央的所在地汉口，被分配在中共中央工作，担任秘书。当时的中央秘书长是邓中夏。邓小平的工作主要是管中央文件、交通、机要等事务，在中央的重要会议上作记录和起草一些次要性的文件。
这时，国内的政治局势继续恶化。不久，武汉国民政府公开反共，严酷的白色恐怖笼罩全国，中国共产党被迫转入地下。为了适应白色恐怖下秘密工作的需要，他从这时起改名为邓小平。
7月15日，汪精卫在武汉发动反革命政变，第一次国共合作全面破裂，轰轰烈烈的大革命失败。
8月1日，周恩来和贺龙、叶挺、朱德、刘伯承等发动南昌起义，打响了革命武装力量反抗国民党反动派的第一枪。南昌起义用血与火的语言宣告了中国共产党人不畏强暴、坚持革命的坚强决心。它在全党和全国人民面前树立起一面革命武装斗争的旗帜，标志着中国共产党独立领导革命战争、创建人民军队和武装夺取政权的开始，有着重大的历史意义。
8月7日，中共中央在汉口召开紧急会议，即著名的八七会议。
作为党中央秘书的邓小平参加了这次会议的筹备。许多年以后他回忆说：当时我们二十几个人是分三天三批陆续进来的，我是第一批进来的，最后走的，在这里待了六天，会议开了一天一夜。当时政局变化很大，决定一部分人举行南昌起义，一部分人开这个会议。八七会议前，我住在武昌三道街，那是党中央所在地。会后，武昌局势紧张，我搬到汉口，和李维汉同志住在一个法国商人的酒店楼上。那时我不是党中央秘书长，1927年底我才当党中央秘书长。这个时候我是秘书。那个时候，陈独秀要搞大中央，搞八大秘书，我就算一个，以后没搞齐。
八七会议批评并纠正了陈独秀的右倾错误，确立了实行土地革命和武装起义的方针。毛泽东在会议的发言中提出“以后要非常注意军事，须知政权是由枪杆中取得的”著名论断。在这次会上，邓小平第一次见到了毛泽东。
邓小平担任会议的记录工作。现在得以保存下来的八七会议上的报告和发言记录都出自他之手。
在中国革命处于严重危机的情况下，八七会议及时召开，并制定出继续进行革命斗争的正确方针，使全党没有因为极其严重的白色恐怖而惊慌失措，重新鼓起同国民党反动派斗争的勇气，从而为挽救党和革命作出了巨大贡献。从此，中国革命开始由大革命失败到土地革命战争兴起的历史性转变。
八七会议后，为了避开武汉险恶的局势和适应革命运动发展的需要，中共中央机关于9月底到10月初秘密从武汉迁往上海。邓小平也随中央机关一同迁往上海。
党中央到上海后，一项很重要的任务是进行极其艰难的组织工作，恢复、整顿和重建党的组织，改变在严重白色恐怖下党的散乱状况。很快，党中央便在上海建立了秘密组织系统，建立了秘密工作机关，组织了全国秘密交通网络，并出版了党的秘密机关报。
1927年11月14日，中共临时中央政治局常委会召开会议，决定调整中央组织机构，在中央政治局常委会下设立职工运动委员会、党报委员会、组织局、职运委、秘书处。就在这次会议上，决定邓小平担任中央政治局秘书。11月22日，中共临时中央政治局常委会决定，撤销中央秘书处。
1927年底，23岁的邓小平被任命为党中央秘书长。
据当时在中央机关工作的黄介然回忆：邓小平是秘书长，负责记录，有时也请别人记录。但他也发言，秘书长有权发言，也有权提出问题，因为秘书长要负责处理政治局会议决定的工作，起一个承上启下的作用，责任很大。秘书长知道的事情多，处理的事情多，所以他的工作直接涉及中央的安危。邓小平的特点是发言不多，但发言和提问都很有分量，他虽然沉默寡言，但说的话深入浅出，容易懂。会议以后，秘书长还要负责起草一些文件，文件的一切处理过程都由秘书长负责。秘书长还要负责中央机关秘书处的工作，可以说，不但管的事多，而且责任很大。
1928年1月，周恩来担任中央组织局主任，负责处理中央机关的日常事务。邓小平除了协助周恩来等中央领导处理中央日常工作、列席和参加中央各种会议并做记录，主要管理中央机关的文书、机要、交通、财务以及各种会议安排等工作。
当时，中央办公和活动的地点大都在比较隐蔽的租界区内。中共中央经常开会的地点是四马路（福州路）的天蟾舞台后面447号的楼上，由熊瑾玎、朱端绶夫妇租有的一户三间房子，熊瑾玎打扮成一个湖南来经营土纱土布的商人，门上挂着“福兴字庄”招牌作掩护。这幢房子的楼下是“生黎医院”。
朱端绶回忆说，我是专门在中央机关当交通，直接在小平同志的领导下工作。从各地和苏区来的报告，都是用药水密写在毛边纸或者布上，由我洗出来，用明矾水洗，然后誊抄好。我抄的文件都是绝密的，不出政治局的门。小平同志经常穿着长袍，戴着礼帽，装的是有钱人，是这样打扮的。
李维汉回忆说，1928年党的六大开会期间，我和任弼时受命留守中央，中央秘书长是邓小平。从1928年4月开始到同年9月新中央负责人回来的期间，开会的地方仍在四马路天蟾舞台后面楼上的两间房子里。这个秘密机关是1927年冬或1928年初建立作为中央常委开会的地方。房子是租赁来的，由熊瑾玎、朱端绶夫妇住守。那时开会的同志从天蟾舞台西侧云南路的一个楼梯上去，就可以直到开会的房间。房间内朝西的窗下有一张小桌子，开会时，小平就在小桌子上记录。当时每天上午九时，我、弼时和小平碰头处理日常事务，不是在这个地方，而是在离此不远，隔一条街的一个商店楼上，到场的还有熊瑾玎、内交科主任和其他负责干部，例如江苏省委留守负责人李富春有时也来参加。
为了安全和保密，中央机关还分别在其他几个地方办公和活动。如同孚路柏德里700号、永安里135号、五马路的清河坊等。
邓小平和周恩来有段时间是在同孚路柏德里700号办公和活动。黄介然回忆说：那时候恩来同志和小平同志每天都来这里，中央各部分、各单位都来请示工作。属于机关事务性的问题和技术性的问题，小平同志作为秘书长进行处理解决。中央和各部门、各地区来请示的问题，如要人、要经费、汇报工作和请示中央的问题等等，恩来同志能解决就当场解决，不能解决的重大问题，他就拿到政治局会上去讨论决定。
当时在中央机关工作的郑超麟回忆说：那时白色恐怖很厉害，我们中央各部门就不来往了，我参加中央的几次会议，都是有人带我去的。邓小平和中央秘书处住的地方我从来没有去过，并且也不许去。平常不往来都是交通送信，我和邓小平不常来往，主要是开会。
为了在白色恐怖的上海站住脚跟，开展工作，中央提出“以绝对秘密为原则”，要求党的“负责干部职业化”。因此，当时的中央负责人要不断变换居住地和姓名，彼此都不知道他人的住处。为掩护秘密工作，邓小平当过杂货店的老板，当过古董店的老板。作为中央秘书长，只有他掌握和熟悉所有中央负责人和各处中央秘密机关的地址和地点。
邓小平曾在清河坊开了一家二层楼的杂货铺。楼上是他住的地方，楼下是铺面，卖些香烟、肥皂之类的东西。这家杂货铺也是中央开会的一个地点。
作为中央秘书长，邓小平对上海的大路小路、街巷弄堂，特别是秘密机关所在的那种四通八达的弄堂，都相当熟悉。几十年后他去上海参观市容时，还和陪同他的上海领导说起在上海做地下工作时一些街道弄堂的老名字。
1928年春，邓小平的个人生活也发生了变化。在白色恐怖的上海滩，在巡捕森严的租界地里，他同莫斯科中山大学的同学、当时在中共中央秘书处工作的张锡瑗举行了简朴的婚礼。婚后有大半年的时间和周恩来、邓颖超夫妇同住在公共租界的一幢房子里。1930年1月，张锡瑗因难产在上海病逝。
邓小平在党中央机关工作了将近两年，这是中国共产党最困难的时期，工作既紧张又充满了危险。他后来回忆说：我们在上海作秘密工作，非常的艰苦，那是吊起脑袋在干革命。最大的危险有两次。一次（指1928年4月15日）是何家兴叛变，出卖罗亦农。我去和罗亦农（当时任中共中央政治局常委、组织局主任）接头，办完事，我刚从后门出去，前门巡捕就进来了，罗亦农被捕。就差不到一分钟的时间。
还有一次，我同周总理、邓大姐、张锡瑗住在一个房子里。那时我们特科的工作好，得知巡捕发现了周住在什么地方，要来搜查，他们通知了周恩来，当时在家的同志赶紧搬了。但我当时不在，没有接到通知，不晓得。里面巡捕正在搜查，我去敲门，幸好我们特科有个内线在里面，答应了一声要来开门。我一听声音不对，赶快就走，没有出事故。那个时候很危险呀！半分钟都差不得！
在这种白色恐怖的险恶环境中，一些人脱离了革命队伍，一些人背叛了革命，成了可耻的叛徒。而邓小平出色地完成了党中央交给他的各项工作任务，彰显了坚定的革命意志。
1929年8月底，他被党中央派往广西工作。