东晋朝廷忙着巩固在江南的地盘，只求维持住半壁江山，并不打算出师北伐，收复中原。可是，统治集团中也有一些人不甘心忍受国家残破的局面，立志要驱走敌人，收复失地，祖逖(tì)就是其中的一个。
祖逖年轻的时候，就怀有雄心壮志，喜欢结交英雄好汉。他和好朋友刘琨谈论天下大事，总是慷慨激昂，义愤满怀。他们互相鼓励，表示将来一定要为国家干一番大事业。
祖逖和刘琨同睡在一张床上，半夜时鸡叫头遍，祖逖就叫醒刘琨：“你听听，这鸡叫的声音多么激越昂扬，那是在叫人发愤图强呀!”他们两人兴奋得再也睡不着了，就披衣起床，拔剑起舞，锻炼体魄，准备将来好为国出力。
在匈奴贵族刘渊、刘聪跃马横戈，驰骋北方，攻下洛阳的时候，祖逖也和别人一样，带着家属、亲戚、朋友，离开北方南下，到了江南。刚刚建立东晋政权的晋元帝，派祖逖做军谘(zī）祭酒。这种官职只能提提建议，没有军事实权。祖逖住在京口(今江苏省镇江市)，为了准备恢复中原，他招集了许多勇敢而有胸识的壮士，练习武艺。过了一些时候祖逖向晋元帝建议说：“前朝的大乱，是由于皇族内部争权夺利，互相残杀，这才使得胡人乘机兴兵，扰乱中原，给北方人民带来深重的苦难。如今北方人民都在反抗胡人，假如陛下能下令出兵，派我北伐，必定会得到天下人的响应，国家的耻辱也就能洗雪了。”晋元帝虽然没有北伐的决心，但是祖逖这番义正词严的要求，是没有理由拒绝的，他只得派祖逖做奋威将军，兼任豫州牧，给了一千人的给养和三千匹布，让祖逖自己去招兵买马，制造武器，出师北伐。
条件这样艰苦，可祖逖并不灰心。他带领亲信部属一百多人渡江，向北进发。那天，人们听说祖逖渡江北伐，纷纷来看热闹，显得雄赳赳气昂昂，满有信心。壮士们乘船出发了。等船开到江心，祖逖用佩剑敲着船桨，当众誓师说：“我祖逖如果不能肃清中原的敌人，决不再过这条大江!”祖逖这铿锵有力的誓言，在碧波浩淼(miǎo)的江面上久久回荡。
祖逖渡江以后，进驻江阳，先在那里起炉炼铁，制造武器，又招募了两千名壮士，然后继续向北进发。祖逖一刻也没有忘记自己的誓言，勇敢地跟敌军展开斗争。江北的人民听说祖逖北伐，都十分欢迎。他们给祖逖送粮送信，配合着打击敌人。在人民的支持下，几年之间，祖逖就收复了长江以北黄河以南的大部分地方。
可是，北方还有一部分地区是在十六国之一的后赵国统治之下，后赵是羯族人石勒建立的。祖逖领兵继续北进，在黄河边上跟石勒展开了激烈战斗。祖逖手下的将领韩潜和后赵将领桃豹，两军争夺一个叫蓬陂(pí，今河南省开封市东南)的缄堡。韩潜占了东城，住在东台；桃豹占了西城，住在西台。晋军从东门进出，后赵军从南门进出。双方对峙了四十多天，粮食供应发生困难，都感到难以坚持下去了。祖逖为了战胜对方，跟韩潜商量，定下了一条计策。
他叫部下用许多麻袋装上土，假装是粮食，派一千多人高唱着劳动号子运上东台；又派几个人搬运一些真的米袋，故意装做疲劳的样子，走到与桃豹交界的路上去休息。桃豹的士兵早就饿急了，见了运米的晋军，就追赶过来。祖逖的部下故意丢下米袋就跑。桃豹的士兵抢到米，很是高兴，立刻埋锅做饭。他们一边吃着香喷喷的米饭，一边谈论着祖逖军队粮食这样充足，而他们却要经常忍饥挨饿。言谈之间，不觉流露出不愿继续打下去的情绪，军心开始动摇。这情况很快反映到石勒那里。
为稳定军心，石勒火速派人组织了一支由一千多头驴子组成的运粮队，运送粮食去接济桃豹。祖逖得知这个消息，立刻派韩潜等带领一支人马去袭击，在汴水(今河南省中牟县境内)岸边，打败了后赵的运粮队，夺得了全部粮食。桃豹听说粮食被抢，知道无法坚持，吓得连夜逃跑了。
祖逖打了许多次胜仗，东晋朝廷为嘉奖他，升他为镇西将军。祖逖虽然做了将军，生活却仍然俭朴。他常常用节省下来的钱，帮助部下解决困难。他和将士们同甘共苦，认真训练部队，准备继续向黄河以北挺进。为了安定后方，祖逖还积极奖励农业生产，安排好从匈奴人和羯人统治地区逃来的官兵和百姓。他还认真做好争取人心的工作，对那些曾经为后赵做过事的人放手任用，不怀疑他们。那些人都很感激祖逖，遇到后赵的军队有什么动静，就赶快向祖逖报告，使祖逖能及早准备，迎头痛击敌人。
祖逖恢复中原的措施，得到了广大百姓的真诚拥护。老年人在一块儿谈话的时候，个个竖起大拇指赞杨祖逖。有的说：“我们已经老了，现在又见到了祖逖这样的好官司，死了也没有什么遗憾了。”有的把歌颂祖逖的话编成了歌，到处传唱。歌词的大意说：祖逖来了，暗淡的日月星辰重放光芒，我们这些幸存者，不再做胡人的俘虏了，让我们用葫芦盛着美酒，再献上一束干肉，唱着歌，跳着舞，去慰劳我们敬爱的祖将军吧！
祖逖的节节胜利，却引起了东晋统治集团的猜忌。他们不仅不再支持祖逖继续前进，还派人去监视他，妄图夺他的兵权。晋元帝司马睿派尚书仆射戴渊做征西将军，掌管青、兖、豫、并、雍、冀六州的军务，坐镇合肥，来做祖逖的顶头上司，戴渊是南方人，虽然有些才能，名望也很高，可是为人气量狭小，见识浅陋，是个没有作为的人。祖逖看朝廷不信任自己，感到恢复中原是没有指望了，他的内心痛苦到了极点，愤恨到了极点。在大兴四年(公元321年)的九月间，祖逖在忧愤中病死了。
祖逖逝世的消息一传出，黄河南岸许多地方的人民伤心地放声痛哭。人们给祖逖建造祠堂，塑了他的像，表示对他永远怀念。