临沂北屏蒙山，向南是一片平坦的田野，沂河由北而南从这里经过。在临沂老城南约1千米处，有两座隆起的小山岗，东西对峙，好像两个卫士，拱卫着临沂，东岗名为金雀山，西岗名为银雀山。
1972年4月10日，临沂县城关建筑管理站的一位老工人来到“临沂文物组”报告：在临沂地区卫生局的基建工地上，发现了古代墓葬。临沂文物组立即派人前往勘察，并与工地负责人商量：由他们先将古墓周围的散乱石渣、石块清理干净，三天以后，文物组人员前来发掘。
4月14日，临沂文物组考古人员来到工地进行正式发掘。上午，掀起木椁上面的盖板。椁盖板系用7块长1．76米、厚O．20米、宽0．20～0．40米的大方木东西横放、南北相连而成。当时的工作条件十分艰苦，工作人员连一双手套也没有。300多400斤的椁板、棺盖只能靠人力抬动。脚下膏泥淤积，工作人员几乎寸步难移。费尽周折，始揭开椁盖板，露出了椁室。其构造是东侧为棺木，西侧为边厢，中间隔有一层薄木板。边厢为堆放随葬品的地方，积满了污水和淤泥。
下午，在工人们抽排泥水的同时，考古人员自上而下、自南而北，一层一层地取出随葬品。出土的器物有鼎、盆、壶、盘等陶器和杯、盒、壶、盘、奁、杖、兀、案等漆器。16：30分，考古人员发现在边厢北端有一歪斜的椭圆形木兀和在它上面的彩绘筒形，与一堆烂在一起的竹片条儿粘在一起，无法单独取起，只有先一块儿取出来再慢慢清理，取出的时候将已经腐朽的竹片儿折断了一部分。当时考古人员还以为这些竹片不过和边厢南端盛栗子、核桃的篓片是一样的东西，折断了也没在意。不久，他们又从水中摸出几个铜钱和一个竹片残片，发现竹片上似乎有字。于是他们小心地取下一根较长的竹片，用清水慢慢地一点一滴地冲洗上面的淤泥和水锈。奇迹出现了，竹片上真的现出了字迹。经辨认，发现写的是“齐桓公问管子日”七个字。考古队员们立刻兴奋起来，意识到有了重大发现。他们马上停工，保护好现场，并迅速向上级作了汇报。
16日，山东省博物馆专家来到现场，与考古队人员继续进行清理边厢的工作。前后两天，从边厢内共出土竹简及残片4900多枚。
17日接着清理棺木。打开棺盖后发现尸骨已经腐朽散乱、性别难辨。尸骨旁散放有枕木、漆奁、木梳、铜镜等。清理工作当天下午即结束。这个墓被考古专家们称之为一号墓。
一号墓清理完毕后，考古人员又清理了紧挨着的二号墓。二号墓结构与一号墓相同，亦为一椁一棺。椁内，西侧为棺木，东侧为边厢。清理工作当天结束，出土竹简32枚，内容为公元前134年西汉的《元光元年历谱》。
由于竹简在墓中侵蚀了2000多年，质地已腐朽，无法脱水。加之简上的文字系用毛笔写成，因此，只能用毛笔蘸着清水一点一滴地耐心冲洗，才能慢慢洗去水锈，显出字迹。稍有不慎，或用手指一抹，不仅墨迹会被抹掉，简片也会变成一堆泥。简片清洗好后，用化学药品脱色，字迹就显得清晰了。为了长久保存，专家们把它放在两层玻璃片之间，用丝线在两端和中间固定住，再装入玻璃管，注入药水，经过密封处理后，最后装入专门定制的匣盒中保存。考古工作者就这样辛勤地工作了4年，才完成了对竹简的初步剥离和整理。
整理结果是惊人的，专家们发现这批竹简全部是书简，主要内容为《孙子兵法》、《孙膑兵法》、《六韬》、《尉缭子》、《晏子》、《守法守令十三篇》、《元光元年历谱》等珍贵的先秦古籍和数十篇佚书，十分罕见，消息一传出，立即轰动了国内外。