1949年11月1日，在新中国诞生1个月以后，作为中国自然科学最高学术机构和综合研究中心，中国科学院在北京成立。这是中国共产党领导发展新中国科学技术事业的第一个重大举措。
中华民族是一个勤劳勇敢的民族。几千年来，华夏儿女在征服自然，改造生存环境，发展生产的过程中积累了丰富的经验，表现出很高的智慧和才能。
我国祖先对印刷、造纸、指南针、火药的四大发明，表现出中国人杰出的科学技术才华，为世界科学技术的发展做出了重大的贡献。
由于几千年来中国的封建统治者一直实行一种妄自尊大、闭关锁国的政策。加上重文轻理，重思辨轻技术，极大地禁锢了广大人民群众的科学技术发明才能，中国的科学技术渐渐地落后于西方国家，更谈不上国家有组织地开展科学研究了。
中华民国成立后，在国民党统治下政治腐败、经济萧条、战乱频繁，科学技术同样得不到应有的重视和发展。国民党统治时仅有的几个残缺不全的科研机构也是人员不足、经费拮据，处于关闭半关闭状态。到1949年，全国的科技人员不超过5万人，其中自然科学的专门研究人员不超过500人。仅有的三十几个专门研究机构，也因科研经费、设备等条件不足均已经难以支持下去了。
1949年5月，新中国成立前召开的全国自然科学工作者代表大会上，选举了15名科学界的代表参加9月召开的全国政治协商会议第一届全体会议。代表们向人民政治协商会议提出了建立国家科学院的提案：“建立国家科学院，统筹及领导全国自然科学、社会科学的研究事业，使生产与科学、教育密切配合”。“……科学院为适应特种需要建立各种研究机构”。此提案获得第一届政协全体会议通过。在当年10月17日召开的中央人民政府委员会第三次会议上，郭沫若被任命为中国科学院院长，陈伯达、李四光、陶孟和、竺可桢为副院长。11月1日，根据中华人民共和国组织法第十八条，中国科学院正式成立。
中国科学院的成立，迎来了科学技术的春天，标志着我国科学事业发展中一个新阶段的开始。
中国科学院是在旧中国已有的一些专门研究机构的基础上建立起来的，包括国立中央研究院、原华北大学研究部、水生生物调查所、前北平研究院、前中国地理研究所、西北科学考究团、中国西部科学院、大连满铁研究所等，加上中国共产党在延安建立的自然科学研究院等。
中国科学院成立初期，主要是对旧有的研究机构做好接收和调整工作。在广泛征求科学家意见的基础上，本着突出重点、减少重复，加强计划性和集体性的原则，对中国科技机构的地区性布局作了统一的调整，确立了以北京为数理基础科学和社会科学中心，上海为生物、化学和应用科学中心，南京为地学、天文学中心。通过调整，将原来的24个研究单位精简为17个单位，增设了4个新的研究单位，共21个研究所，其中属自然科学的研究所有17个，它们是北京的近代物理研究所、应用物理研究所、植物分类研究所、地质研究所、数学研究所、心理研究所、动物标本与整理委员会，上海的物理化学研究所、有机化学研究所、生理生化研究所、实验生物研究所、水生生物研究所、土学实验馆，南京的地球物理研究所、古生物研究所、紫金山天文台、地理研究所。这些调整后的研究所在有关部门的大力支持下很快就配备了相应的研究和技术人员，并开始进行科学技术的研究工作。
中国科学院的这些研究机构成立后，改变了以往科学研究脱离实际的弊病，在1950年，就已经在东北地质矿产调查、黄河水利勘测、天气预报分析、农作物病虫害防治、水土保持、生化药品研究以及其他理论和应用研究方面取得了一定的成绩。
1950年，中国科学院通过对全国科技人员的普查，从800多名较有成就的自然科学家中聘请了65人为专门委员，分成15个专业组，对中国科学院的学术研究和其他相关事务做出咨询。同时，中国科学院为壮大科学技术人员的力量，积极协助党和政府以各种方式和渠道争取在国外的华裔科学家及留学生回国参加经济建设。由于这一工作做得扎实有效，许多侨居海外的著名科学家如华罗庚、钱学森、曹日昌、赵忠尧等纷纷冲破各种阻力，回到新中国，壮大了我国的科研队伍。
随着国民经济的好转，科技队伍的不断发展壮大，中国科学院得到不断的发展和完善。先后在上海、南京、合肥、西安、长春、广州、武汉、成都、兰州、昆明、沈阳、乌鲁木齐等地设立了分院，并逐渐发展成拥有数学、物理、化学、天文、地学、生物学、新技术、环境保护、电子学等学科120多个研究所的较全面的研究体系。
为进一步加强对中国科技工作的指导，1954年元月中国科学院院长郭沫若在政务院第204次会议上提出了在中国科学院设立秘书处和成立学部以指导科学研究的设想。1955年6月1日至10日，中国科学院召开了学部成立大会，233名学部委员中的199名出席了会议，大会宣布组成4个学部，它们分别是以吴有训为学部主任，华罗庚、庄长恭为学部副主任的物理、数学与化学学部；以竺可桢为主任，许杰、陈凤桐为副主任的生物学与地学学部；以严济慈为主任，茅以升、武衡为副主任的技术科学部和以郭沫若为主任，张稼夫为副主任的社会科学部。中国科学院学部的成立是中国科学界的一件大事，它标志着中国科学院日臻成熟，标志着“中国优秀的科学家，更有组织地参加中国科技事业的领导工作了”。
随着科技管理工作经验的不断积累和科技管理体制的不断改革，中国科学院的学部工作不断得到完善和加强。1981年5月，中科院第四次学部委员大会通过了《中国科学院试行方针》，规定了学部委员大会是中国科学院的最高决策机构（成立之初只是学术咨询和评议机构），中科院主席团是学部委员大会闭会期间的决策机构，主席团由学部委员大会选举产生，中科院院长由主席团推选，中央人民政府任命。郭沫若之后，方毅、卢嘉锡、周光召先后任院长。
1994年1月21日，为使中国的学术专家管理制度与国际接轨，国务院决定将中国科学院学部委员改称中国科学院院士，并将其作为杰出科学家的最高学术称号，为终身荣誉。
1994年6月，作为全国工程技术界的最高荣誉性、咨询性学术机构，中国工程院又在北京成立。同时实行院士制度，并首批选举出96名院士。