中科院广州分院于1956年筹建，1958年12月成立。1961年广州分院与武汉分院合并成立中南分院。1969年中南分院撤销。1978年5月恢复广州分院。
广州分院为中科院机关派出机构，联系中科院在广东的南海海洋研究所、华南植物园、广州能源研究所、广州地球化学研究所、广州生物医药与健康研究院、深圳先进技术研究院、广州化学有限公司、广州电子技术有限公司，在湖南的亚热带农业生态研究所，在海南的深海科学与工程研究所。
此外，依托广州分院的非法人单元有4个：中科院广州产业技术创新与育成中心（广州中科院工业技术研究院）、中科院佛山产业技术创新与育成中心（佛山中科院产业技术研究院）、中科院云计算产业技术创新与育成中心、中科院广州技术转移中心。在深圳、东莞、江门、惠州等地，建成和在建、拟建有5个国家重大科技基础设施建设项目，如中国散裂中子源工程、江门中微子实验项目等。
至2019年底，广州分院职工总数4910人。其中包括中国科学院院士2人、中国工程院院士3人、国际欧亚科学院院士2人，从事科技活动3526人，具有正高专业技术职称570人、副高专业技术职称799人，具有博士学位2270人、硕士学位1225人。
广州分院拥有国家级和省部级重点实验室(工程实验室)44个，其中，国家重点实验室4个（1个为合作建设）、国家工程实验室2个（1个为合作建设），国家地方联合工程实验室4个（1个为合作建设）、中科院重点实验室14个、省级重点实验室20个、省级工程实验室2个。建有中科院大型仪器区域中心2个，国家野外科学观测研究站6个。拥有海洋科学考察船4艘、各具特色的省部级以上科普教育基地13个。
广州分院拥有博士学位培养点39个，硕士学位培养点52个，专业硕士点20个，博士后科研流动站8个，博士后科研工作站2个。截止2019年底，中科院广州教育基地9个研究生培养单位在学研究生2907人、在读留学生121人。
2006-2019年，广州分院获国家自然科学奖一等奖1项、二等奖7项，国家科技进步奖二等奖5项，国家技术发明奖二等奖3项，省级科学技术奖一等奖52项，国家专利优秀奖9项。
与广东、广西、海南三省（区）等30个地市政府或科技部门签订了长期稳定的科技合作协议。在佛山、广州、东莞、深圳建立了产业技术创新与育成中心，在粤东西北地区建立了8个技术转移中心。2009-2015年，中科院与广东省实施全面战略合作，中科院80多家科研机构与广东省2000多家企业开展了务实合作，通过部署实施产业化项目累计为地方企业新增产值2600多亿元，新增利税320多亿元。
为深入学习贯彻党的十九大精神和习近平总书记关于粤港澳大湾区建设系列讲话精神，2018年11月18日，中国科学院与广东省人民政府签署共同推进粤港澳大湾区国际科技创新中心建设合作协议。2019年5月6日，中科院与广州市在北京签署了共建广州南沙科学城、中科院明珠科学园协议。
在中科院党组和广东省委省政府领导下，广州分院正与省市有关部门共同推进中科院重大科研任务和成果落户大湾区，为粤港澳大湾区国际科创中心建设发挥引领支撑作用。
