中南海所在的地方历史上曾经是自然河流和湖泊。

辽代，统治者看中了这个地方，在这群自然湖泊上建琼屿行宫，使这里首次出现了人工园林。

金海陵王天德四年（1153），金王朝正式迁都燕京，在此大兴土木，挖海堆山，营造大宁宫，修建园囿，水名为“西华潭”，又名金海。山名为“琼华岛”，用了大量太湖石加以点缀，美丽的湖光山色，间以瑰丽的宫殿。在今日中南海的北半部有太液池和大宁宫，“太液秋波”为形成于金朝的燕京八景之一。

金灭元兴，蒙古贵族在燕京建立首都，改名为大都，对其进行重新规划，以离宫（今北海公园）为中心，建造大都城。元朝修筑大都时，将太液池包入皇城之中，在其周围布置了三组宫殿，即大内、隆福宫和兴圣宫。

蒙古语中，“海”是“海子”的简称，清代吴长元在《宸垣识略》作过说明：“……北人凡水之积者，辄曰为海，如宝坻之七里海，昌平北之四海冶是也。”“紫禁城中外海，即古燕市积水潭也。”元朝的太液池范围相当于今日的北海和中海。

金鳌玉蝀桥

中南海和北海的建筑群最终定型始于明代。

明朝明成祖定都北京后，从1406年起营建新的皇宫，明朝宫城在元朝宫殿的位置基础上向南移动，因此皇城城墙也随之南移，为丰富皇城园林景观，开挖了南海，挖出的土方和开凿筒子河的土方堆成万岁山（即景山）。北海、中海、南海统称“太液池”，属于皇城西苑。

北海与中海以金鳌玉蝀桥为界，中海与南海以蜈蚣桥为界。

旧时的怀仁堂

清朝定都北京后，撤消皇城内诸内廷供奉衙署，将西苑大片土地改为民居，同时在北海、中海、南海三海周围设置“内红墙”，御苑范围退缩至内红墙之内。相对政治象征紫禁城，清帝更喜园居，顺治、康熙、乾隆诸帝均在中南海内兴建殿宇馆轩，作为避暑听政之所。

清代许多盛大的典礼和宴请活动都在这里举行，如阴历七月十五的盂兰盆会，入夜，中南海的湖面上要放荷花彩灯；每到选拔武状元时，皇帝会在紫光阁检视考生的骑射功夫。

同治、光绪年间，慈禧太后及皇帝按礼制在十二月从颐和园移居紫禁城时，也多在中南海内居住，仅行礼时前往紫禁城。

戊戌变法失败后，慈禧太后曾将光绪帝囚禁于南海中的瀛台。

1900年义和团运动时期，中南海成为俄军驻地，苑内文物陈设被掠一空，八国联军总司令瓦德西占领北京后，居住于中南海仪鸾殿。溥仪即位后，曾在中海西岸集灵囿修建摄政王府。

中南海仪銮殿是慈禧垂帘听政的地方，1908年末，掌控清朝政权48年的慈禧在此辞世

旧时的新华门

1911年清帝逊位后，中南海成为北洋政府总统府，袁世凯称帝时期，中南海曾改名“新华宫”，同时宝月楼拆外墙，更名为新华门。从此，新华门取代西苑门成了中南海的正门。此后中南海又先后被用作北洋政府的总统和总理办公地，以及张作霖的“帅府”。

国民政府迁都南京后，中南海作为公园对民众开放。

抗日战争结束后，国民党接管北平，将国民党军委北平行营设在中南海。解放军和平进驻北平前夕，华北剿匪总司令傅作义搬进中南海办公。

中南海怀仁堂

1949年9月21日晚，中国人民政治协商会议第一届全体会议在中南海怀仁堂举行。此后，怀仁堂成为中央举行重大会议、重大庆典的场所。

1949年后，中南海成为中共中央和国务院的驻地和部分国家领导人居住的地方，老式建筑多处被拆除或改建。入住中南海的多为重要的领导人物，如毛泽东、周恩来、邓小平等。因此，中南海成为了中华人民共和国政府高层的代称。

2006年6月，中南海被列入中国第六批全国重点文物保护单位名录。在国务院公布的第六批1080个“国保”单位中，中南海被列入“古建筑”类别。