相传为楚汉战争时，楚霸王项羽被困垓下，四面楚歌，败退至和县乌江，请渔人将心爱的坐骑乌骓马渡至对岸后，自觉无颜见江东父老，自刎而亡。乌骓马思念主人，翻滚自戕，马鞍落地化为一山，该山即名马鞍山。马鞍山市由境内马鞍山而得名。

马鞍山地区西周时属吴国，春秋战国时期先后改属越国和楚国，秦至西晋均属丹阳县（治所今当涂县丹阳镇）。

东晋咸和四年（329年），淮河之滨的当涂县（今安徽怀远县境内）流民南徙，遂于今南陵一带侨置当涂县，江南始有当涂县名，但非实体县。永和元年（345年），江北豫州（今河南东南部，湖北东部）侨置于牛渚（今采石）。南朝梁天监元年（502年），分丹阳县置南丹阳郡，郡治采石。

隋开皇九年（589年），侨置于皖南一带的当涂县徙治姑孰城（今当涂城关镇），此是姑孰为当涂县城之始，并迄今相沿未变。北宋太平兴国二年（977年）设太平州，治姑孰城，辖当涂、芜湖、繁昌三县。元改太平州为太平路。元至正十五年（1355年），朱元璋率起义军攻占当涂，改太平路为太平府，辖县照旧。明清府治隶属不变。

民国裁府留县，当涂县直属安徽省。1949年4月，当涂解放。1954年2月，设马鞍山镇，隶属当涂县。

1955年8月，设马鞍山矿区政府（县级），隶属芜湖专区。1956年10月12日，国务院批准设立马鞍山市，为省辖市。其间，当涂县先后隶属芜湖专区（地区）、宣城地区。1983年7月，当涂县（除大桥乡外）划属马鞍山市。辖县和县古名历阳，因“县南有历水”而得名。2011年8月22日，原地级市巢湖市所辖含山县、和县（不含沈巷镇）划归马鞍山市管辖。

2012年，撤销金家庄区、花山区，设立新的花山区；设立博望区，将当涂县博望、丹阳、新市3个镇划归博望区管辖。截至2017年底，马鞍山市下辖3个市辖区、3个县。