县”与“砀县”之合称。“芒”是“芒”，“砀”是“砀”。《汉书》与《史记》中均是此说。
《史记》：秦始皇帝常曰“东南有天子气”，于是因东游以厌之。高祖即自疑，亡匿，隐于芒砀山泽岩石之间。①吕后与人俱求，常得之。高祖怪问之。吕后曰：“季所居上常有云气，故从往常得季。”高祖心喜。沛中子弟或闻之，多欲附者矣。注①集解徐广曰：“芒，今临淮县也。砀县在梁。”骃案：应劭曰“二县之界有山泽之固，故隐于其间也”。《史记》《高祖功臣年表六》中列有“芒”侯国。
《汉书》新注中说“秦始皇帝尝曰“东南有天子气，于是东游以厌（压）之。高祖隐于芒砀山泽间。
《山海经》记载芒砀山“有文石焉，质胜玉，可以为砚”
《说文》解“砀，文石也。从石，昜声。”
《汉书·地理志》：“砀山出文石”。
《水经注》：“获水又东迳砀县故城北，秦立砀郡，盖取山之名。”训诂学家颜师古注：“以有砀山故名砀郡，砀，文石也，其山出焉，故以县名。”
根据芒砀山所在地，芒山镇秦汉时期历史沿革：商周有砀邑春秋属于宋国，战国属于魏国。秦始皇二十二年（前225年），灭魏国，在魏国东砀山置砀郡（治砀县，今永城市芒山镇山城集），为三十六郡之一。今芒山镇区有砀郡遗址。砀县南为芒县，属砀郡。可古时“芒砀山”名为“砀山”，至于为何又叫“芒砀山”？众说纷纭。按《读史方舆纪要》河南卷记，“芒县”应是“永城县”前身”
“永城县府东一百八十里。西北至江南砀山县百二十里，东南至江南宿州百三十里，西南至江南亳州百十五里。春秋芒邑地。汉为芒县，属沛郡。”
“砀山县北八十里，与徐州砀山县分界。其北八里为芒山，山有紫气岩，即汉高避难处。其东南有保安镇，相传高祖斩蛇于此。《邑志》云：砀山别名，有磨山、白毛、石洞、黄土、戏山之称，连亘几二十里。”
“芒县”何以称“芒”史书少有记述，“砀县”称“砀”记述很多。
《明史·地理志》：砀山县“东南有砀山，其北有芒山。”
芒砀山是豫东平原上唯一的山群，平地突起，如蛟龙腾跃，虽不高峻，然孤峰鹤立，尤显峭拔，堪称千里沃野之天然屏障，因此自古即兵家必争之地，贵族也视为风水宝地。历史悠久，遗迹彼丰。尤其是秦汉文化遗存，举世瞩目，被誉为汉文化博物馆。芒砀山汉文化景区现对外开放的共四大景区：保安山王陵景区、汉兴源景区、夫子山景区、陈胜王陵景区。在建中的景区有刘邦文化主题公园、汉文化博物馆、文圣园景区。
芒砀山史悠久，文物荟萃。著名景点有孔夫子避雨处、夫子庙、陈胜墓、张飞寨、汉高祖斩蛇碑等。最令人叹为观止的西汉梁国陵墓群，斩山作廓，穿石为藏，结构复杂，气势恢宏，宛如庞大的地下宫殿，是国家级重点文物保护单位之一。