秦始皇二十六年（前221年），置砀郡及砀县。 
　　《汉书·地理志》：“砀山出文石”。《水经注》：“获水又东迳砀县故城北，秦立砀郡，盖取山之名。”训诂学家颜师古注：“以有砀山故名砀郡，砀，文石也，其山出焉，故以县名。”《明史·地理志》：砀山县“东南有砀山，其北有芒山”。《环宇通志》：“砀山，在砀山县东南七十里，县之名取此。” 
　　汉高祖五年（前202年），建梁国，革砀郡，砀县属梁国。 
　　新莽时（9年），改砀县为节砀县。汉光武帝时复称砀县。 
　　东汉章帝建初四年（79年），迁梁国于下邑（治所在今砀城东3里毛李庄处），砀县属梁国。三国（魏）革梁国，砀县属徐州。 
　　晋武帝泰始元（265年），复梁国，砀县并入下邑县。 
　　北魏孝昌元年（525年）下邑县移治今河南夏邑；二年（526年），置砀郡、砀县。砀郡治年在原下邑城（今毛李庄处），砀县治所鲁城（其址查无考）。北齐（555年）废砀郡、砀县，置安阳县。 
　　隋开皇十八年（598年），改安阳县为砀山县，隋大业六年（610年）割彭城、瞧阳二郡之地置永城县，芒砀山以北为砀山县辖区。 
　　唐，砀山县属瞧阳郡。光化二年（899年）朱全叫以砀山、单父、虞城、曹州这域表置辉州。后唐砀山县属单州。 
　　 宋，属单州。 
　　金兴定元年（1217年），砀山县改属归德府（今河南省商丘市）。兴定五年升永城县为永州，辖下邑、砀山、郏三县，芒砀山一带又属砀山县年辖。宋理宗绍定年间（1228—1233年）砀山县为洪水荡没，迁治年至保安镇。 
　　元宪宗七年（1257年），复置县，还旧地属东平路。元至元二年（1265年），降永州为永城县，芒砀山一带再属永城县。是年，砀山县并入单父县，至元三年，复置大气层山县，属济州，八年，属济宁路。 
　　明洪武八年（1375年），砀山县属徐州。 
　　清雍正八年（1730年）升徐州为府，砀山县属徐州府。
　　民国元年（1912年）砀山县属江苏省徐海道；民国22年属江苏行政督察铜山区；民国24年属江苏省行政督察第九区；民国37年11月，砀山县属豫皖苏三分区所辖；1949年元月，属中原行政区商丘专署所辖；1949年10月，属皖北人民行政公署宿县专署。 
　　1953年2月1日，砀山县属江苏省徐州专署所辖；1955年2月17日改属安徽省宿县专署所辖；1956年划属蚌埠专署。1961年，砀山县仍划归安徽省宿肥专署（现称宿县地区行署）所辖。2000年4月属宿州市。
　　2000年第五次人口普查，全县总人口862356人，其中：城关镇79466人，西南门镇35779人，李庄镇49845人，唐寨镇46186人，葛集镇59129人，周寨镇44954人，玄庙镇53155人，官庄坝镇44841人，曹庄

镇33926人，关帝庙镇60556人，朱楼镇36141人，文庄镇25313人，程庄镇54126人，良梨镇56959人，陇海乡40550人，权集乡33904人，刘暗楼乡22763人，赵屯乡56585人，黄楼乡28178人。
　　2004年，砀山县乡镇由19个调整为18个，撤销陇海乡，并入城关镇，城关镇更名为砀城镇。2004年底，砀山县辖14个镇、4个乡，10个居委会、382个村委会。
　　2006年，砀山县辖14个镇、4个乡：砀城镇、西南门镇、李庄镇、唐寨镇、葛集镇、周寨镇、玄庙镇、官庄坝镇、曹庄镇、关帝庙镇、朱楼镇、文庄镇、程庄镇、良梨镇、权集乡、刘暗楼乡、赵屯乡、黄楼乡。
　　2007年12月，砀山县调整乡镇行政区划：撤销西南门镇、文庄镇、刘暗楼乡、黄楼乡、权集乡、赵屯乡，调整6个镇，保留7个镇，调整后全县为13个镇。具体情况为：将原西南门镇整建制并入砀城镇，镇政府为原砀城镇驻地（西河北路1号）。将原文庄镇整建制并入唐寨镇，镇政府为原唐寨镇驻地（局子街）。将原刘暗楼乡整建制并入周寨镇，镇政府为原周寨镇驻地（周寨村）。将原黄楼乡整建制并入关帝庙镇，镇政府为原关帝庙镇驻地（关帝庙）。将原权集乡整建制并入玄庙镇，镇政府为原玄庙镇驻地（砀山县果园场场部所在地）。同时还将赵屯乡撤销，设立赵屯镇，行政区划范围不变，镇政府为原赵屯乡驻地（陈庄村）。保留葛集镇、李庄镇、良梨镇、程庄镇、朱楼镇、曹庄镇、官庄坝镇7个镇，行政区划范围、镇政府驻地不变。