前凉置临松郡。西魏改临松郡为临松县。北周废临松县。1954年由酒泉、高台、张掖等县析置肃南裕固族自治区（县级），1955年改为肃南裕固族自治县。县因方位在肃州南部，故名。
1996年，肃南裕固族自治县面积2.2万平方千米，人口3.9万人，其中裕固族占25%、藏族占22%。辖1个镇、17个乡、6个民族乡：红湾寺镇、北滩乡、东滩乡、铧尖藏族乡、马营乡、泱翔藏族乡、大泉沟乡、西水藏族乡、大都麻乡、杨哥乡、红石窝乡、青龙乡、白银蒙古族乡、韭菜沟乡、水关乡、雪泉乡、喇嘛湾乡、前滩乡、莲花乡、明海乡、祁林乡、祁连乡、祁文藏族乡、祁青藏族乡。县政府驻红湾寺镇。
2000年第五次人口普查，肃南裕固族自治县常住总人口36678人，其中，红湾寺镇7030人，北滩乡1566人，东滩乡3213人，铧尖藏族乡1586人，马营乡666人，泱翔藏族乡1870人，大泉沟乡1756人，西水藏族乡1329人，大都麻乡1662人，杨哥乡1154人，红石窝乡1509人，青龙乡1279人，白银蒙古族乡891人，韭菜沟乡1546人，水关乡546人，雪泉乡1529人，喇嘛湾乡974人，前滩乡453人，莲花乡638人，明海乡2239人，祁林乡471人，祁连乡943人，祁文藏族乡1367人，祁青藏族乡461人
2004年，撤销马蹄、皇城、明花等6个区公署建制，将原来的23乡1镇撤并为祁丰、明花、大河、康乐、马蹄及白银等6个乡，红湾寺和皇城2个镇。撤销北滩乡、东滩乡、铧尖藏族乡、马营乡、泱翔藏族乡，设立皇城镇；撤销大泉沟乡、西水藏族乡、大都麻乡，设立马蹄藏族乡；撤销杨哥乡、红石窝乡、青龙乡，设立康乐乡；撤销韭菜沟乡、水关乡、雪泉乡、喇嘛湾乡，设立大河乡；撤销前滩乡、莲花乡、明海乡，设立明花乡；撤销祁林乡、祁连乡、祁文藏族乡、祁青藏族乡，设立祁丰蔵族乡；保留白银蒙古族乡。撤并后，乡镇管辖的平均面积由833平方千米扩大到2500平方千米，平均人数由原来的1450多人上升到4400多人。全部工作于年末结束。
2008年末，全县面积20456平方千米，辖2个镇、6个乡（其中3个民族乡）：红湾寺镇、皇城镇、马蹄藏族乡、康乐乡、白银蒙古族乡、大河乡、明花乡、祁丰藏族乡，共有101个行政村。农业人口0.71万户2.43万人。
2010年第六次人口普查，肃南裕固族自治县常住总人口33653人，其中，红湾寺镇8125人，皇城镇7002人，马蹄藏族乡3952人，康乐乡3046人，白银蒙古族乡565人，大河乡3409人，明花乡3646人，祁丰蔵族乡3275人，甘肃省绵羊育种推广站495人，张掖宝瓶河牧场138人。