因行政区域在甘肃省南部，并以藏族为主体自治民族而得此名。元为宣政院吐蕃等处宣慰司辖地。明属洮州卫、岷州卫地。1949年9月11日，临潭县和卓尼设治局辖区和平解放；20日，夏河县辖区和平解放；22日，夏河县人民政府成立，隶属临夏专署；27日，成立临潭县人民政府，隶属岷县专属。12月10日，西固县（舟曲）辖区解放，并成立西固县人民政府
1950年5月25日，甘肃省人民政府决定撤销岷县督察专员公署，将其管辖的临潭县划归临夏专署。夏河县从临夏专署析出，由省直辖。卓尼县设治局改为卓尼自治区由省直辖。其政权名称为卓尼自治区行政委员会。1951年1月，西固县武坪自治区成立（包括武坪、磨里、那下、八楞等区域）。1952年7月1日，经中共中央西北局批准，成立中共甘南藏区工作委员会。12月25日，在夏河县拉卜楞成立甘南藏族自治区筹备委员会。
1953年6月1日，甘南藏族自治区筹备委员会举行第二次扩大会议，决定成立欧拉、洮源、舟曲等3个县级工作组。10月1日设立甘南藏族自治区，自治区人民政府驻夏河县拉卜楞。原由省直辖的夏河县、卓尼自治区，原属临夏专区的临潭县及岷县（洛大直属乡、官鹅乡、大河坝乡、西尼沟，会川新堡等4个藏族自治乡，宕昌4个乡）、西固县（城关区，武坪藏族自治区，峰迭联合区，阳山自治乡）、武都县（坪牙藏族自治乡）、会川县各一小部分地区划归甘南藏族自治区。全区辖夏河、卓尼、临潭三县，下设21区，1个市，1个镇，80个乡。
1954年3月26日甘肃省人民政府决定设立舟曲（驻原西固县城）、碌曲（驻西仓）、玛曲（驻卓格尼玛）3个行政委员会，均系大于区小于县的一级政权机关，由甘南藏族自治区直接领导。将夏河县第七区（欧拉、乔科卡松、卓格尼玛、齐哈玛四大部落）划归玛曲县行政委员会管辖。将夏河县第二区的玛艾、尕海、朗木寺划归碌曲行政委员会管辖。将城关区、峰迭区、武坪区、阳山乡、洛大乡、官鹅乡、坪牙乡划归舟曲行政委员会管辖。将大河坝、南峪、大川坝、梁家坝、中牌、坪里被划归宕昌县。
1955年8月25日国务院批准卓尼自治区改为卓尼县。12月26日，国务院批准甘南藏族自治区改为甘南藏族自治州，自治州人民委员会驻夏河县拉卜楞。舟曲、碌曲、玛曲3行政委员会分别改设舟曲、碌曲、玛曲3县。自治州辖夏河县（下辖6区28乡，3个直属乡和1个区属阿拉部落）、卓尼县（下辖9个区，17个乡和1个直属镇）、临潭县（下辖6个区，33个乡和旧城市）、碌曲县（辖3个区，未设乡）、玛曲县（未设区、乡、只设4个工作组）、舟曲县（下辖3个区，20个乡和5个直属乡）等6个县。
1956年7月14日，甘南藏族自治州人民委员会由夏河县拉卜楞镇迁驻黑错，并将藏语“黑错”的音译名称调整为“合作”。1958年撤销夏河县，改建为德乌鲁市（驻合作镇）。甘南藏族自治州人民委员会驻德乌鲁市。撤销卓尼县，并入临潭县；撤销碌曲、玛曲2县，合并设立洮江县（驻尕海滩）。甘南藏族自治州辖1市、3县。1959年舟曲县改名为龙叠县。
1961年撤销德乌鲁市和洮江县，恢复夏河（驻拉卜楞）、碌曲（驻尕海）、玛曲（驻卓格尼玛）、卓尼4县。由龙叠县部分地区设立迭部县（驻电尕寺）。龙叠县改名为舟曲县。甘南藏族自治州辖7县。1964年碌曲县驻地由尕海迁桥头。甘南藏族自治州辖临潭、舟曲、玛曲（驻卓格尼玛）、夏河（驻拉卜楞镇）、卓尼、迭部（驻电尕寺）、碌曲（驻桥头）等7县。