甘南在夏、商、周以至春秋战国时期属古西羌地。羌人是藏族的前身，当时的羌人活动范围很广，西起黄河源头，东到陇西地区，南达川西北，北至新疆鄯善一带。甘南是羌人主要发祥地和活动地区之一，他们世代生息繁衍在这里，并留下了大量珍贵的遗迹、遗物。据史料记载。羌人首领无弋爱主要活动在甘南河曲一带。秦穆公37年(公元前623年)，秦国向西扩展，拓地千里，今临潭、舟曲等地进入秦国版图。汉武帝元六年(公元111年)，汉军征讨河湟羌人，在河湟设护羌校尉，甘南东部地区就正式纳入了中原封建王朝郡县制之中，今临潭县属陇西郡，西部仍为羌人之地。三国时，甘南州境内东部属魏国。公元247年后迭山以南属蜀国。公元4世纪初，吐谷浑自西晋永嘉末年(313)年，度陇而西，以洮河流域为中心，建国于郡羌之地，至唐龙朔三年{663年)为吐蕃所灭。甘南为吐谷浑统辖，吐谷浑人开辟的“丝绸南路”，成为中原联系西域、西藏、印度的交通要道，增进了各民族的交往。公元七世纪，松赞干布统一西藏高原建立吐蕃王朝后，吐蕃正式占领洮州，统治甘青大部分地方至公元1073年，本州境均归吐蕃管辖。对开发青藏高原，发展汉藏关系贡献很大，有名的唐蕃古道就经过甘南。公元998年，河湟流域的吐蕃人建立了角厮曙政权，藏史称“宗喀王”，本州境大部分地方为其所辖。据史学家考证，甘加思柔古城(现存遗址)便是角厮啰政权所建。 角厮昭采取“联宋抗夏”的方略，启动茶马交易，开通“丝绸南路”，发展了汉臧友好往来关系。公元十三世纪，蒙古部众先后进入青藏高原，将青藏高原纳入蒙古汗国版图，元朝在河州设立吐蕃宣尉司都元帅府，本州境就在其管辖之内。明朝在青南、川西设朵行都指挥使司，总管藏区事务，本州境内由其统辖。公元17世纪(1636年)厄鲁特蒙古和硕特部众由天山以北迁居青臧高原，成为青藏高原的统治民族。甘南西部在其管辖内。至清雍正初年罗卜藏旦律反清失败，由清朝西安行都指挥使司总辖河州、朵干、马斯藏三卫，甘南西部为青海循化厅管辖。民国时期，甘南为甘肃省管辖。公元1927年设立拉卜楞设治区，1928年改为夏河县。1927年设立卓尼设治局。中华人民共和国成立后，1953年10月甘南自治区在夏河拉卜楞成立，1954年7月改为甘南藏族自治州。州府设在合作。