康马，藏语意为“红房子”。原属西藏噶厦政府江孜宗管辖。1960年4月1日，划出江孜县所辖两个区成立康马县【1962年10月20日国务院全体会议第117次会议决定：设立康马县，以江孜县的部分行政区域为康马县的行政区域】，隶属江孜地区。1964年江孜、日喀则两专区合并，康马县遂归日喀则地区管辖至今。
1960年，辖6个区，22个乡。1975年全县共成立了21个公社。1984年11月在普选中撤销公社，改社为乡。
1988年2月【一说1987年4月】，根据区党委的统一安排，全县6个区21个乡全部撤销，成立了南尼、少岗、康如、康马、萨马达、嘎拉、涅如堆、涅如麦9个乡，辖查那、朗达、康马、白龙、玉康、格隆、格江、冲堆、萨鲁、拉丁、萨马达、孟扎 嘎拉夏、嘎拉鲁、琼桂、克、达凯、色雪、直、乃隆、伦、贡巴、热古、地里、达巴、都都、天坝、那堆、白顿共48个行政村。县政府驻康马乡。
1999年12月，撤销康马乡，设立康马镇。至此，康马县辖1个镇、8个乡：康马镇；南尼乡、少岗乡、康如乡、雄章乡、萨玛达乡、嘎拉乡、涅如堆乡、涅如麦乡。县政府驻康马镇。
2000年第五次人口普查，康马县常住总人口19501人，其中，康马镇2737人，南尼乡2135人，少岗乡2245人，康如乡1823人，雄章乡1853人，萨马达乡1838人，嘎拉乡3168人，涅如堆乡2068人，涅如麦乡1634人。
2005年末，全县总人口20036人，其中藏族占总人口的99％以上，农牧区人口占总人口的93％。
2006年，全县辖1个镇、8个乡：康马镇、涅如麦乡、涅如堆乡、嘎拉乡、莎玛达乡、康如乡、少岗乡、南尼乡、雄章乡。共有48个行政村。县政府驻康马镇。
2007年末全县户籍总人口20912人。
2009年，全县辖1个镇、8个乡：康马镇、涅如麦乡、涅如堆乡、嘎拉乡、莎玛达乡、康如乡、少岗乡、南尼乡、雄章乡。共有47个行政村。县政府驻康马镇。
2010年第六次人口普查，康马县常住总人口其中：20522人，康马镇3085人，涅如麦乡1658人，涅如堆乡2075人，嘎拉乡3404人，萨玛达乡1944人，康如乡1888人，少岗乡2344人，南尼乡2232人，雄章乡1892人。