1130年，辽宗室耶律大石率部西迁叶密立（今额敏县），今克拉玛依辖区境内为其领地。1132年西辽建立后属西辽。

1218年，成吉思汗击灭西辽政权，辖区境内为蒙古汗国辖地。成吉思汗分封诸子时，今克拉玛依地区为窝阔台封地。1251年，蒙哥汗即位后，设别失八里行尚书省，今克拉玛依一带归其管辖。1309年，今克拉玛依一带属察合台汗国。

明代，瓦剌蒙古土尔扈特部在此游牧。1628年，土尔扈特部西迁后，属准噶尔部游牧地。

1755年，清朝平定准噶尔部后，今克拉玛依辖区境内附属。1762年，清政府在库尔喀喇乌苏设办事大臣，今市境内南部独山子及五五新镇、共青镇等地归其统领。

1764年，清政府设塔尔巴哈台参赞大臣，今克拉玛依辖境西北部一带归其统领。1778年，清政府在玛纳斯河流域设绥来县（今玛纳斯县），属迪化直隶州管辖。辖区包括今克拉玛依百口泉、夏子街、大拐、中拐、小拐等地区。

至1886年，库尔喀喇乌苏直隶厅设立，仍辖今市境内南部一带，属镇迪道管辖。1888年，塔尔巴哈台直隶厅成立，辖区包括今市境北部地区。市境东部大拐、中拐、小拐一带则仍属绥来辖区，归迪化（今乌鲁木齐）府管理。

1913年，塔尔巴哈台、库尔喀喇乌苏直隶厅改置为县，仍分辖市境内南、北二部。1916年，裁塔尔巴哈台参赞大臣，设塔城道，下辖塔城、乌苏、沙湾县，今克拉玛依市境一带统归其管辖。

其后，今市境相继隶属于第五行政区、塔城专区管辖。至新中国成立前，分属于沙湾县、乌苏县、克烈半个县（今托里县）、和丰县（今和布克赛尔蒙古自治县）管辖。直至1958年设立克拉玛依市。

城市旅游资源十分丰富，其中最为著名的是世界“魔鬼城”，曾被评选为“中国最美丽的雅丹”和“中国最值得外国人去的50个地方之一”。