Караимский язык принадлежит к кипчакской группе тюркских языков, однако слово «караим» происходит от древнееврейского «карай» - «чтец». Сами себя караимы называют «карайлар». Существует версия, что караимы были одной из сект, отколовшихся от еврейской общины Багдада в 8 веке. Они выступали против любых толкований Писания, считая, что истинным является только то, что записано в книгах Торы. В результате у караимов возникли серьезные расхождения с иудеями в религиозных взглядах и обрядах. Отменили караимы и многие запреты, распространенные в иудаизме. Некоторые исследователи считают их последователями одной из древнееврейских сект - саддукеев, но есть немало оснований считать караимов потомками хазар, принявших иудаизм.
Каким образом караимы попали в Крым, история не рассказывает. Известно, что в 1399 году великий князь литовский Витаутас во время похода на Крым захватил в плен и переселил в Литву несколько сотен караимских семей. Потомки этих пленных уже из Литвы расселились по всему миру. Часть их поселилась на Галицкой земле, так же продолжая считать своим родовым гнездом Чуфут-Кале. Караимская община в крепости просуществовала до конца 18 века, времени вхождения Крыма в состав Российской империи. Караимы проявили лояльность к новой власти, и им, в отличие от евреев, было разрешено селиться по всей территории России и владеть землей. Это и стало причиной нового расселения караимов. В 1852 году безводное плато Чуфут-Кале оставила последняя караимская семья.
Еще до того как в Чуфут-Кале окончательно утвердились караимы, крепость использовалась татарами для содержания пленных. В 14-16 веках они захватывали знатных и влиятельных людей из числа «иноверцев». Узниками пещер Чуфут-Кале в 16-17 веках были такие известные исторические фигуры, как польский гетман Потоцкий, любимец царя Ивана Грозного Василий Грязной, три года провели в ханской тюрьме русские послы Василий Айтемиров и князь Ромодановский. Но самое страшное испытание выпало на долю воеводы Василия Шереметьева, который провел в тюрьме 21 год. За это время сменились четыре хана. В качестве выкупа за воеводу у царя Алексея Михайловича требовали города Казань и Астрахань. На родину Шереметьеву удалось возвратиться лишь в 1681 году беспомощным и почти слепым стариком.
