Верхний замок, построенный в 1340-1384 годах, был заложен еще князем Любартом. Главный исторический памятник Луцка расположен на невысоком холме в старейшей части города. Он входил в систему городских укреплений вместе с Нижним замком, который частично сохранился и по сей день, и городскими стенами. Любарт, сын великого князя литовского, пользовался Верхним замком как постоянной резиденцией. На его территории он и похоронен.

Сначала здания замка и стены были деревянными, и лишь несколько башен - Въездная, Стырова и Владычья - каменными. Эти башни сохранились до наших дней, их высота составляет около 27 метров. Уцелели и стены Луцкой твердыни с бойницами, расположенными в 2-3 ряда. На высоте около 10 метров вдоль стен тянется деревянный настил, с которого во время осады защитники крепости вели огонь по врагу.

На территории замка находится шляхетский жилой дом конца 18 века, который стоит на фундаменте древнего княжеского дворца, а также епископский жилой дом, построенный в начале 19 века неподалеку от Владычьей башни.