Un fort byzantin occupa probablement le site en premier, suivi d'un petit château ottoman. Ali Pacha, qui prit le contrôle de la ville en 1789, le reconstruisit en grand au début du XIXe siècle ; une inscription grecque sur la porte du Vizir porte la date de 1819, mais les travaux ne furent jamais achevés. En octobre 1809, le jeune Lord Byron rendit visite à Ali Pacha dans son palais ici, une rencontre qu'il évoqua plus tard dans Le Pèlerinage de Childe Harold.
Aujourd'hui, le château renferme un paisible quartier résidentiel. Des pans de murailles atteignant une dizaine de mètres de haut subsistent, ainsi que trois tours polygonales et les vestiges des portes, même si le palais d'Ali Pacha a disparu depuis longtemps. Une plaque sur les murs commémore la visite de Byron, et un monument à Ali Pacha se dresse près de l'entrée principale. Les murailles dominent la vallée de la Vjosa, et la visite du château est libre.
Tepelenë est une étape tout indiquée sur les trajets entre Gjirokastër, Përmet et la côte.
