Zuerst stand hier vermutlich ein byzantinisches Fort, gefolgt von einer kleinen osmanischen Burg. Ali Pascha, der 1789 die Kontrolle über die Stadt übernahm, baute sie im frühen 19. Jahrhundert in großem Stil um; eine griechische Inschrift am Wesirstor trägt die Jahreszahl 1819, doch die Arbeiten wurden nie vollendet. Im Oktober 1809 besuchte der junge Lord Byron Ali Pascha in seinem Palast hier – eine Begegnung, die er später in „Childe Harold’s Pilgrimage“ schilderte.
Heute umschließt die Burg ein ruhiges Wohnviertel. Erhalten sind Abschnitte der Befestigungsmauern von bis zu etwa zehn Metern Höhe, dazu drei polygonale Türme und die Reste der Tore, während Ali Paschas Palast längst verschwunden ist. Eine Gedenktafel an den Mauern erinnert an Byrons Besuch, und ein Denkmal für Ali Pascha steht nahe dem Haupteingang. Die Mauern blicken über das Vjosa-Tal, und die Burg kann kostenlos besichtigt werden.
Tepelena ist ein passender Halt auf Reisen zwischen Gjirokastra, Përmet und der Küste.
