Probabilmente il sito fu occupato prima da un forte bizantino, poi da un piccolo castello ottomano. Ali Pascià, che prese il controllo della città nel 1789, lo ricostruì in grande stile all'inizio dell'Ottocento; un'iscrizione greca sulla Porta del Visir reca la data 1819, anche se i lavori non furono mai completati. Nell'ottobre 1809 il giovane Lord Byron fece visita ad Ali Pascià nel suo palazzo qui, un incontro che in seguito evocò nel Pellegrinaggio del giovane Aroldo.
Oggi il castello racchiude un tranquillo quartiere residenziale. Sopravvivono tratti delle mura di fortificazione alti fino a circa dieci metri, insieme a tre torri poligonali e ai resti delle porte, mentre il palazzo di Ali Pascià è scomparso da tempo. Una targa sulle mura ricorda la visita di Byron, e un monumento ad Ali Pascià si trova vicino all'ingresso principale. Le mura si affacciano sulla valle della Vjosa e il castello si visita liberamente.
Tepeleni è una sosta ideale nei viaggi tra Argirocastro, Përmet e la costa.
