Probablemente ocupó primero el lugar un fuerte bizantino, seguido de un pequeño castillo otomano. Ali Pashá, que se hizo con el control de la ciudad en 1789, lo reconstruyó a lo grande a principios del siglo XIX; una inscripción griega en la Puerta del Visir lleva la fecha de 1819, aunque las obras nunca se terminaron. En octubre de 1809 el joven lord Byron visitó a Ali Pashá en su palacio de aquí, un encuentro que evocó más tarde en La peregrinación de Childe Harold.
Hoy el castillo encierra un tranquilo barrio residencial. Se conservan tramos de murallas de hasta unos diez metros de altura, junto con tres torres poligonales y los restos de las puertas, aunque el palacio de Ali Pashá desapareció hace mucho. Una placa en las murallas recuerda la visita de Byron, y un monumento a Ali Pashá se alza cerca de la entrada principal. Las murallas miran al valle del Vjosa, y el castillo se puede recorrer libremente.
Tepelenë es una parada muy apropiada en los trayectos entre Gjirokastër, Përmet y la costa.
