Intorno alla roccia sono fiorite storie locali. Una leggenda lega il nome della città a un eroe chiamato Premt, che si dice si sia lanciato dalla pietra piuttosto che cadere nelle mani del nemico, mentre un'altra sostiene che sia stata scagliata qui da un gigante. Nel XVIII e XIX secolo la roccia serviva come punto di osservazione sulle carovane di passaggio, e sulla sua cima sopravvivono alcune pietre di un antico castello, noto come castello di Bolenga.
Una scalinata si snoda lungo il fianco della roccia e la salita richiede meno di un quarto d'ora. In cima vieni ricompensato da vedute panoramiche sui tetti di Përmet, sulla valle della Vjosa e sulle montagne circostanti. I gradini possono essere irregolari, quindi indossa scarpe comode, e nelle calde giornate estive porta acqua, perché in cima non ci sono servizi.
Piccola ma ricca di storie, la Pietra della Città è il punto di partenza naturale per scoprire Përmet.
