Des histoires locales s'attachent au rocher. Une légende relie le nom de la ville à un héros appelé Premt, qui aurait sauté du rocher plutôt que de tomber aux mains de l'ennemi, tandis qu'une autre affirme qu'il fut lancé ici par un géant. Aux XVIIIe et XIXe siècles, le rocher servait de poste de guet sur les caravanes de passage, et quelques pierres d'un ancien château, appelé château de Bolenga, subsistent à son sommet.
Un escalier serpente sur le flanc du rocher, et la montée prend moins d'un quart d'heure. En haut, vous êtes récompensé par des vues panoramiques sur les toits de Përmet, la vallée de la Vjosa et les montagnes environnantes. Les marches peuvent être irrégulières : portez des chaussures confortables et emportez de l'eau par les chaudes journées d'été, car il n'y a aucun équipement au sommet.
Petite mais riche en histoires, la Pierre de la Ville est le point de départ naturel pour découvrir Përmet.
