Von der Burg ausgehend entwickelte sich im Laufe von 800 Jahren der Ort Mitterfels auf einem schmalen Gesteinsrücken, steil ins Perlbachtal abfallend, entlang der (heutigen) Burgstraße bis hinauf zur Lindenstraße. Nur wenige Gehöfte hatten sich verstreut im Außenbezirk angesiedelt.