Eine Ansicht aus dem Schwazer Bergbuch (Original im Zeughaus/Tiroler Landesmuseum) zeigt die heutige Altstadt, die Burg Hasegg und die Saline, umgeben von Stadtmauern mit Wehrtürmen und Gräben. Die Altstadt erreicht um 1300 bereits ihre heutigen Ausmaße. Lediglich die südliche Vorstadt mit der Burg Hasegg wurde erst im 15. Jahrhundert in die Stadtbefestigung mit eingeschlossen.

Am Inn-Ufer befanden sich die weitläufigen Holzlager der Saline. Die riesigen Sudpfannen  wurden damals mit Holz beheizt. Seit etwa 1300 verlief schräg durch den Fluss ein Triftrechen. Diesen errichtete man, um die Baumstämme aufzufangen, die aus dem Tiroler Oberland getriftet kamen. Dafür wurden mit Eisenschuhen versehene Rammpfähle in das Flussbett getrieben.

Rammpfähle konnten Teile von darauf errichteten Häusern, einer Brücke oder von Bootsstegen sein. Häufig wurden sie auch für Uferbefestigungen verwendet. Der heutige Untere Stadtplatz dürfte bis in das 15. Jahrhundert von einem Seitenarm des Inn erreicht worden sein. Noch im frühen 16. Jahrhundert benötigte man dort Rammpfähle als Unterkonstruktionen für Brücken- und Hausbauten.