I løbet af 1200- og 1300-årene fandt der omfattende ændringer i byens bebyggelsesmønster sted, og med dem skabtes de grundlæggende træk i gadestrukturen, der stadig kendetegner den gamle bykerne.

Det var byens nye biskop, Peter Vognsen af den magtfulde sjællandske Hvide-slægt, der fra 1190'erne satte gang i processen. Han opgav den gamle Sankt Nicolai Domkirke vest for byen og iværksatte midt i byområdet opførelsen af en ny og langt større domkirke, indviet til Sankt Clemens, der efter færdiggørelsen henimod midten af 1200-årene helt kom til at dominere bybilledet. I forbindelse med kirkebyggeriet opførtes tillige en stor bispegård nord for domkirken; øst for ud mod havet placeredes den ældste katedralskole, og mod syd kom kirkegården samt kapitelhus og kannikeboliger. I sammenhæng med byggeriet blev Kannikegade og Rosensgade anlagt, mens Bispegade formentlig er sidste rest af en tidligere forbindelsesvej, Torngade, tværs over området til Skolegade.

Vest for domkirken blev der i sidste del af 1200-årene etableret en direkte hovedforbindelse mellem denne og bebyggelsen omkring den gamle domkirke uden for byen, der i 1230'erne var blevet overdraget til dominikanermunkene og ombygget for at indgå i et større klosterkompleks. Husene på det nuværende Store Torvs område blev nedrevet og pladsen frilagt mellem domkirken og nordvolden. Byporten blev derefter flyttet fra lmmervad til Borgporten for enden af den nye Torvegade, og uden for porten brolagde man Lille Torv i lavningen, der nu blev den vigtigste færdselsåre vestud af byen. Omkring 1300 blev vadestedet ved Immervad erstattet af en bro.

Disse ændringer i by- og trafikstrukturen medførte endvidere, at bybebyggelsen bredte sig i "forstaden" mod vest langs Vestergade hen mod Vandmøllen samt ved den nyanlagte Klostergade, ligesom bydelen også blev hjemsted for den kirkelig-sociale institution Helligåndshospitalet ved hjørnet af Immervad og Vestergade.

I løbet af middelalderen mistede Århus sin betydning som fæstningsby bl.a. efter anlæggelsen af kongelige, befæstede borge i Skanderborg og på Kalø, og efterhånden fik byvolden lov at forfalde.