Afyonkarahisar'ın, daha Önce kale eteğinde küçük bir köy iken, bölgenin Türkler eline geçmesiyle beraber büyüyüp geliştiği görülmektedir. Nitekim Türkler tarafından yapılan cami, mescit, çeşme, han, hamam, kervansaray, imaret, zaviye, mektep, türbe vb. yapılar bunu ortaya koymaktadır. Selçuklu ve Osmanlı şehirlerinde mahalleler, genellikle cami, mescit, zaviye veya imaretin inşası ve bunların etrafında meskenlerin yapılmasıyla oluşurdu. Bu açıdan incelendiğinde Afyonkarahisar'da Selçuklu döneminde inşa edilen en eski yapı olarak; Ulu Cami'nin yerinde bir mescidin varlığına dair bilgilere ulaşılmaktadır. Eğer bu rivayet doğru ise şehrin ilk mahallelerinin kalenin çıkış yolu çevresinde kurulduğunu söyleyebiliriz. Herhalde bu dönemde kale çevresinde yerleşmiş insanların herhangi bir saldın durumunda kaleyi sığınak olarak kullanma düşüncesi, ilk iskanın bu şekilde oluşmasını gerektirmiştir. Diğer taraftan, Afyonkarahisar'daki en eski kaynak suları incelendiğinde; Olucak, Taşpınar, Yağacak, İbik, Ballıpınar vb. çeşmelerin kalenin batı kesiminde ve Hıdırlık eteklerinde yeralması, şehrin ilk yerleşiminin Olucak, Çavuşlar, Bedrik, İbik ve Kara Kâtip mahalleleri civarında gerçekleştiğinin bir diğer göstergesidir. Bununla birlikte şehrin gelişmesi, Selçuklu Sultam I. Alaaddin Keykubat'ın 1231-1233 yıllan arasında kaleyi tamir ettirerek, yukan kalede bir mescit, bir saray ve şehir kenarında bir medrese (Alaaddin Medresesi) yaptırmasının ardından başlamıştır. Mamafih Alaaddin Medresesi ile yüzyılın ikinci yansında yapılan Ulu Cami'nin yerleri gözönüne alındığında, şehrin ilk merkezinin kalenin, çıkış yolu çevresi ile batısındaki Olucak Mahallesi arasında oluştuğu anlaşılmaktadır. Bu durum Afyonkarahisar'ın kalenin çıkış yolunun hemen etrafından başlayarak zamanla genişlediğine işaret etmektedir. Öyle ki bu genişleme, XIV. yüzyıl eserleri olan Kabe Mescidi, Kubbeli Mescit, Tâc Ahmed Mescidi, Ak Mescit, Mevlevihane Camii ve Arasta Mescidi'nin konumlarına göre şehrin batıda Çavuşbaşı Mahallesi'ne, güneyde Hıdırlık Tepesi yamaçlarına ve kalenin doğu eteklerine doğru olmuştur.
Afyonkarahisar 1428'de Osmanlı idaresine geçtikten sonra Karaman Beyliği sınırında bulunması ve stratejik özelliği dolayısıyla askeri harekatın başlıca merkezlerinden biri olmuş, yine Hersekzade Ahmet Paşa'nın Memlukler üzerine yaptığı seferde de merkez üs olarak kuUanılmıştır. Bu hadiseler ile özellikle İstanbul'un alınmasından sonra Afyonkarahisar şehrinde yapılan imar faaliyetleri, Fatih'in bu şehri geliştirmeye özel bir önem verdiği düşüncesini akla getirmektedir. Bu yüzyılda; Sinan Halife Mescidi, Güdük Minare Camii, Umur Bey Külliyesi, Gedik Ahmed Paşa Külliyesi, Başçeşme Camii ve Kasım Paşa Külliyesi yapılmıştır. Bu eserlerin bulunduklan yerler gözönüne alındığında XV. yüzyılda şehrin; kalenin güneyinde Hıdırlık dağı eteklerinden İmaret Külliyesinin üst taraflarına, Otpazarı Camii civarından Belediye meydanına,ve oradan kalenin doğu eteklerini içine alarak kuzey doğu cihetinde Mısri Camii civarına kadar yayıldığı anlaşılmaktadır. Şehrin bu dönemdeki yayılmasıyla beraber yeni mahallelerin ortaya çıktığı aşikardır. Ancak Afyonkarahisar'ın mahalleleri hakkında en eski ve teferruatlı bilgi sahibi olduğumuz dönem XVI. yüzyıldır. XVI. yüzyıl tahrir defterlerine göre şehirde 34 mahalle vardır. Bunlar; Ak-mescid, Arab, Ardıç, Bahsi, Bedrik, Burmalu, Cami-i Kebir, Doğancı, Dolar (Kâhil), Efecik, Eksürde, Ermeniyân, Fakih Paşa, Hacı Abdül, Hacı İsmail, Hacı Mahmud, Hacı Yahya, İbik, İmaret-i Ahmed Paşa, Kara-katip, Karlağuç, Kasım Paşa, Kazgancı, Kemer (Yukarı-bazar), Kethüda (Çavuş), Kuplu-mescid, Mahkeme, Sinan Halife, Sinan Paşa, Şehre-küstü, Tâc Ahmed, Taşpınar, Yahudiyân ve Zaviye mahalleleridir. Ermeni ve Yahudi mahallelerinde adı üzerinde gayr-i müslimler, geriye kalan 32 mahallede ise Müslümanlar oturmaktadır.
Bu mahallelerin bulundukları mevkilere bakıldığında Afyonkarahisar, kalenin batısında, Çavuşbaşı Mahallesi'nden başlayarak güney ve güney doğuya doğru Karakatip, Taşpınar, Kubeli, Mevlana, Akmescit, Hacı Yahya ve Nakilci mahallelerine doğru bugünkü yerleşim sınırlarını içine alacak şekilde genişlemesini tamamlamıştır. Bundan başka şehir, kalenin doğusunda; İmaret çevresinden Otpazarı, Umur Bey ve Hacı Mahmut mahallelerine, kuzeyinde; Burmalı ve Efecik mahallelerine, kuzey doğusunda ise; Hacı Mahmut, Karaman ve Hacı Alioğlu mahallelerine kadar genişlemiş ve oradan Sarıkız Tepesi eteklerinden Kasımpaşa (Şehreküstü) Mahallesi'ne kadar ilerlemiştir. XVI. yüzyılda 34 olan mahalle sayısı Evliya Çelebi'nin verdiği bilgiye göre XVII. yüzyıl ortalarında 42 olmuş, bu sayı XVIII. yüzyılda da bu civarlarda kalmıştır.
XIX. yüzyılda; Tanzimat'ı takiben çok sayıda gayr-i müslimin gelip yerleşmesi, ardından kaybedilen savaşlar neticesinde Rumeli ve Kafkasya'daki Türklerin Anadolu'ya akını Afyonkarahisar'da yeni mahallelerin teşkiline yol açmış, mahalle sayısı büyük ölçüde artmıştır. Afyonkarahisar'ın XIX. yüzyıldaki mahalleleri şunlardır: Akmescid, Anastına, Arap Mescidi, Ardıç, Aziziye, Baldede, Bedrik, Burmalı, Canbaba, Câmi-i Kebir, Cami-i Yahya, Cansız, Çavuşbaşı, Çavuşlar, Çavuşoğlu, Dâi Recep, Doğancı, Efecik, Eğreti, Fakih Paşa, Gökçe, Gül, Gündoğmuş, Hacı Abdurrahman, Haci Arab, Haci David, Hacı Evtal, Hacı Alioğlu, Hacı Cafer, Hacı Eyüp, Hacı İsmail, Hacı Kâhil, Hacı Mahmut, Hacı Murad, Hacı Mustafa, Hacı Nasuh, Hacı Nuh, Hacı Nureddin, Hamidiye, Hisarönü, İbik, İğneci, Kabil, Kale, Karakatip, Karaman, Karamanoğlu, Kayadibi, Kayalu, Kıptiyan, Kubbelü, Kadınana, Karşı, Kavaklı, Kırklarmakamı, Kumluk, Marulcu, Mecidiye, Medli, Molla Bahsi, Nakilci, Nasârâ, Nurcu, Seyyahlar, Sinan Halife, Sinan Paşa, Sorop Toros, Tâc Ahmed, Tahtacı, Taşpınar, Temüryalayan, Voyvoda, Yukarı Pazar ve Zaviye Sultan. Önceki yüzyıllarda Müslüman ve gayr-i müslimler ayrı mahallelerde yaşarken, Tanzimat'tan sonra bu kesin ayrılık ortadan kalkmış, bazı mahallelerde müştereken yaşamaya başlamışlardır. Bu yüzyılda gayr-i müslimlerin yaşadığı mahalleler arasında Canbaba, Gül, Haci Arab, Haci David, Hacı Nureddin, Kadınana, Kıptiyan, Nasârâ ve Sorop Toros'u sayabiliriz.
Cumhuriyet dönemiyle birlikte şehirde yeni bir yapılaşmanın başladığı görülmektedir. İstanbul İstasyonu ile Silosu, Belediye, Kız Enstitüsü, Postahane, Kadınana ile Cumhuriyet İlkokulu, Çocuk Esirgeme Kurumu, yeni Hastane ve Hal binaları, Zafer Anıtı ve Numune fidanlığı yapılmış, Halkevi açılmış, şehrin her yerine su ve elektrik tesisatının dağıtımı yapılmıştır. Zafer Anıuyla, Belediye ve çevresine yapılan çeşitli binalar için buradaki Umur Bey Paşa Camii ve civarındaki pek çok ev istimlak edilmiş, burada oturan halkın bir kısmı Kütahya ve Eskişehir'e göç etmiştir. Diğer taraftan XX. yüzyılın ikinci yarısında şehrin ova kısmında yeni mahalleler kurulmuş ve yerleşim, özellikle yüzyıl sonuna doğru, Konya Ovası'na, Afyon-Ankara-İstanbul ve İzmir güzergahlarına doğru kaymıştır. Bu suretle mahalle sayısı günümüzde 73'e ulaşmıştır.
XX. yüzyıl başlarında kale çevresinde yerleşime müsait alanlar tamamıyla dolmuş, bu nedenle şehrin içerisinde kalan mezarlıklar kaldırılarak yeni iskan alanları oluşturulmuştur.