Sejarah pembinaan Masjid Zahir bermula pada tahun 1735 iaitu melalui tapak asal yang dibina dengan sebuah masjid yang dikenali ‘Masjid Lama’. Masjid lama ini telah dibina di zaman pemerintahan Al-Marhum Sultan Muhammad Jiwa Zainal Alidin II yang juga dikenali sebagai marhum Kota Setar. Masjid ini telah dibina di atas perkuburan orang-orang Islam yang mati syahid semasa Siam Melanggar Kedah.

Senibina Masjid Lama itu, adalah senibina Melayu yang berbumbung atap nipah dan diperbuat daripada kayu. Reka bentuk masjid ini seperti Masjid Kampung Laut di Kelantan. Masjid Pengkalan Kakap di Kuala Muda, Kedah dan Masjid Ulu Melaka, Langkawi. Masjid Lama hanya boleh dimuat ahli Jemaah seramai 600 orang sahaja. Disebabkan penduduk yang semakin meningkat dan raja inginkan sebuah masjid yang cantik, maka kerja-kerja pembinaan masjid baru dijalankan dan masjid lama dipindahkan ke Alor Merah pada tahun 1912.

Pemilihan kawasan itu untuk didirikan sebuah masjid pada zaman awalnya adalah dipengaruhi oleh beberapa faktor. Di samping pembinaan masjid, sultan juga telah membina istana yang berdekatan dengan masjid iaitu Istana Kuning atau Istana Pelamin. Konsep membina istana berdekatan dengan tempat ibadat iaitu masjid merupakan konsep asas dalam sesebuah pemerintahan itu. Ini bertujuan bagi memudahkan baginda sultan berulang-alik ke masjid setiap kali menunaikan solat. Tambahan, masjid adalah yang termasuk dalam elemen istiadat pertabalan diraja. Contohnya Sultan Muhammad Jiwa apabila ditabalkan menjadi sultan di Balai Besar, baginda akan menaiki gajah menuju ke masjid untuk sembahyang. Jadi kombinasi di antara istana, masjid dan Balai Besar adalah bertepatan dengan sesuatu upacara diraja yang dijalankan. Sebagai ibu negeri, masjid perlukan khidmat dari mufti dan Kadi Besar bagi menjalankan sesuatu perkara yang berlandaskan hukum agama. Oleh itu, terdapat pertalian yang rapat di antara sultan dengan golongan alim ulama’ dalam merujuk sesuatu perkara. Jadi, masjid amat perlu didirikan berdekatan dengan istana sultan. Adanya Sungai Kedah yang berhampiran dengan kawasan masjid memudahkan penduduk di sekitarnya datang bersembahyang. Ini kerana sungai pada suatu ketika dahulu alat pengangkutan yang utama disamping memudahkan para jemaah mengambil wuduk.

Berdasarkan beberapa kelebihan yang terdapat di tapak asal, maka pada hari Isnin 11hb. Mac 1912 bersamaan 22 Rabiul Awal 1330H, Masjid Zahir pun telah dibina bagi menggantikan Masjid Lama. Masjid ini dibina atas daya usaha YTM Al Marhum Tunku Mahmud Ibni Almarhum Sultan Ahamad Tajuddin Mukarram Syah, yang menjadi Yang Dipertua Majlis Mesyuarat Negeri ketika itu. Pembinaan masjid ini dilakukan ketika baginda memangku tugas paduka kekandanya, Almarhum Sultan Abdul Hamid Syah. Pada tahun 1912 masjid ini dikenali sebagai Masjid Diraja dan masjid ini secara rasminya telah dibuka pada tahun 1915. Pada tahun 1955 barulah masjid ini diiktiraf sebagai masjid negeri. Oleh itu, Masjid Zahir ialah masjid negeri yang pertama dibina di negeri kedah.

Bagaimanapun kerja-kerja melukis plan masjid telah ditugaskan kepada J. Gorman dan Pakdin oleh baginda sultan. Penggantian Masjid Lama dengan Masjid Zahir menjadikan negeri Kedah antara negeri yang mempunyai masjid tercantik dan tertua di samping ciri-ciri yang lain. Lebih menarik lagi ialah pembinaan masjid ini adalah hasil usaha seorang sultan yang ingin mengembangkan syiar Islam di negeri Kedah. Terdapat suatu keunikan mengenai asal usul nama masjid ini. Masjid ini diberi nama Masjid Zahir semasa pemerintahan Sultan Abdul Hamid Syah dan Tunku Mahmud pada tahun 1915M. Menurut Arabic – English Dictionary, zahhar bermaksud penjual bunga, zahirun ialah bekas bunga, azhara berbunga dan zahra’u bererti berkilau-kilauan atau bersinar. Dari pengertian yang diberikan boleh dibuat kesimpulan bahawa perkataan ‘zahir’ terbit daripada perkataan-perkataan di atas yang melambangkan bunga sebagai suatu yang cantik. Di antara zahir dan azhar mempunyai talian yang membawa meksud ‘putih’ iaitu kebersihan atau kesucian