Menurut legenda, masjid ini didirikan oleh Wali Songo secara bersama-sama dalam tempo satu malam. Babad Demak menunjukkan bahwa masjid ini didirikan pada tahun 1399 Saka (1477 M) yang ditandai oleh candrasengkala “Lawang Trus Gunaningjanmi”, sedang pada gambar bulus yang berada di mihrab masjid ini terdapat lambang tahun 1401 Saka yang menunjukkan bahwa masjid ini berdiri tahun 1479 M. Bangunan yang terbuat dari kayu jati ini berukuran 31 m x 31 m dengan bagian serambi berukuran 31 m x 15 m. Atap tengahnya ditopang oleh empat buah tiang kayu raksasa (saka guru), yang dibuat oleh empat wali di antara Wali Songo. Saka sebelah tenggara adalah buatan Sunan Ampel, sebelah barat daya buatan Sunan Gunung Jati, sebelah barat laut buatan Sunan Bonang, sedang sebelah timur laut yang tidak terbuat dari satu buah kayu utuh melainkan disusun dari beberapa potong balok yang diikat menjadi satu (saka tatal), merupakan sumbangan dari Sunan Kalijaga. Serambinya dengan delapan buah tiang boyongan merupakan bangunan tambahan pada zaman Adipati Yunus (Pati Unus atau pangeran Sabrang Lor), sultan Demak ke-2 (1518-1521 M) pada tahun 1520.
Dalam proses pembangunannya, Sunan Kalijaga memegang peranan yang amat penting. Wali inilah yang berjasa membetulkan arah kiblat. Menurut riwayat, Sunan Kalijaga juga memperoleh wasiat antakusuma, yaitu sebuah bungkusan yang konon berisi baju hadiah dari Nabi Muhammad SAW, yang jatuh dari langit di hadapan para wali yang sedang bermusyawarah di dalam masjid itu. Memasuki pertengahan abad XVII, ketika kerajaan Mataram berdiri, pemberontakan pun juga mewarnai perjalanan sejarah kekuasaan raja Mataram waktu itu.