Masjid ittihad direlokasi sekitar awal tahun 2001, menempati tanah yang sebelumnya bekas bangunan kecamatan Jatibarang. Proses relokasi ataupun pemindahan tersebut telah dimusyawarahkan dengan pihak tokoh masyarakat, dan dibantu oleh Bupati Brebes yang menjabat kala itu, H Moh. Tadjudin Nuraly.
Pembangunan Masjid Al-Ittihad dimulai pertama kali pada tanggal 06 Maret 2001, dan baru selesai dan diresmikan pada tanggal 03 Maret 2008. Pembangunan yang pada awalnya direncanakan hanya memakan waktu selama 4 tahun saja akhirnya harus mundur 3 tahun karena pada saat itu terjadi kenaikan bahan bangunan yang sangat pesat, sehingga biaya menjadi terkendala.
Bangunan Masjid Al-Ittihad berdiri di atas lahan seluas 5.000 meter persegi, dan mampu menampung hingga 10.000 sekaligus. Dengan bangunan yang sangat luas dan sangat kokoh, tentu saja menghabiskan biaya yang lumayan besar, mencapai angka Rp. 8 milyar.
Relokasi beserta pembangunan ulang tersebut di ketuai oleh salah satu ulama tokoh masyarakat yiatu KH. Rosyidi Malawi. Masjid ini diresmikan langsung oleh Wakil Presiden Yusuf Kalla pada Maret 2008. Pada saat acara peresmian tersebut, jamaah yang hadir mencapai 250.000, dengan di isi acara tabligh akbar dengan beberapa mubaligh terkenal.
Bangunan masjid ini memiliki dua menara kembar dengan tinggi mencapai hingga 40 meter. Kemudian satu kubah besar yang dibalut warna hijau tua (Sekarang sudah di cat ulang berhanti warna Abu-abu), dengan bahan baku beton juga turut dibangun bersama dengan 8 kubah berukuran kecil di sekelilingnya.
Bangunan Masjid Al-Ittihad dibuat dengan berlantaikan 2, dengan 1 mimbar khutbah, 1 mihrab pengimaman, 2 tempat wudhu, 2 MCK, 3 kantor pengurus, 4 pilar penyangga utama, dan sebuah ruang perpustakaan yang menyediakan berbagai macam buku islami.
Pada bagian depan masjid terdapat halaman yang lumayan luas, dan tempat parkir yang dapat menampung hingga puluhan roda 4 dan roda 2.
Sebelum masuk kedalam areal masjid, kita dapat menemukan sebuah gapura dengan hiasan keramik yang sangat indah, bertuliskan “Masjid Jami’ Al-Ittihad”.
Bangunan masjid ini memang dibangun cukup unik, dengan atap segi delapan, dengan kubah utama di bagian puncaknya. Di sekeliling bangunan utama dibentuk semacam selasar bangunan sebagai pembatas masjidnya. Tembok tesebut dibuat dengan sangat tinggi membatasi areal masjid.
Kemudian mulai memasuki masjid kita akan disambut beberapa rongga-rongga masuk utama, dengan beberapa tiang yang disatukan dengan lengkungan-lengkungan berbentuk kubah. Dominasi warna bangunan hanya memakai dua warna yaitu putih dan hijau, sehingga terlihat lebih bersih dan klasik.
Perpustakaan Kitab Kuning Al-Ittihad
Banyak Pondok Pesantren (PonPes) yang berdiri di daerah Brebes dan sekitarnya. Sehingga salah satu Kiai di Jatibarang Brebes ingin memiliki perpustakaan pribadi untuk menampung berbagai kitab kuning. Beliau adalah KH. Rosyidi Malawi, yang memprakarsai pembangunan Perpustakaan Khusus Kitab Kuning di Area Masjid Jami’ Al-Ittihad tersebut.
Setidaknya sampai saat ini sudah ada ribuan judul Kitab Kuning yang menjadi koleksi Kiai Rosyidi, dan disumbangkan ke Perpustakaan.
Saat ini warga Brebes dapat secara bebas mengunjungi perpustakaan untuk melihat, membaca, dan mendapatkan kopian dari Kitab tersebut untuk dipelajari di rumah dan majelis-majelis ilmu.
