Yukarı Mezopotamyanın bir bölümü olan Tur-Abidin (Turabdin) bölgesinde kurulmuştur. Asur tabletlerinde mağara kenti anlamına gelen Matiate olarak ismi geçmektedir. Bazı kaynaklara göre, şehrin adı bir çok değişimlerden sonra Farsça, Arapça ve Süryanice karışımından meydana gelmiş Ayna anlamına gelmektedir. Bir söylentiye göre; Midyat, Mağaralar Kenti anlamına gelen Matiatekelimesinden ismini almıştır. Bu görüşü ileri sürenler, Matiate isminin Asur yazıtlarında M.Ö.IX.Yüzyılda geçtiğini ifade etmektedirler. Buna paralel olarak Midyatta ilk yerleşim yerinin mağaralar olduğunu gösteren, Midyata 3 Km. uzaklıkta ve Acırlı Beldesi yakınında bulunan Elath mevkiinin Romalılar döneminden günümüze kadar geldiği söylenmektedir.

Hititler MÖ.2000 yıllarında buraya gelip yerleşerek büyük bir mağara şehri kurmuşlardır. Midyatta bulunan birbirleri ile bağlantıları olan mağaralar o devirde barınak olarak kullanılmıştır. Orta Asya Türklerinin öncü göçebeleri olan Komuklar daha sonra buraya gelmişler ve Asurlularla savaşmışlardır. Asur hükümdarı Tıglatninip zamanında Komuklar yöreye egemen olmuşlardır.

M.Ö. 500-100 yılları arasında yöre, değişik kavimlerin istilasına uğramıştır. Persler, Makedonyalılar, Seleukoslar ve Romalılar bu bölgede hüküm sürmüşlerdir. M.S.V.yüzyılda Bizanslılar buraya hakim olmuştur. Bu arada Arap akınları başlamış, VII.yüzyılda Halit Bin Velid orduları bölgeyi ele geçirmiştir. Abbasi döneminde Midyatta imar ve kalkınma hareketleri görülmüştür. Midyat?taki köylerin çoğu Harun El Reşit döneminde kurulmuştur. Harun El Reşitin oğlu Memun, Cizre-Mardin yolu üzerinde karakollar kurmuştur. Buraya yerleştirilen Arap-Türkmen kökenlilere Mahalmi ismi verilmiştir. Bu nedenle de Midyat ve çevresindeki köylere verilen Mahalmi sözcüğü buradan kaynaklanmaktadır. Bu insanlar Türkçe, Süryanice ve Arapça karışımı olan Mahalmice denilen bir dili kullanmışlardır. Prof. H. Hollerweger e göre, Mardinin doğusuna ve Midyatın batısına düşen Mhalmoyenin bir çok büyük köyü, 1209 yılından önce Hıristiyanlıktan İslamiyete geçmişlerdir.

Selçuklu egemenliğinden sonra yöre, Artukluların eline geçmiş, XV.yüzyılda Karakoyunlular ile Akkoyunlular arasında sık sık el değiştirmiş, XVI.yüzyılda Safeviler buraya hakim olmuştur. Yavuz Sultan Selimin Mısır seferi sırasında, 1517de Osmanlı topraklarına katılmıştır.