Eski Mardin şehrinin yer aldığı tepeden bakıldığında güneyde ufuk çizgisine kadar uzayıp giden Mardin Ovası görülür. Uçsuz bucaksız görünümüyle denizi andıran ova, ufuk çizgisinden sonra Suriye’ye ait topraklarda devam eder. İlin orta kısmında, doğu-batı doğrultusunda Mardin Eşiği adı verilen bir dağ kabartısı yer alır. Mardin Eşiği, Diyarbakır Havzası’nı Mezopotamya’ya bağlayan bir geçittir. Mazı Dağı, kentin kuzeybatısında bulunur. Alem Dağı, Dibek Dağı, Gümüşsuyu Tepe, Pirinç Tepe, Ziyaret Tepe ve Karınca Tepe yöredeki diğer yükseltilerdir. Mardin ilinde ayrıca Nusaybin, Cizre, Kızıltepe ve Silopi ovaları da yer alır.
