มหาวิทยาลัยอิสลามยะลา ตั้งอยู่ที่บ้านปารามีแต ตำบลบุดี อำเภอเมือง จังหวัดยะลา บนเนื้อที่ 43 ไร่ ห่างจากตัวเมืองยะลาบนเส้นทางสายยะลาเบตง และสายยะลารามันประมาณ 7 กิโลเมตร ประกอบด้วยอาคารต่างๆ ซึ่งได้รับเงินสนับสนุนการก่อสร้างจากธนาคารอิสลามเพื่อการพัฒนา ประเทศซาอุดิอาระเบีย (IDB) ทั้งหมด 6 อาคาร ได้แก่ อาคารมัสยิด อาคารเรียน อาคารหอพัก 3 หลัง นับเป็นวิทยาเขตแรกที่วิทยาลัยได้ดำเนินการเปิดสอนระดับอุดมศึกษา ปัจจุบันวิทยาเขตยะลา เป็นที่ตั้งของสถาบันภาษานานาชาติ
มหาวิทยาลัยอิสลามยะลาเป็นสถาบันอุดมศึกษาเอกชนที่มีจุดมุ่งหมาย เพื่อเป็นแหล่งความรู้ด้านอิสลามและสาขาวิชาอื่นๆ ผลิตบัณฑิตในสาขาวิชาที่ตรงกับความต้องการของสังคม โดยมุ่งเน้นบัณฑิตที่จบจากวิทยาลัยจะต้องมีคุณธรรมและจริยธรรมที่เป็นแบบอย่างที่ดีต่อสังคม สร้างความเข้าใจอันดี ความกลมเกลียว ความร่วมมือระหว่างคนในชาติ และแก้ปัญหาต่างๆโดยสันติวิธี
ความคิดที่จะดำเนินการจัดตั้งสถาบันการศึกษาระดับอุดมศึกษามีขึ้นโดยกลุ่มนักศึกษาที่กำลังศึกษาระดับปริญญาโท และปริญญาเอกในประเทศ ซาอุดิอาราเบีย นำโดย นายอิสมาอีลลุตฟี จะปะกียา นาย อิสมาแอ อาลี นายอับดุลฮาลิม ไซซิง นาย ญิฮาด บูงอตาหยง นาย มูฮำหมัด หะยีสาอิ นายอาหมัดอุมาร์ จะปะเกีย โดยเห็นว่าสังคมมุสลิมในประเทศไทยมีความจำเป็นที่จะต้องมีสถาบันอุดมศึกษาอิสลามเพื่อทำหน้าที่ผลิตบัณฑิตให้มีความรู้คู่คุณธรรม อันเป็นรากฐานสำคัญสู่ความก้าวหน้าและมีความสงบสันติดังเจตนารมณ์ของอิสลามสืบต่อไป
ด้วยแนวคิดของกลุ่มนักศึกษาเหล่านี้ ได้รับการสนับสนุนจากบุคคลบางคนในประเทศซาอุดิอาระเบีย เช่น นาย อับดุลลอฮฺ อัลบูซีย์ ช่างแกะสลักแหวนตามบาทวิถีในนครริยาด และได้บริจาคเงินรายได้จากการทำงานผ่าน นายอิสมาอีลลุตฟี จะปะกียา จำนวน 30,000 เรียล (ประมาณ 210,000 บาท) และเงินจำนวนนี้ได้ดำเนินการจัดซื้อที่ดินโดยคณะกรรมการก่อตั้งโครงการวิทยาลัยอิสลามเอกชนภาคใต้ จำนวน 70 ไร่ 32 ตารางวา ณ บ้านโสร่ง ตำบลเขาตูม อำเภอยะรัง จังหวัดปัตตานี เพื่อเป็นสถานที่ก่อตั้งวิทยาลัย