Menurut cerita juru kunci, sebenarnya nama ini bukan disematkan karena gunungnya tuli. Tetapi nama gunung ini diambil dari peristiwa yang konon terjadi pada masa lalu, jaman masa pemerintahan kerajaan Majapahit. Legenda tentang gunung budeg menjadi salah satu bagian dari cerita babad Tulungagung.

Saat itu, ada gadis cantik yang bernama Roro Kembangsore. Ia gadis ningrat yang lari dari rumah. Lalu gadis cantik ini pergi ke arah selatan dan sampai pada satu desa bernama Dadapan (saat ini bernama Boyolangu).

Di desa itu ia bertemu dan diterima di rumah janda yang disebut Mbok Rondo Dadapan. Mbok Rondo Dadapan punya anak laki-laki, yang bisa dibilang kurang cerdas bernama Joko Bodo. Singkat cerita, setelah berinteraksi beberapa lama denga Roro Kembang Sore, Joko Bodo tertarik kepada gadis cantik tersebut.

Namun sayang, Roro Kembangsore tidak memiliki perasaan yang sama dengan Joko Bodo. Ketika Joko Bodo mengutarakan isi hatinya (istilah anak jaman sekarang: nembak), Roro Kembangsore tidak tega untuk menolak cinta Joko Bodo, tetapi ia juga tidak ingin menerimanya.

Roro Kembangsore mendapatkan ide untuk masalah yang dihadapinya. Roro Kembangsore mengatakan bahwa ia akan menerima perasaan Joko Bodo, tapi ada syarat yang harus dipenuhi, yaitu Joko Bodo harus bertapa di bukit arah tenggara dari rumah Joko Bodo dengan memakai topi cikrak (tempat membuang sampah yang terbuat dari bambu yang dianyam).

Selain itu, Joko Bodo juga tidak boleh berbicara kepada siapaun selama bertapa. Joko Bodo menerima syarat yang diminta oleh Roro Kembangsore dan mulailah Joko Bodo bertapa.

Beberapa hari Joko Bodo bertapa di bukit. Ternyata ia tidak minta ijin pada ibunya sehingga ibunya kebingungan mencari keberadaan Joko Bodo.

Mbok Rondo Dadapan kesana kemari mencari keberadaan anaknya, namun belum jua ketemu. Lalu ia mencoba mencarinya dengan naik bukit arah tenggara rumahnya. Setelah naik hingga sesetengah ketinggian bukit, ia menemukan Joko Bodo duduk di situ bertopi cikrak.

Dipanggillah Joko Bodo oleh ibunya. Namun Joko Bodo tidak menjawab. Mbok Rondo Dadapan berulang kali memanggil nama anaknya namun tak jua dijawab. Karena merasa kesal, mbok Rondo Dadapan berkata, “pancen budeg kowe yo!” (memang tuli kamu ya !)”.

Seketika badan Joko Bodo membatu dan tidak bisa digerakkan. Peristiwa itu selanjutnya dijadikan pengingat dan tempat di mana Joko Bodo bertapa diberi nama gunung budeg.

Makam di gunung Budheg ini ditemukan pda tanggal 28 Oktober 2018 bertepatan dengan acara pengembalian watu joll puncak gunung Budheg yang sempat hilang selama sepuluh tahun. Yang pertama kali ditemukan adalah struktur bata kuno kiri kanan ke arah Utara. Diantara tumpukan bata bata kuno tersebut ada pecahan gerabah dan tertimbun gundukan tanah. Penggalian dilakukan mengikuti arah struktur bata ke arah Utara, diujung bata yang panjangnya tujuh meter tersebut ditemukan batu adhesit halus (tanpa pahatan) diduga batu nisan.

Menurut KH. Ma’dhum Ali Badjuri PP Ma’dinul Ulum Kec. Campurdarat Kab. Tulungagung dan Gus Sumari dari Dsn. Tambak, Desa Pelem Kec. Campurdarat berdasarkan data tertulis dan cerita tutur dari Malaysia yang disampaikan yang disampaikan keluarga. Kerajaan Malaysia yang datang langsung ke Gunung Budheg bahwasannya yang dimakamkan di Gn. Budheg adalah Syech Alwi Quthbudin. Bellau adalah adik kandung Sych Jumadil Qubro yang dimakamkan
(tapa pahatan) diduga batu nisan.
di Troloyo Kab.Mojokertro. Pada abad ke XIII Syech Alwi Quthbudin dari India menuju malaka lalu ke Acch berianjut ke Majapahit dalam rangka syiar Islam, Bellau adalah galah satu wall yang menjadi penasehat Kerajaan Majapahit, Karena usia yang somakin tua dan melihat daerah selatan sungai Brantas ( Ngrowo ) adalah daerah yang sangat rawan atau menjadi basis pemberontak kerajaan Majapahit akhirnya beliau memilh tempat di Gunung Budheg sebagai tempat syiar Islam. Pemilihan tempat di Gunung Budheg pertimbangannya adalah daratan/bukit yang tidak terdampak banjir (rawa), bisa bercocok tanam dan sudah lama menjadi pusat spiritual para Reshi dan Raja semenjak era kerajaan Kediri abad X.

Makam Syech Alwi Quthbudin sepanjang tujuh meter adalah suatu bukti keluhuran, keluasan ilmu, besarnya jasa dan perilaku beliau. Panjangnya makam bukan berarti tingginya beliau tujuh meter, melainkan suatu bentuk penghormatan yang tinggi terhadap kewalian beliau sehingga oleh masyarakat/ kelompok masyarakat dibuatkan makam sepanjang tujuh meter (tujuh meter/ pitu/ pitungan wong agung)