ब्रह्माजी के कहने पर शिवजी काशी छोड़कर मंदराचल पर्वत चले गए, लेकिन काशी नगरी के प्रति उनका मोह समाप्त नहीं हुआ। गणेशजी को यह बात अच्छी नहीं लगी और वे क्रोधित हो गए। उन्होंने प्रतिज्ञा की और पंचमुखी रूप में प्रकट होकर काशी की भूमि से अपना पैर हटा लिया तथा आकाश में विराजमान हो गए।
यह देखकर भगवान विष्णु और राजा दिवोदास ब्राह्मण रूप धारण कर गणेशजी को मनाने पहुंचे। तब भगवान विष्णु ने राजा को तपोवन जाने का आदेश दिया। उसके बाद शिवजी ने पुनः काशी में स्थायी निवास किया और विश्वेश्वर ज्योतिर्लिंग के रूप में स्थापित हो गए। तभी से यह मान्यता है कि काशी विश्वनाथ के दर्शन से पहले पंचमुखी यक्ष विनायक का दर्शन करना आवश्यक है, तभी काशी यात्रा पूर्ण मानी जाती है।
मंदिर के महंत रवि शास्त्री ने बताया कि उनकी पांचवीं पीढ़ी इस चमत्कारी गणपति की सेवा कर रही है। काशी खंड और गणेश पुराण में इस मंदिर का उल्लेख मिलता है। 56 विनायकों में यह 44वां विनायक है। महंत के अनुसार, पंचमुखी यक्ष विनायक के दर्शन मात्र से सभी 56 विनायकों के दर्शन का फल प्राप्त होता है। भक्त यदि गणेशजी को 108 दूब चढ़ाते हैं, तो उन्हें जीवन के हर क्षेत्र में सफलता प्राप्त होती है।