रास्ते में इसी स्थान पर माता उमा के आग्रह पर भगवान शिव ने बउरहवा रूप धारण किया था। तभी से इस स्थान का नाम बउरहवा बाबा पड़ गया। यह आज भी सिद्ध स्थान के रूप में जाना जाता है। ऐसी मान्यता है कि जो भक्त सच्चे मन से बउरहवा बाबा को बेलपत्र चढ़ाकर 108 बार जलाभिषेक करता है, बउरहवा बाबा उसकी मनोकामना जरूर पूरी करते हैं।
मंदिर के पुजाारी लाल बहादुर ने बताया कि बउरहवा बाबा मंदिर से कई प्रसंग जुडे हैं। गुजरे जमाने में एक निषाद का पुत्र मंदिर के पास सर्प के बिल में लकड़ी कुरेदने लगा। तभी उस बिल से निकले सर्प ने उसे डंस लिया। उसके बाद मृत बालक का पिता बउरहवा बाबा के शिवलिंग पर अपना माथा पटक कर विलाप करने लगा।
कुछ देर बाद एक साधू वेष धारी महात्मा प्रकट हुए। उन्होंने उसके पुत्र को जीवित करते हुए उपदेश दिया कि किसी को अकारण नहीं छेड़ना चाहिए। महात्मा ने कहा कि यहां किसी को आज के बाद सांप नहीं काटेंगे। तब से आज तक यहां किसी व्यक्ति को सर्पों ने नहीं डंसा।