तपस्वी मार्कंडेय की आयु पूर्ण होने पर प्राण हरण के लिए जब यमराज पहुंचे उस समय वे आराधना में लीन थे। भगवान शंकर भक्त की रक्षा के लिए पहुंचे। भगवान शिव के कारण यमराज को बैरंग लौटना पड़ा और मारकंडेय ऋ षि अमर हो गए।
तभी से ही यहां मंदिर में शिव जी व दाहिने दीवाल में मार्कंडेय महादेव की स्थापना कर लोग पूजन अर्चन करने लगे। यहां पूर्वांचल के वाराणसी, गाजीपुर, चंदौली, मऊ, बलिया, गोरखपुर, कुशीनगर, आजमगढ़, जौनपुर समेत कई प्रमुख शहरों से लोग आकर संगम में डुबकी लगाकर बाबा को जलाभिषेक करते हैं।
गंगा-गोमती के तट पर बसा कैथी गांव मारकंडेय जी के नाम से विख्यात है। यह गर्ग, पराशर, शृंगी, उद्याल आदि ऋ षियों की तपोस्थली है। इसी स्थान पर राजा दशरथ को पुत्र प्राप्ति के लिए शृंगी ऋ षि ने पुत्रेष्टि यज्ञ कराया था। इसके परिणाम स्वरूप राजा दशरथ को चार पुत्र राम, लक्ष्मण, भरत और शत्रुघभन प्राप्त हुए थे। यही वह तपोस्थली है, जहां राजा रघु द्वारा ग्यारह बार हरिवंशपुराण का परायण करने पर उन्हें उत्तराधिकारी प्राप्त हुआ था। पुत्र कामना के लिए यह स्थल काफी दुर्लभ है।