महर्षि भृगु मुनि की तपोस्थली पर हर वर्ष कार्तिक मास में संतों का समागम होता है। यहां कार्तिक पूर्णिमा पर वृहद स्तर पर स्नान और ददरी मेले का आयोजन सैकड़ों साल से चला आ रहा है। कार्तिक मास में गंगा-सरयू के संगम पर कल्पवास की परंपरा भी काफी पुरानी है।
शास्त्रों के अनुसार दानवीर राजा बलि ने इंद्र पद की प्राप्ति के लिए अपने कुलगुरु महर्षि भृगु के पुत्र शुक्राचार्य से इसी भू-भाग पर यज्ञ कराया था। संस्कृत भाषा में यज्ञ को याग कहा जाता है। इस कारण जहां बलि ने याग किया उस भू-भाग को बलियाग के नाम से जाने जाना लगा। कालांतर में बलियाग शब्द में से ग अक्षर का लोप हो गया और यह स्थान बलिया के नाम से जाने जाना लगा।
इस मान्यता को इस बात से भी बल मिलता है कि दैत्यगुरु शुक्राचार्य के पिता महर्षि भृगु को त्रिदेवों की परीक्षा में लगा पाप इसी पवित्र भूमि पर धुला था। इस वनाच्छादित क्षेत्र को महर्षि भृगु ने ही आबाद किया था। यहां उस कालखंड में रहने वाली असभ्य, अशिक्षित जातियों को महर्षि भृगु ने ही शिक्षित किया।