जिला मुख्यालय से करीब 40 किमी. की दूर बक्सर और गाजीपुर की सीमा पर गंगा नदी के उत्तरी तट पर स्थित मां मंगला भवानी का प्राचीन मंदिर सदियाें से श्रद्धालुओं के लिए श्रद्धा का केंद्र है। नवरात्र में मां दर्शन-पूजन के लिए श्रद्धालुओं की भीड़ उमड़ती है।
सोहांव विकास खंड के नसीरपुर मठ ग्रामसभा के अंतर्गत गंगा किनारे मां मंगला भवानी का सदियों पुराना मंदिर है। जिले के जिलाधिकारी रहे हरिसेवक राम द्वारा लिखित पुस्तक बलिया एक दृष्टि में पर विश्वास करें तो इस मंदिर का उल्लेख छठी शताब्दी ईसा पूर्व में भारत आए चीनी यात्री ह्नेनसांग ने पटना जाते समय अपनी यात्रा डायरी में किया था।
1876 में बलिया की जगह गाजीपुर जिला था। उस समय यह स्थान कोरंटाडीह तहसील में निर्माण कार्य के दौरान एक अंग्रेज अधिकारी ने मां मंगला भवानी के रूप में पूजे जा रहे देवी प्रतिमा को उखड़वाकर गंगा नदी में फेंकवा दिया।
कहते हैं उसके बाद उसके बड़े बेटे का निधन हो गया और उसके अस्तबल के घोड़े मरने लगे। एक रात उसे सपना दिखा कि देवी प्रतिमा को तत्काल निकलवाकर नियत स्थान पर स्थापित करवाएं नहीं तो उसका सर्वनाश हो जाएगा। इसपर अधिकारी ने तत्काल उजियार गांव के दरागाही यादव से प्रतिमा को निकलवा कर उसके स्थान पर स्थापित करवाया। इसके बाद से अंग्रेज अधिकारी इस हालात से उबर पाया।
मन्नत पूरी होने पर कारोबारी ने बनवाया भव्य मंदिर
बलिया। मां मंगल भवानी का पूजन-अर्चन पहले एक छोटे से बने कमरे में होती आ रही थी। करीब दो दशक पूर्व बक्सर का संतोष नामक एक कारोबारी मां का दर्शन करने आया और संतान प्राप्ति की मन्नत मानी। उसकी मन्नत पूरी होने पर कारोबारी ने मां के छोटे से कमरे को तोड़वाया और वहां मंदिर बनवाया जो आज मंदिर भव्य रूप ले चुका है।