महात्मा गांधी की पुण्यतिथि 30 जनवरी को है। ऐसे में जिले में उनकी स्मृतियां ताजा हो गई हैं। महात्मा गांधी अपने जन्मदिन पर दो अक्तूबर 1929 को विदेशी वस्तुओं की होली जलाने का आह्वान करने के लिए सैदपुर में आए थे। उनको देखने के लिए बूढ़े नाथ महादेव मंदिर परिसर में भीड़ जुटी थी।
महात्मा गांधी सैदपुर के महान स्वतंत्रता संग्राम सेनानी पं. आत्माराम पांडेय के आवास पर कुछ देर के लिए रुके थे। यहीं पर आत्माराम पांडे ने उनका कई लोगों से परिचय कराया था और यहीं पर चरखा संघ की स्थापना कर वे बूढ़े नाथ महादेव मंदिर तक अपने साथियों के साथ पैदल गए थे। गांधीजी की एक झलक पाने के लिए बूढ़े नाथ महादेव मंदिर परिसर में लोगों की भीड़ जुटी थी। यहीं पर उन्होंने भारत को आजाद कराने का संकल्प दोहराया। गांधी जी के साथ उनकी पत्नी कस्तूरबा, बहन मीरा, आचार्य कृपलानी, महादेव देसाई, देवदास गांधी एवं वाराणसी के शिवप्रसाद गुप्त एक नाव पर सवार होकर गंगा के किनारे ऊंचे टीलों पर बनी कुटिया, मठ मंदिरों का अवलोकन किया था।
सैदपुर से वाराणसी की ओर गंगा गोमती की संगम स्थली औड़िहार (पटना) और उसके आगे कैथी तक गए थे। गांधी जी ने अपनी डायरी में इस यात्रा के दौरान जो जिक्र किया है उसमें बूढ़े नाथ महादेव मंदिर से आगे पश्चिम में गंगा के किनारे उदासीन आश्रम संगत मठ की कुटिया को भी देखा था। उस समय के चश्मदीद बलदेव यादव (अब नहीं हैं) बताते थे कि गांधी जी ने शिवप्रसाद गुप्त से कहा कि कुटिया तो मैंने बहुत सी देखी लेकिन सैदपुर के संगत मठ की कुटिया निराली है। यहां की सफाई और यहां के संतों का वातावरण अत्यंत ही मनमोहक है। इस कथन का जिक्र भी उन्होंने अपनी डायरी में किया था। इससे आगे उन्होंने वाराह रूप घाट रामानंद मठिया को भी बड़े गौर से देखा था। गंगा-गोमती की संगम स्थली कैथी में रुक कर उन्होंने दोनों नदियों के डाब की अद्भुत छटा का अवलोकन किया था। वहां एकत्र लोगों से आजादी के लिए आगे आने की प्रेरणादायक बातें कहकर सबका उत्साह बढ़ाया था।