सरजू पांडेय जेल में वामपंथी साहित्य का अध्ययन किए। उसका प्रभाव उनके जीवन पर हमेशा रहा। करीब पांच साल जेल में रहने के बाद 1947 में देश के आजाद होने के बाद वह रिहा हुए।
उन्होंने कम्युनिस्ट पार्टी की गाजीपुर शाखा का गठन किया, हारी बेगारी नजराना और बंधुआ मजदूरी के खिलाफ सघन आंदोलन छेड़ दिए। उनकी लोकप्रियता बढ़ती गई।
1957 में दूसरी लोकसभा चुनाव में कांग्रेस के शौकत उल्लाह अंसारी और मोहम्मदाबाद से विधानसभा का चुनाव एक साथ जीत कर सबको चकित कर दिए। कांग्रेस की प्रचंड लहर में भी चुनाव जीतने पर नेहरू ने संसद में पूछा था कौन है सरजू पाण्डेय। तब वह पीछे से हाथ उठाकर बोले मैं हूं।
नेहरू ने उन्हें अपने कोट का गुलाब निकाल कर दिया। नेहरू और उनके बाद इंदिरा ने उन्हें कांग्रेस में आने मंत्री पद संभालने का ऑफर दिया। लेकिन उन्होंने यह प्रस्ताव ठुकरा दिया।