भारतीय कम्युनिस्ट पार्टी से सरजू पांडेय सरीखे नेता के मार्गदर्शन में राजनीतिक करियर शुरू करने वाले अफजाल अंसारी पांच बार विधायक और दो बार सांसद चुने गए। वह 1985 में मुहम्मदाबाद से पहली बार भारतीय कम्युनिष्ट पार्टी से विधायक बने। उसके बाद वर्ष 1996 तक लगातार पांच बार विधानसभा में पहुंचते रहे। हालांकि वर्ष 2002 के विधानसभा चुनाव में अफजाल अंसारी हार गए। लेकिन, 2004 के लोकसभा चुनाव में उन्हें गाजीपुर संसदीय सीट से समाजवादी पार्टी ने टिकट दे दिया। इस चुनाव में अफजाल अंसारी ने भाजपा के खिलाफ जीत दर्ज की।
इसके बाद अफजाल 2009 और 2014 में चुनाव लड़े, लेकिन हार गए। 2019 में भाजपा के सांसद मनोज सिन्हा को हराकर लोकसभा में पहुंचे। 29 नवंबर 2005 को भाजपा विधायक कृष्णानंद राय की हत्या मामले में मुख्तार अंसारी के साथ अफजाल अंसारी को आरोपी बनाया गया। अफजाल अंसारी ने इस मामले में कोर्ट में समर्पण कर दिया। लगभग दो वर्ष जेल में रहने के बाद जमानत पर बाहर आए। दूसरी बार 2019 के लोकसभा चुनाव में सपा-बसपा गठबंधन के टिकट पर अफजाल अंसारी चुनाव लड़े। उन्होंने मनोज सिन्हा को 1,19,392 मतों से पराजित किया।
बसपा सांसद के रूप में वह लोकसभा पहुंचे, लेकिन दुर्भाग्य ने उनका पीछा नहीं छोड़ा। संसदीय कार्यकाल के अंतिम वर्ष में उन्हें गैंगस्टर के मुकदमे में 29 अप्रैल को एमपी-एमएलए कोर्ट ने गैंगस्टर एक्ट के तहत मुख्तार अंसारी और अफजाल अंसारी को सजा सुनाई गई थी, जिसके बाद अफजाल अंसारी जिला कारागार में भेज दिए गए। हाईकोर्ट से जमानत मंजूर हो गई थी। इसके बाद वह 27 जून को बाहर आए और फिर सुप्रीम कोर्ट की शरण में चले गए। जहां से उनकी लोकसभा की सदस्यता बहाल कर दी गई।