महात्मा गांधी से प्रभावित होकर उन्होंने कांग्रेस की सदस्यता ग्रहण की थी। वह जामिया मिल्लिया इस्लामिया के संस्थापक सदस्य और कुलपति भी रहे। मऊ जिले के बीबीपुर गांव में जन्मे ब्रिगेडियर मोहम्मद उस्मान को मरणोपरांत महावीर चक्र से सम्मानित किया गया था। ब्रिगेडियर मोहम्मद उस्मान रिश्ते में मुख्तार अंसारी के नाना थे। मुख्तार अंसारी के पिता सुब्हानउल्लाह अंसारी गाजीपुर में स्थानीय स्तर की राजनीति में सक्रिय थे और वामपंथी विचारधारा से प्रभावित थे। देश में सबसे लंबे समय तक उप राष्ट्रपति रहे हामिद अंसारी रिश्ते में मुख्तार अंसारी के चाचा लगते हैं।
इतनी समृद्ध राजनीतिक विरासत से आने वाले मुख्तार पर मकोका (महाराष्ट्र कंट्रोल ऑफ ऑर्गनाइज्ड क्राइम एक्ट) और गैंगस्टर एक्ट के तहत भी मुकदमे कायम हुए। वर्ष 1996 में बहुजन समाज पार्टी (बसपा) के टिकट पर जीतकर पहली बार विधानसभा पहुंचने वाले मुख्तार ने 2002, 2007, 2012 और फिर 2017 में भी बसपा के टिकट पर मऊ से जीत हासिल की।
इनमें से 2007, 2012 और 2017 के चुनाव उसने जेल में रहते हुए लड़े। 2017 में मुख्तार अपने बेटे अब्बास को भी चुनाव लड़ाया, लेकिन वह जीत नहीं सका। हालांकि 2022 में वह मई सदर सीट से विधायक बना। बताते हैं कि 80 और 90 के दशक में अपने चरम पर रहे आपराधिक दुनिया के बड़े नाम बृजेश सिंह और मुख्तार का गैंगवार गाजीपुर से शुरू हुआ था ।
मुख्तार का अपराध की दुनिया में पहली बार 1988 में मंडी परिषद की ठेकेदारी को लेकर स्थानीय ठेकेदार सच्चिदानंद राय की हत्या के मामले में नाम आया। फिर त्रिभुवन सिंह के भाई कांस्टेबल राजेंद्र सिंह की हत्या का आरोप भी उस पर लगा। इसके बाद मुख्तार एक-एक कर अपराध की सीढ़ियां चढ़ता गया। गाजीपुर के साथ ही चंदौली, वाराणसी, मऊ में अपना प्रभाव बढ़ाना शुरू किया। पूर्वांचल में कभी जिस मुख्तार अंसारी के इशारे पर सरकारें अपना निर्णय बदल लेती थी, आज उसी मुख्तार का बना बनाया हुआ साम्राज्य ढह रहा है।