राजनीति में स्वर्गीय बाबू जगजीवन राम को अपना आदर्श मानने वाले माता प्रसाद जिले के शाहगंज (सुरक्षित) विधानसभा क्षेत्र से कांग्रेस के टिकट पर 1957 से 1974 तक लगातार पांच बार विधायक रहे। 1980 से 1992 तक 12 वर्ष तक उत्तर प्रदेश विधान परिषद के सदस्य रहे। प्रदेश के तत्कालीन मुख्यमंत्री नारायण दत्त तिवारी ने इन्हें अपने मंत्रिमंडल में 1988 से 89 तक राजस्व मंत्री बनाया था।
देश की नरसिंह राव सरकार ने 21 अक्तूबर 1993 को इन्हें अरुणाचल प्रदेश का राज्यपाल बनाया और 31 मई 1999 तक ये राज्यपाल रहे। राज्यपाल पद पर रहते हुए श्री प्रसाद को तत्कालीन गृह मंत्री लालकृष्ण आडवाणी ने पद छोड़ने को कहा तो उन्होंने दरकिनार कर दिया था।
सादगी की प्रतिमूर्ति रहे माता प्रसाद ने राजनेताओं को आईना दिखाया है आज के दौर में जहां एक बार विधायक या मंत्री बनते ही नेतागण गाड़ी बंगले के साथ लाखों-करोड़ों में खेलने लगते हैं। वही पांच बार विधायक, दो बार एमएलसी, नारायण दत्त तिवारी के मुख्यमंत्री काल में उत्तरप्रदेश के राजस्व मंत्री और राज्यपाल रहे माता प्रसाद पैदल या रिक्शे पर बैठे बाजार से सामान खरीदते देखे जाते थे। पैदल चलना उनको बहुत पसंद था।