Михаил Яншин родился 2 ноября 1902 г. в городе Юхнов Юхновского уезда (ныне Калужская область). После окончания Ольховского городского реального училища (1909-1916) три года учился в московском среднем Комиссаровском техническом училище, а в 1919 году стал студентом Высшего технического училища (ныне МВТУ имени Н. Э. Баумана). В 1919 году пошёл добровольцем в РККА.
В 1922 году поступил в школу Второй Студии МХАТ; в 1924 году вместе с другими молодыми студийцами (в частности, с Н. П. Хмелёвым, М. Н. Кедровым и Б. Н. Ливановым) был принят в труппу МХАТа, актёром которой он оставался до конца жизни.
Первыми заметными ролями Яншина в Художественном театре стали Добчинский в «Ревизоре» Н. В. Гоголя и лакей Петрушка в «Горе от ума» А. С. Грибоедова. Но знаменитой (а не «звёздной») для него оказалась роль Лариосика в пьесе «Дни Турбиных» М. А. Булгакова.
Впоследствии М. Яншин, оставаясь актёром МХАТа, работал в других театрах - с 1934 по 1939 год был художественным руководителем Московского театра Центрального Комитета Профсоюза рабочих Мебельной и Музыкальной промышленности СССР, с 1937 по 1941 год руководил театром «Ромэн», с 1950 по 1963 год был главным режиссёром Московского драматического театра имени К. С. Станиславского.
Наряду с работой в театре М. Яншин, начиная с 1920-х годов, много снимался в кино.
Один из любимейших артистов «Союзмультфильма», озвучивший героев многих мультфильмов.
М. М. Яншин скончался 17 июля 1976 года в Москве.