成仿吾于1897年8月24日出生在湖南新化县。在祖父和父亲博览群书的好学家风影响下，他自小就养成了自觉学习的好习惯。他既聪明，又刻苦，学习成绩总是名列前茅。成仿吾13岁随大哥到日本读书。在同学们还在学日语时，他已完全掌握了日语，开始学习英语。在同学们学英语时，他又开始学德语了。经过一生艰苦努力，成仿吾精通了日、英、德、法、俄五种语言。
在日本，随着年龄增长，成仿吾的学习目的更加明确了。为富国强兵，成仿吾考进东京帝国大学造兵科，攻读枪炮专业。他不仅学语言很有天份，数理化也非常好，在当时的留学生中是有名的天才。但帝国主义侵略中国的暴行，北洋军阀屈膝投降的罪恶行径，使成仿吾认识到救国不能仅仅靠科学技术，更重要的是要提高群众的政治觉悟，依靠人民大众起来改造旧中国。于是，他和郭沫若、郁达夫等人创办了“创造社”，出版刊物，发表唤起群众的革命文学作品，介绍马克思主义文艺理论。创造社是中国现代文学史上一个重要的文学社团，成仿吾成为当时有影响的文学家之一。1928年，成仿吾在法国巴黎参加了中国共产党，从此开始为党工作。1935年10月，经历了二万五千里长征的成仿吾到达陕北，在中央党校担任高级班教员、教务主任。抗日战争爆发后，大批革命青年从全国各地奔赴延安。成仿吾遵照党中央指示，筹备创办了新型革命大学——陕北公学，成仿吾任校长。陕北公学没有辜负党中央、毛主席的殷切期望，在短短两年内为抗战培养了6000多名干部，造就出一大批革命人才。成仿吾是颇有名望的文学家和革命家，但他十分平易近人，对待学生如同自己的子女一样。一位女同学送给成仿吾一张纸条，上写道：“你是我们的妈妈！”于是，成仿吾得了个“妈妈校长”的称号。
陕北公学和鲁迅艺术学院等学校合并为华北联合大学后，成仿吾任华北联合大学校长。为迎接全国解放，华北联大与晋冀鲁豫的北方大学合并，组成华北大学，成仿吾任副校长。建国后，以华北大学、华北人民革命大学、政法干校为基础创建了中国人民大学，成仿吾先后任中国人民大学副校长、校长，他还曾担任东北师范大学、山东大学校长等职务。1984年5月17日在北京逝世。