1897年4月8日，南洋公学师范院借上海徐家汇民房一所，正式开学上课，第一次录取师范生40名，都是20岁至35岁的青年，其中很多是举人、廪生和贡生，这是我国教育史上的第一所师范学校。它的建立，标志着我国师范教育的从无到有，其意义是非同寻常的。

按照盛宣怀的设想，南洋公学在开办师范院的同时，仿效日本师范学校有附属小学校的做法，开设了外院，挑选10岁至17、18岁学生120名，由师范生分班教之。希望一年后，师范生边学边教，学问和操行都有长进，而本来只读四书五经、不懂西学的外院生也打下了基础，继而再陆续开办中学（中学）、上院（大学）。从培养老师到教小学生，小学生再升入中学，中学生再升入大学。这样，就初步解决了高层次教育的先进性与低层次教育的落后性之间的矛盾，以达到培育出懂得西文西艺新型人才的最终目的。

鉴于当时入学的学生中文程度都比较高，因此师范院不开设国语课，任其选“经史子集”自行研究，由中文总教习负责指导。南洋公学师范院的课程分数学、格致二门，数学要学笔算数学、代数备旨、勾股六术等；格致以物理、化学为主，既要上理论课，又要做实验。此外还要学科学教育、动植物学、生理学、矿学、地理学以及外语（英文、日文，以后还有法文，由学生挑选一门，边学边作翻译）等。

师范院采取严格的考核制度。被录取入学者，均执白色木版印制的试业据，并规定师范生试业两月后，再经过严格的全面考核，根据成绩分成“五层格”培养。合第一层格者换成蓝据，第二层换绿据，第三层换黄据，第四层换紫据，第五层换红据。执红据者准予充当教习。每三月考试一次，递进递给，优秀者额外奖励，不合格者淘汰。

1903年师范院停办，前后总共7年，培养学生71人。其中包括吴稚晖、钮永建、白毓崐（雅雨）、章宗祥等。