SAF blev genom sitt bildade 1880 den första nationella sammanslutningen av folkskollärare i Sverige. Redan i slutet av 1830-talet hade dock lokala lärarföreningar bildats men dessa tidiga sammanslutningar upplöstes snart. På 1870-talets inleddes en våg av sammanslutningar inom lärarkåren i den expanderande folkskolan. Runt 1880 fanns det över 100 lokala folkskollärarföreningar med härad, stift eller städer som sina verksamhetsområden. Stockholm stads lärarförening tog 1879 ett initiativ till att starta en rikstäckande organisation. Ledamöter i stockholmskretsens styrelse, sände 1880 ut ett cirkulär med förslag till bildande av en riksförening. Cirkuläret adresserades till de 91 då verksamma föreningar och ett 60-tal enskilda personer. Förslaget motiverades med att lärarkåren hittills, på grund av att lokalföreningarnas inflytande var ringa, stått utanför diskussionen om skolan arbete och lärarnas ställning. Under det konstituerande mötet beslöts att SAF:s målsättning skulle bli att ”arbeta för den svenska folkskolans och folkbildningens höjande, för enhet och god anda inom lärarkåren och för förbättring av lärarnas ställning i allmänhet”.
Föreningen organiserades i lokala kretsföreningar som hade fullständigt självstyre; de lokala stadgorna fick dock inte strida mot föreningens. Högsta beslutande och förvaltande organ i föreningen var centralstyrelsen, som utsågs av kretsarna (efter 1942 valdes styrelsen av ombud från kretsarna) genom sluten omröstning. Varje medlem hade en röst. Innan SAF tog ställning i olika slags pedagogiska, skolpolitiska, fackliga eller interna frågor förankrades ställningstagandet i de lokala kretsföreningarna enligt en grundlig procedur.
SAF:s medlemstal ökade snabbt från ca: 1 500 vid bildandet till drygt 5 000 1895. Antalet sammanslutna kretsar var 1895 ca: 150 stycken. De manliga folkskollärarna var den numerärt dominerande gruppen inom föreningen.
SAF blev tämligen omgående en viktig aktör i den svenska pedagogiska och skolpolitiska debatten. Under verksamhetens första decennier var lärarlöner, pensioner, läromedelsframställning, enskilda skolämnes utveckling, rättstavningsreform, fortbildning för lärare och lärarnas sociala och rättsliga ställning angelägna frågor för de organiserade lärarna. Genom att föreningen knöt inflytelserika medlemmar till sig (såsom ecklesiastikministrarna Fridtjuv Berg och Värner Rydén) åstadkom man också avsevärda framgångar i att förverkliga sitt program. 1906 års rättstavningsreform och Skolöverstyrelsens inrättande 1919 är två exempel på hjärtefrågor ur programmet som kunde förverkligas.
I början av 1900-talet uppstod en schism inom förbundet mellan manliga och kvinnliga folkskollärare. Schismen föranleddes av de kvinnliga lärarinnornas krav på en könsneutral lönesättning. Deras manliga kollegor var dock inte benägna att driva förbättrade lönevillkor lika hårt. Av detta skäl bildades Sveriges folkskollärarinneförbund (SF) 1906 och år 1920 bildades Sveriges folkskollärarförbund (SFF). Genom bildadet av dessa förbund, som drev mer entydigt fackliga frågor, blev SAF:s roll mer oklar. Den förblev en organisation som samlade folkskolans fackorganisationer under ett paraply och sökte få till stånd gemensamma ståndpunkter under förhandlingar och skolpolitiska reformförslag. År 1966 gick samtliga folkskolans lärarorganisationer upp i det nybildade Sveriges lärarförbund (SL) och SAF ombildades till stiftelse.
Bland SAF:s mer påtagliga insatser inom svensk skolhistoria bör utgivandet av Svensk läraretidning (under olika namn utgiven från 1881 till 1966) nämnas. Tidningen utkom med ett nummer i veckan. Man gav också ut Läsebok för folkskolan, med litterära bidrag av Selma Lagerlöv, Verner von Heidenstam och Anna Maria Roos. Den kom småningom helt ersätta den äldre, omstridda läseboken i folkskolan. SAF verkade också på andra sätt för att förbättra svensk läskultur: man upprättade skolbibliotek och gav också ut en serie barnböcker (SAGA-serien) med kvalificerade författare och illustratörer. Även på det skolhistoriska och det skolantikvariska området gjordes betydande insatser. SAF samlade in skolhistoriska berättelser och avskrifter från urkunder som sammantaget kompletterade bilden av den svenska folkundervisningens historia. Man initierade också ett skolmuseum som förevisade folkskolans inre verksamhet i ett samtida och historiskt perspektiv.
