Från början av 1880-talet hade kvinnliga och manliga folkskollärare varit organiserade i Sveriges allmänna folkskollärarförening (SAF). Männen var den dominerande gruppen till numerär och inflytande. Manliga och kvinnliga folkskollärare hade formellt haft någorlunda lika villkor under 1800-talet, men 1906 godkände riksdagen ett förslag som innebar att lärarnas löneökning differentierades baserat på kön. Löneregleringen avsåg bland annat att öka yrkets attraktionskraft bland männen, eftersom man befarade att yrket höll på att feminiseras. Inom den dominerande lärarorganisationen, SAF, tog man ställning för folkskolans lärarinnor och krävde könsneutral lönesättning. Detta gav upphov till en växande opinionsrörelse bland manliga folkskollärare. SAF uppfattades som partiskt för kvinnointressen samt toppstyrt och diktatoriskt. Inom opinionen bland manliga folkskollärare betraktades likalönsprincipen som ett hot, vilket berodde på att lönekostnaderna antogs öka om kvinnorna fick samma lön som männen. Man befarade att samhället av besparingsskäl skulle vilja hålla lärarlönerna så låga som möjligt och att detta skulle drabba de manliga lärarna.
Det var för att tillvarata de manliga lärarnas intressen mot SAF och lärarinnorna som folkskollärarförbundet bildades i januari 1920. Den nya organisationen skulle arbeta för att försvara lönedifferentieringen samt verka för att folkskollärarkårens löner skulle motsvara löneläget bland vissa lägre statstjänstemannagrupper. Förbundet ville även neutralisera SAF genom att omvandla den till en pedagogisk förening utan fackliga funktioner.
Det högsta beslutande organet i Sveriges folkskollärarförbund var förbundskongressen, som sammanträdde årligen. Kongressen valde förbundets styrelse, med säte i Stockholm. Där fanns även förbundskansliet. Inom förbundsstyrelsen utsågs ett mindre arbetsutskott, vars medlemmar bodde i stockholmsområdet. Regionalt var folkskollärarförbundet indelat i förbundskretsar, var och en med sin egen kretsstyrelse. Kretsarnas geografiska gränser motsvarade landskap, län eller städer. Förbundskretsarna valde ombud till förbundskongressen. Under kretsarna, på lokalplanet, fanns ett stort antal spontant framvuxna, löst sammanhållna manliga lärarklubbar.
Andelen organiserade lärare i SFF var direkt efter bildandet tämligen högt. År 1925 bestod förbundet av drygt 3 200 medlemmar och vid mitten av 1950-talet hade antalet ökat till knappt 13 000. SFF utgav Folkskollärarnas tidning åren 1920–1956. Den utkom varje vecka och syftade till att föra ut förbundets program samt att väcka opinion för detta.
SFF framhärdade under 1920- och 1930-talen i argumentation för könsdifferentierad lönesättning. Man legitimerade ställningstagandet genom att hävda att de kvinnliga lärarinnorna saknade förmåga att hålla disciplinen och att de inte klarade av att fostra gossar till män. Generellt ansågs lärarinnorna representera en sämre sorts arbetskraft. Därför borde dessa tilldelas de enklare sysslorna inom folkskolan, det vill säga att undervisa yngre elever och flickor. De mera krävande sysslorna måste däremot skötas av manliga lärare, ansågs det. Under slutet av 1930-talet tonades nedsättande omdömen om de kvinnliga lärarinnorna arbetsförmåga ned. I stället framhölls att männen var familjeförsörjare och att dessa därför behövde högre löner än de kvinnliga kollegorna. Folkskollärarna drog också nytta av 1930-talets befolkningsdebatt och menade att om familjeförsörjarna fick högre löner skulle nativiteten öka och befolkningsunderlaget tryggas. Riksdagen beslutade dock 1937 att likalön skulle införas successivt under loppet av en femårsperiod.
Under efterkrigstiden framstod de gamla tvistefrågorna mellan folkskollärarnas båda förbund vara överspelade och det växte fram förenande angelägenheter i en rad frågor. Vidare fanns förhoppningar om att samverkan kunde effektivisera det fackliga arbetet samt medföra besparingar. Bland framför allt de yngre medlemmarna märktes även ett begynnande ogillande av den organisatoriska uppdelningen efter kön. Till enandet bidrog även den nya konfliktsituation som utvecklades parallellt med enhetsskolreformens planerande. Skolreformen innebar att folkskollärarna, som tidigare undervisat i klasserna 3–7 i folkskolan, såg ut att få sitt arbetsområde nedskuret till årskurserna 4–6 i grundskolan. Det vill säga till det nya mellanstadiet. Detta försökte folkskollärarförbunden kompensera genom att kräva fasta tjänster och behörighet för folkskollärare på det nya högstadiet.
År 1963 gick SFF samman med Sveriges folkskollärarinneförbund och bildade Sveriges Lärarförbund (SL).