在殖民时期，人们不知道何谓公立学校，尽管当时新英格兰(New England) 有几个殖民地为那些付得起学费的人建立了“认捐学校”(subscription school)。北美(North America) 第一所高等学府哈佛大学(Harvard University) 于1636年在马萨诸塞州(Massachusetts)创办。与早期所有大学一样，哈佛大学几乎完全侧重于宗教研究以及拉丁语和希腊语等古典语言。
“公共”学校
1787年颁布的《西北法令》(Northwest Ordinance)涉及今天的俄亥俄州(Ohio)、伊利诺伊州(Illinois)、印第安纳州(Indiana)、威斯康星州(Wisconsin)以及密歇根州，该法令规定每个新建城镇必须在每36块地段中留出一块用于创办公立学校——当时称为“公共”学校。这些学校通常是简单的、上有尖顶的单间教室建筑，在美国历史上被誉为具有代表性的“小红学舍”(little red schoolhouse)。1820年，国会授权各州可以通过出售公共土地筹集教育资金。
19世纪上半叶，马萨诸塞州的改革家贺瑞斯·曼恩(Horace Mann)发起了一场有重要影响的运动，要求用州政府的税收改善并支持为所有儿童设立的免费公共学校。作家劳伦斯·克雷明(Lawrence Cremin)写道：“争取免费学校的斗争是艰苦的，其结果长达25年都难以确定。”
然而，到1860年，大部分州都采纳了这种想法，让地方社区管控它们的学校，以平息反对提高税收的抗议。将公共资助的免费教育置于地方管控之下的原则从此在美国社会落地生根。
拨地建校
1862年，在美国南北战争期间(U.S. Civil War)制定的《莫里尔土地拨赠法》(Morrill Land Grant Act)使用相同的机制，即出售公共土地来设立农业和工业学院。如今，这些由政府拨地兴建的学校构成了美国最大的、最有影响力的一些州立大学，在本科和研究生阶段提供各类文理和专业课程。
目前，美国拥有106所由政府拨地兴建的学院。
边疆学校
在西部边疆，拓荒者们几乎一建立起新城镇，就想办法盖学校。事实上，国会要求西部领地只有先为所有人提供免费的公共教育，才可能被考虑接纳为州。史学家凯瑟琳·斯克拉(Kathryn Sklar)在《学校》(School)一书中说：“学校成为能够吸引定居者的重要的公民生活设施。”。
但边疆学校面临的挑战非常不同于都市学校，主要是师资力量极为缺乏。《汤姆叔叔的小屋》(UncleTom’s Cabin) 一书的作者哈丽雅特·比彻·斯托(HarrietBeecher Stowe) 的姐姐凯瑟琳·比彻(Catherine Beecher)成功地领导了一场推动女教师成为西部的一支“文明化力量”的运动。这些妇女面对边疆的艰苦环境，所拥有的只是对教育使命的信念以及一系列专为西部学校编写、名为《麦加菲读本》(McGuffeyReaders)的教科书。这些教科书在阅读和算术课程中穿插为培养品格而编写的“有道德寓意的故事”。
城市移民
移民学生持续不断地涌入推动了公立学校的发展。这些移民学生大部分来自欧洲，但在西海岸地区有大量华裔和日裔学生，在西南部地区则主要是墨西哥和拉丁美洲移民。这一波又一波移民潮使美国教育体系忙于应对人数空前的新生，美国教育体系的接纳能力及其目标和结构都面临挑战。
同化并教育来自极为不同的背景、说不同语言的儿童是一项挑战，这在作为主要的移民目的地的城市尤为突出——无论是19世纪中期的爱尔兰人、德国人和斯堪的纳维亚人，还是19世纪90年代到20世纪20年代移民巅峰时期的东欧和南欧人。
城市学校虽然可能是一个严苛的、挤满了学生的地方，但据美国公共广播公司（Public Broadcasting Service，PBS）出版的《学校》一书记载：“教育的魅力实在太大了，在乘轮船到达美国的当天竟有多达125个孩子到纽约的同一所学校申请入学。”
尽管如此，由于不限制童工，据估计只有大约50%的孩子上学读书，平均入学时间为5年。
在这段时间内，公立学校发展极为迅速，从1870年的760万学生增加到19世纪末的1270万。《学校》一书写道，美国“为儿童提供的教育比全世界其他任何国家都多”。
学者及教育历史学家黛安·拉维奇(Diane Ravitch)在《学校》中写道：“美国教育体系随时能为低收入学生提供社会升迁的机会，这一点确实非凡卓著；它帮助初来乍到者融入美国社会的努力相当成功。……这些都是美国公立学校取得的经久不衰的成就。”
（根据美国国务院国际信息局《美国教育简述》（USA Education In Brief）编辑整理）