日本的学校教育制度在第二次世界大战后，制定了6/3/3/4基本制度。也就是6年的小学初等教育，3年中学的前期中等教育，接着3年高等学校的后期中等教育，共计12年。修完初、中等教育后，才可以往高等教育机关升学。
留学生可以入学的高等教育机构有(1)研究生部(2)大学(3)短期大学(4)专修学校(5)高等专门学校5种。这些高等教育机构依运营母体又可分为国立、公立、私立。
大学里设有一般学部，有的甚至还有研究生部。学部的修业年限通常为4年(医学、齿学、药学、兽医学部为6年)，毕业后可取得“学士学位。研究生部一般可分为硕士课程(修业年限2年)和博士课程(修业年限5年)，博士课程又可分为前期课程(一般2年，相当于硕士课程)和后期课程(一般3年)。修完硕士课程者可取得硕士学位，修完博士课程者则可取得“博士”学位。
短期大学一般修业年限为2年，修毕后可取得“准学士”学位。
专门学校分后期中等教育机关的高等课程(高等专修学校)、高等教育机关的专门课程(专门学校)，以及实施一般课程教育(专修学校)，但是留学生能入学的只有专门课程(专门学校)。修业年限为2年到4年，修业2年以上且修完1700小时以上课程的话，可取得“专门士”称号。专门学校不是大学那样的研究机构，提供对社会有用的务实型教育是它的特色。
在设计、摄影、漫画及动画等领域，专门学校甚至比大学设置更多样丰富。
然而，日语教育机构(语言学校)，并不归属于高等教育机构，而是类属于各种学校，或以各种学校为基准的教育机构。
日本的高等教育机构中，有大学、短期大学、高等专门学校、专门学校。大约70%的高中应届毕业生，继续上大学、短期大学或专门学校，日本在全球范围内也被认为是数一数二的高学历社会。
教育是影响个人发展的重要因素之一，也是决定一个现代国家和民族发展水平的最根本原因之一。不同国家对国民教育的理解和实践各不相同，因此所呈现的结果也有分别。同为东亚国家，中国和日本的教育政策以及教育理念有很大的不同。当今，中国教育被套上了应试教育的头衔，形象地表现了中国教育的功利性，而相比之下，日本教育更偏西化，注重对国民人文素质的提高。
日本自明治维新以后，为赶超列强，日本借鉴西方诸国以法治国的经验，先后学习法国、美国、普鲁士的教育制度，步步西洋化的结果就是最终寻找到适合日本国情的教育制度。日本面向21世纪教育改革的基本目标是，使之具有丰富的人性，充满生机的健康体魄，具有自己发现问题、自己学习、独立思考、自主判断与行动、妥善处理问题、克己自律、善于与他人协调以及迅速准确地适应社会变化的能力。 从其教育这目标中可以看出日本非常注重人的全面发展，注重国民独立意识的养成和集体主义的培养。
而中国的教育也是从几千年开始，源远流长。对中国影响最深远的就是儒家思想，儒家思想植根于中国人，影响着中国人的教育发展。儒家思想重视教育，并且创造"因材施教"等教学方法，注重道德，礼教，仁义，要求自觉遵从真和善，这对塑造国民素质有着积极的影响。同时儒家思想提倡以"礼"治国，"伦理政治"思想。如果说西方文化是"智"型文化，那么我们中国文化就是"德"型文化，中国一向被视为礼仪之邦与儒学有着不可分割的关系。但是儒家思想也给中国教育带来了消极影响。它使笔试考试成为制度，并逐步发展畸形，造成选取人才时只注重理论，不考虑实际能力，这在当今的教育制度中深有体现。同时，儒学中“学而优则仕”的理念被逐步歪曲，导致读书严重功利化，这在当今的教育现象中达到了极致。
中日两国的教育都提倡新意识，都十分重视教育。日本每年的科研经费占GDP的3。1%，位居发达国家榜首，中国经济的蒸蒸日上也同时提高了中国对教育事业的投入。然而，两国间教育的差异性也比较明显：相比中国教育，日本教育更加注重培养学生的独立性。日本的孩子在上幼儿园时要带几个大大小小的包去学校，所有的包都要小孩子自己提。他们让孩子从小就形成“自己的事情自己做”的观念，引导孩子渐渐养成独立意识。更有趣的是日本小孩每天上学都要带几套衣服，在教室里穿的休闲服、去操场穿的运动服等，去不同的场所就要换装，日本幼儿园就是通过这个每天的穿衣换衣，让孩子练习独立生活的能力的。正如前面提到，日本孩子上幼儿园时要准备若干个大大小小的包——学校统一的书包、装毛毯的包、装餐具的包、餐具盒、装衣服的包、装备换衣服的包、装换下来衣服的包、装鞋子的包等，通过对自己的东西进行有条理的分门别类，使孩子孩子形成有条不紊的做事习惯，京都人可以对垃圾精细分类处理而不觉其烦，这跟他们从小受到的教育有很大的关系。另外，日本相比中国也更重视身体素质的培养，比如一年四季都穿短裤短裙，0岁开始参加运动会，女孩子踢足球等。
比较中日教育，中国教育受儒家思想教育目标——“成仁”的影响，从幼儿园开始就带有全面发展孩子德智体美劳的目标，虽然平时也教授生活中基本礼仪，但是更加注重书本知识的习得，“早起的鸟儿有虫吃”“笨鸟先飞”仍然存在于很多中国家长的理念中。而在日本，让孩子学会生活是教育的核心，学校更致力教育孩子基本礼仪与人际关系。比如，有很多幼儿园就要求孩子带到学校的包必须由妈妈一针一线亲手缝制，孩子中午吃的便当由妈妈准备，从而加强父母对孩子的关心与重视。甚至有些幼儿园似乎完全不重视孩子们的知识教育，孩子们没有课本，学校的教学计划中，完全没有数学、假名、绘画、音乐这些项目，他们的教育内容就是让孩子们学会“笑”，学会说“谢谢”等基本礼仪。在日本小学教育中笔头作业很少，课后作业有时候仅仅是帮父母做一件家务，对父母说一句“我爱你”等，这跟当前中国小学生每天扛着厚重的作业回家形成了鲜明的对比，日本的这种做法很值得中国借鉴。
日本比中国更重视培养学生的实践能力。在日本小学教育中特别设置家庭课和很多实践课，教学生做便当、种花草、甚至让孩子自己安装笔记本电脑，让孩子们在实践中学习、感悟。同时日本注重的是课下的教育，而不只是在课堂，比如说学生一起参加野餐，合宿，值得一提的是日本学生在毕业时都会举行毕业旅行，与同学们共度美好时光同时培养集体主义意识。而中国秉承着“学而优则仕”的理念，从小学开始就进行压迫式学习——老师将书本知识灌输到学生的脑中，学生靠死记硬背以及题海战术求得高分。在当前的中国教育中，学校和家长都过分重视考试，教育充满了功利性。孩子很小的时候就要经受非常功利的考试，而每一次考试都会被劝戒分数与你的前途与你的命运紧密相联，尤其是中考和高考。讽刺的是，中国教育就像“赌博”，每次考试来临，教师与学生就开始猜题估题了，如此教育教学的直接后果是扼杀了学生的天性，远离善良的本性，走向教条，封闭，走向厌烦，消极，虚浮，不重实际，有的走向反人性的死胡同。日本教育注重培养学生对学习的兴趣，激发他们的钻研以及创新精神，而中国似乎正在不断扼杀学生的创造力。
另外，日本也很重视防灾抗险教育，这与日本多地震火山有着直接关系。日本是个非常善于向别人学习的民族，在学习模仿的过程中，他们既不是全盘拒绝也不是全盘接受，而是巧取精华。日本今日的教育既保留了东方国家重基础、重训练的教育传统，又吸收了西方国家重个性、重自主性的教育传统。这种集东西方教育传统为一体的教育新体制，其优势和能量是不可低估的。相比较，我国在学习他国的经验时，常常是只学其表，外在的包装尽管不断地翻新，传统的弊端却始终难以摒弃。日本的教育启示我们，东西方两种教育传统的互补性融合是教育改革的良好出路。