平安时代　平安时代前期庭园要求表现自然，贵族别墅常采用以池岛为主题的“水石庭”国师。到平安时代后期，贵族邸宅已由过去具有中国唐朝风格的左右对称形式，发展成为符合日本习俗的“寝殿造”形式。这种住宅前面有水池，池中设岛，池周布置亭、阁和假山，是按中国蓬莱海岛（一池三山）的概念布置而成的。例如京都宫道氏旧园，在寝殿（现已不存）南面有水池，池中有三座小岛，池西设泷石组（即叠落式溪流，近似小瀑布）。这个时期的庭园用石渐多，有泷石组、遣水石组（在水流边的布石）、池中小岛式石组（所谓龟岛、鹤岛、蓬莱岛等）。一些佛寺也多在大殿前辟水池，池中设岛，或在岛上建塔。岩手县毛越寺和京都法胜寺即为遗例。记述平安时期造园经验的《作庭记》，是日本最早的造园著作。
镰仓时代　武士阶层掌握政权后，京都的贵族仍按传统建造蓬莱海岛式庭园，鹿苑寺庭园即为一例。另一方面，由中国传入的禅宗佛教兴盛起来，禅僧的生活态度以及携来的茶和水墨山水画等都对日本上层社会产生很大影响，从而也引起日本住宅和园林建筑的变化。禅、茶、画三者结合孕育而成的思想情趣，使日本庭园产生一种洗练、素雅、清幽的风格。当时最负盛名的造园家是镰仓末期的禅僧疏石（梦窗国师），他曾设计构筑京都西芳寺、天龙寺、镰仓端泉寺、甲州惠林寺等的庭园。他也是枯山水式庭园的先驱，对日本庭园的发展有很大影响。
室町时代　武士宅园仍以蓬莱海岛式庭园为主。由于禅宗仍很兴盛，在禅与画的进一步影响下，枯山水式庭园发展起来。这种庭园规模一般较小，园内以石组为主要观赏对象，而用白砂象征水面和水池，或者配以简素的树木。典型实例是京都大德寺大仙院和龙安寺庭院　（均为方丈庭园）。大仙院建于1513年，庭园位于方丈室前，宽仅5～6米,以一组有“瀑布”的石组为主体,象征峰峦起伏的山景，山下有“溪”，用白砂耙出波纹代替溪水。这种无水而似有水、有声寓于无声的造园手法，犹如写意山水画，是一种有高度想象力的艺术概括。龙安寺方丈庭园枯山水全用白砂敷设，不植树木，白砂中缀石组五处，共15块，分为五、二、三、二、三，由东到西，面向方丈室作弧形布置，风格洗练而含蓄，被视为枯山水庭园代表作。