初祖庵位于五乳峰下小土丘上,据少林寺1.3公里,是宋代人为纪念“禅宗初祖”菩提达摩而营造的纪念建筑。因达摩常游化于嵩洛之间,修禅的主要方式是面壁静坐,所以此庵又称作“达摩面壁之庵”。宋代,初祖庵曾建有“面壁之塔”,塔毁额存。蔡京所书“面壁之塔”石额今存于寺内,另有古碑四十余通。1983年至1986年,初祖庵全面整修时,建围墙二百余米,恢复了完整的院落。现庵中建筑有山门、大殿、面壁亭、千佛阁等。

    初祖庵山门:初祖庵山门至迟创建于明初前,原有山门毁于民国年间。今山门是1985年至1986年在原址上重建的。面阔三间(9.64米),进深二间(5.27米),通高6.876米,为单檐悬山式建筑,前后檐不施斗拱,用中柱式构架,中间开门。在山门内、大殿前的甬道东侧,有参天古柏一株,传为六祖慧能所植。

    初祖殿:初祖庵的大殿,在山门后中轴线上。面阔三间(11.125米),进深三间(10.615米),通高12.344米,为单檐九脊殿。大殿建在高1.285米的石台上,之前筑有宽阔的石踏道,踏道中间为素面石板,左右侧为登临的踏道,既含“阼阶”、“西阶”制度之礼仪,又多出了中间的素面“陛石”。此殿创建于宋宣和七年(1125年),1996年12月,被国务院公布为第四批全国重点保护文物。

    初祖庵东亭:建于清康熙四十四年(公元1705年),该亭面阔、进深各一间(4.21米),通高7.635米,坐北向南,平面呈方形,为四角攒尖亭阁式建筑。亭内北壁有菩萨、观音像壁画六幅;东墙有以神话故事骑青牛、比武、骑大象、骑牛头马面兽、宝瓶献塔为内容的五幅壁画;西壁有神话故事骑麒麟、划舟渡河、骑龙头牛身兽等壁画五幅;南壁有四幅山水画。此壁为1923年重修时所绘。该亭内原供达摩父母像,后毁。1986年重塑达摩父母兄弟像于亭中。

    初祖庵西亭:又称“面壁亭”,创建于明代以前,而现存建筑当为清早期重建。该亭面阔、进深各一间(3.71米),通高7.612米, 坐北向南, 平面方形, 为四角攒尖顶亭阁式建筑。南面一门二窗。 西庭内原供达摩塑像及“达摩面壁石”。“面壁石”于乾隆年间移于少林寺供奉。亭内塑像后毁,现在的达摩像是1984年重塑的。西亭内原有明代壁画,已剥落。今亭内东西北壁画,大致为1923年重修时所绘。

    初祖庵千佛阁:位于初祖庵大殿后中轴线上,是初祖庵院内最后一座建筑。面阔三间(10.27米),进深加前廊约近三间(9.21米)。内供有观音菩萨、初祖达摩和二祖慧可塑像。 

    原殿创建于明代景泰年间(1450年-1456年),现存建筑是1963年重修的。1996年在其左右又各加五间厢房,故此殿建制与原殿不同。

    重修面壁庵记:此碑立于金兴定六年(1222年)二月,碑文为李纯甫于兴定四年(1220年)应少林寺住持东林志隆之请而撰写的。文中主要是论述佛、儒二家相互融合关系的。碑文为楷书,笔力遒劲,别具一格。碑嵌于初祖庵面壁亭。

    达摩面壁之庵碑:此碑位于初祖庵西亭门口,为宋宰相蔡京之弟蔡卞所书,上刻“达摩面壁之庵”六个字,苍劲古朴、卓然超俗。蔡卞,字元度,蔡京之弟,生于宋仁宗庆历八年(1048年),仙邑慈孝里赤湖境(今枫亭镇东宅赤岭自然村)人。他学识渊博,满腹经纶,才华出众,名闻乡里,为王安石之婿。