北魏孝昌三年（527年）之后，梁大同二年（536年）之前，又一位西域名僧游化于嵩洛一带，他即是后世尊为禅宗初祖的菩提达摩。杨衒之《洛阳伽蓝记》卷一(城内)就有关于菩提达摩游化嵩洛的记载：永宁寺，熙平元年（516年），灵太后胡氏所立也。时有西域沙门菩提达摩者，波斯国胡人也。起自荒裔，来游中土自云：年一百五十岁，历涉诸国，靡不周遍。而此寺精丽，阎浮所无也。极物（佛）境界，未有此。口唱南无，合掌连日。

释道宣撰《续高僧传》对达摩的活动记述颇详 ：菩提达摩，南天竺婆罗门种初达宋境南越，末又北度至魏。随其所止，诲以禅教。其时，合国盛弘讲授(旧禅法），乍闻定法，多生讥谤。有道育、慧可，此二沙门，年虽在后，而锐志高远。初逢法，将知道有归。寻亲事之，经四五载，给供谘接，感其精诚，诲以真法，如是安心，谓壁观也。大约在527年后，年近四十的慧可见到了菩提达摩，奉以为师，毕命承旨，从学六载，精究一乘，理事兼融，苦乐无滞。达摩授以四卷《楞伽经》，并说：我观汉地，唯有此经，仁者依行，自可度世。达摩所传为大乘佛教，在多种入道的途径中，最重要的是二种，即理与行。所谓理，亦名理入，要求学道者，首先领悟修炼的宗旨，深信所有人都有同一的真性，只要能舍去世俗上的虚伪，归依本来的真性，坚定不移，不随他教，即可与修道的宗旨冥符，寂然无为，则为理入。所谓行，或曰行入，主要有四，即报怨行、随缘行、无所求行与称法行，即性净之理也。达摩的传法活动受到了旧禅法的剧烈反对乃至迫害，其弟子慧可和昙林在邺城也屡遭不幸，甚至被教敌买通的歹徒砍断臂膀，长期过着乞食苦行的生活。

达摩、慧可师徒尝托兹山，应是栖身于少室山附近的禅窟或庵庐之内，并无寺院可居。也许这便是达摩洞、初祖庵、二祖庵、炼魔台乃至嵩岳寺后三祖庵等纪念建筑与古迹均远在寺外的历史原因。达摩卒于梁大同二年（536年）十二月，葬于熊耳山（今河南省陕县西李村乡支沟村南），此地后建有空相寺。

达摩衣钵法器，一向单传。达摩传法慧可，慧可又传法给僧璨。自三祖僧璨，始到南方传法。历隋、唐二朝，达摩禅法回到北方，并真正回到了称为禅门祖庭的嵩山少林寺。