汉代以来，佛法东传，至南北朝时，已达鼎盛。据北齐魏收所撰《魏书释老志》记载，魏孝文帝太和元年（477年）三月，整个北魏境内的寺院多达六千四百七十八所，僧尼七万七千二百余人；仅都城内便建有佛寺百所，僧尼多达两千余人。皇帝还招纳西域胡僧，并为之建筑精舍传法。少林寺即是在这一历史背景下，由皇室敕建的佛寺。

少林寺的创建年代为北魏太和十九年（495年）。关于少林寺创建初期的纪事，唐代裴漼在《皇唐嵩岳少林寺碑》中记述颇为详实：少林寺者，后魏孝文之所立也。沙门跋陀者，天竺人也，空心玄粹，惠性淹远，传不二法门，有甚深道业。缅自西域，来游国都，孝文屈黄屋之尊，申缁林之敬。太和中，诏有司于此寺处之，净供法衣，取给公府。接着《寺碑》又记述了跋陀主寺之后兴建殿堂宝塔的佛事活动：法师(跋陀)乃于寺西台，造舍利塔，塔后造翻经堂。香水成涂，金绳为约。苦心精力，俾夜作画。多宝全身之地，不日就功。如来金口之说，连云可庇。跋陀息心兹地，乐静安居，感而遂通，境来斯证。时有三藏法师勒那，翻译经论，游集刹土除勒那外，菩提流支也来这里译经，所译的内容主要是《十地经论》。这说明少林寺颇受高僧们的重视，而且到此慕名求法者多达数百人。跋陀向他的弟子们讲授的是小乘佛教经义。小乘，即梵语希那衍那的意译。其教义主要以自求解脱为目标，故为自调自度（即灭除烦恼，证果开悟）之声闻、缘觉之道，而异于大乘自利利他二者兼顾之菩萨道。(宽忍《佛学辞典》）跋陀晚年移居寺外，将终，手画神像于门壁。（清景日昣《说嵩》卷二十一）

跋陀是禅律并重的高僧。他的两大弟子僧稠（480至560年）和慧光（487至536年）继承了他的事业。跋陀僧稠一系的禅法是印度传统的四念处、五亭心的止观禅法。有人概括为三藏心禅。僧稠(稠禅师)，钜鹿人氏，俗姓孙。跋陀称他为葱岭以东学习禅法最好的一个。跋陀称赞他说：自葱岭以东，禅学之最，汝其人矣！《寺碑》亦云稠禅师探求正法，主持塔庙。北齐末年僧稠被尊为国师大德，成为中国北方旧禅法的代表人物。

跋陀的另一大弟子慧光，俗姓杨氏，长卢人。他聪敏出众，被称作圣沙弥。他曾助跋陀翻译《十地》等佛教著作，还开释《华严》《维摩》《涅槃》等经论，成为名重一时的北齐名僧，被后世尊为中国佛教地论宗的鼻祖。《寺碑》说：慧光弟子僧达、昙隐、法上法师等十大德，亦号十英。尤其是法上法师，在探研诸经中，很有成就，成为东魏、北齐时期著名高僧，被誉为京师极望，道场法上。