达摩与梁武帝不欢而散后，渡江而去，来到了少林寺，虽然我们常看武侠小说中，有“天下功夫出少林，少林功夫出达摩”这样的说法，但事实上达摩来到少林寺，并不是来传武的，而是来传禅宗的。
达摩祖师
禅宗与律宗，释宗不同，讲究的要点是“直指人心，见性成佛，不立文字，教外别传。”相传当年佛陀拈花微笑，伽叶立刻会意，禅宗由此而起，讲究的是一个悟性，显然在达摩看来，梁武帝就是缺少了悟性。
一直以来达摩的名字总会与少林寺联系在一起，似乎因为有了达摩才有了少林寺，事实上，少林寺早在达摩到来前就已经建成，是北魏孝文帝拓跋宏为高僧跋陀修建的，跋陀才是少林寺的第一任主持，是律宗大师，在历史上并没有达摩担任过少林寺主持的记录，甚至在达摩之后，也少有禅宗和尚担任过少林寺主持。
达摩来中国是传播禅宗的，这并不是件容易的事情，光靠吃斋念佛，用心虔诚可不够，没有慧根，没有悟性也不行，达摩最初看上了神光和尚，这是位颇有慧根的高僧，在当时也很有名望，达摩很想收他为弟子，但神光和尚却有些看不上达摩，他认为自己对佛法的理解并不比达摩差，凭什么还要去给达摩当徒弟呢？
神光和尚（慧可禅师）
根据《达摩宝卷》的记载，达摩认识了神光和尚后，曾多次想要去点化他，但神光和尚却始终不愿意搭理达摩，一次神光和尚开坛讲法时，达摩又来了，神光和尚在上面讲得正起劲，达摩却在下面笑了起来。
神光和尚非常不满，问道：“你在笑什么？难道我哪里讲错了吗？”
达摩答道：“你讲得本来也没错，但讲佛法讲的是自己对佛法的理解，开示信众，而你却是照本宣科，又没什么新意，你自己都还未超脱，又怎能普度众生呢？”
神光和尚大怒，取下手中的铁念珠向达摩砸去，打掉了达摩的两颗门牙，达摩自称是禅宗第二十八祖，据说佛牙落地会大旱三年，达摩并未生气，而是平静的将牙齿和血吞下肚中，转身离去。
不久后，达摩声名鹊起，神光和尚找到达摩向他负荆请罪，这一次神光和尚收敛了性子，虚心的在面壁洞前聆听达摩教诲，达摩也不计前嫌，耐心点拨神光和尚，神光和尚大受启发，当即就想拜达摩为师，但达摩却拒绝了，他对神光和尚说道：“如果你要拜我为师，得等到白雪化为红莲之时。”
此时正值寒冬，白雪铺满了大地，神光和尚听达摩这么说，立刻抽出刀砍向手臂，顿时鲜血染红了落雪，正如一朵朵盛开的红莲，达摩如约收神光和尚为徒，取法名“慧可”，后来又将禅宗的衣钵传给了慧可禅师。
大同二年，达摩在洛阳禹门千圣寺圆寂，弟子们将他葬在定林寺内，又修建了达摩灵塔和达摩殿来纪念他，梁武帝萧衍亲自为他撰写了碑文，但关于达摩的故事却还未结束。
达摩圆寂三年后，东魏使臣宋云出使西域归来，经过葱岭时和达摩不期而遇，达摩光着脚，一手拄着锡杖，一手提只鞋。宋云问道：“大师何去？”达摩答道：“西天去！”
宋云归国后向孝静帝汇报了此事，孝静帝十分惊诧，命人挖开达摩之墓，打开棺材后，里面只剩下了一只鞋，皇帝知道达摩已超脱成佛，就下令将定林寺更名为"空相寺"。