達摩與梁武帝不歡而散後，渡江而去，來到了少林寺，雖然我們常看武俠小說中，有“天下功夫出少林，少林功夫出達摩”這樣的說法，但事實上達摩來到少林寺，并不是來傳武的，而是來傳禅宗的。
達摩祖師
禅宗與律宗，釋宗不同，講究的要點是“直指人心，見性成佛，不立文字，教外别傳。”相傳當年佛陀拈花微笑，伽葉立刻會意，禅宗由此而起，講究的是一個悟性，顯然在達摩看來，梁武帝就是缺少了悟性。
一直以來達摩的名字總會與少林寺聯系在一起，似乎因為有了達摩才有了少林寺，事實上，少林寺早在達摩到來前就已經建成，是北魏孝文帝拓跋宏為高僧跋陀修建的，跋陀才是少林寺的第一任主持，是律宗大師，在曆史上并沒有達摩擔任過少林寺主持的記錄，甚至在達摩之後，也少有禅宗和尚擔任過少林寺主持。
達摩來中國是傳播禅宗的，這并不是件容易的事情，光靠吃齋念佛，用心虔誠可不夠，沒有慧根，沒有悟性也不行，達摩最初看上了神光和尚，這是位頗有慧根的高僧，在當時也很有名望，達摩很想收他為弟子，但神光和尚卻有些看不上達摩，他認為自己對佛法的了解并不比達摩差，憑什麼還要去給達摩當徒弟呢？
神光和尚（慧可禅師）
根據《達摩寶卷》的記載，達摩認識了神光和尚後，曾多次想要去點化他，但神光和尚卻始終不願意搭理達摩，一次神光和尚開壇講法時，達摩又來了，神光和尚在上面講得正起勁，達摩卻在下面笑了起來。
神光和尚非常不滿，問道：“你在笑什麼？難道我哪裡講錯了嗎？”
達摩答道：“你講得本來也沒錯，但講佛法講的是自己對佛法的了解，開示信衆，而你卻是照本宣科，又沒什麼新意，你自己都還未超脫，又怎能普度衆生呢？”
神光和尚大怒，取下手中的鐵念珠向達摩砸去，打掉了達摩的兩顆門牙，達摩自稱是禅宗第二十八祖，據說佛牙落地會大旱三年，達摩并未生氣，而是平靜的将牙齒和血吞下肚中，轉身離去。
不久後，達摩聲名鵲起，神光和尚找到達摩向他負荊請罪，這一次神光和尚收斂了性子，虛心的在面壁洞前聆聽達摩教誨，達摩也不計前嫌，耐心點撥神光和尚，神光和尚大受啟發，當即就想拜達摩為師，但達摩卻拒絕了，他對神光和尚說道：“如果你要拜我為師，得等到白雪化為紅蓮之時。”
此時正值寒冬，白雪鋪滿了大地，神光和尚聽達摩這麼說，立刻抽出刀砍向手臂，頓時鮮血染紅了落雪，正如一朵朵盛開的紅蓮，達摩如約收神光和尚為徒，取法名“慧可”，後來又将禅宗的衣缽傳給了慧可禅師。
大同二年，達摩在洛陽禹門千聖寺圓寂，弟子們将他葬在定林寺内，又修建了達摩靈塔和達摩殿來紀念他，梁武帝蕭衍親自為他撰寫了碑文，但關于達摩的故事卻還未結束。
達摩圓寂三年後，東魏使臣宋雲出使西域歸來，經過蔥嶺時和達摩不期而遇，達摩光着腳，一手拄着錫杖，一手提隻鞋。宋雲問道：“大師何去？”達摩答道：“西天去！”
宋雲歸國後向孝靜帝彙報了此事，孝靜帝十分驚詫，命人挖開達摩之墓，打開棺材後，裡面隻剩下了一隻鞋，皇帝知道達摩已超脫成佛，就下令将定林寺更名為"空相寺"。