現代奧林匹克運動傳入中國，并取得發展，經曆了一個漫長的過程。1894年籌備第一屆奧運會時，國際奧委會便向中國發出了邀請。當時的清王朝因對奧運會不了解，沒有答複。1904年以後，奧林匹克運動逐漸為一些有識之士所關注，許多中國報刊曾報導過第三屆奧運會消息，國内的一些報刊雜志開始對其進行報道，奧運精神得以在華夏大地上傳播。1906年，中國的一家雜志介紹了奧林匹克曆史。1907年10月24日著名教育家張伯苓先生在天津學界運動會發獎儀式上，以奧林匹克為題發表了著名的演說。他指出：雖然許多歐洲國家獲獎機會甚微，但仍然派出選手參加奧運會。他建議中國組隊參加奧運會。1908年倫敦奧運會後，天津的一家報紙再次介紹了奧林匹克運動的曆史，還提出了要争取這個盛會，舉辦了奧林匹克專題演講會。1910年10月18日～22日，在“争取早日參加奧運會”和“争取早日在中國舉辦奧運會”口号的鼓舞下，在南京舉辦了中國曆史上第一次全國運動會——“全國學校區分隊第一次體育同盟會”。1913年，中國政府參與發起了奧林匹克運動在亞洲的先驅——遠東運動會（最初名為“遠東奧林匹克運動會”），是奧林匹克運動在亞洲的先驅，中國是發起者之一。在遠東運動會上中國運動員取得了較好的成績，表現了良好的體育道德。
1915年國際奧委會緻電遠東運動會組委會，承認了遠東體協，并邀請中國參加下屆奧運會和奧委會會議。1922年，中國的王正延當選為國際奧委會委員。1924年，中國奧委會的前身（中華全國體育協進會）在首都南京成立。中國陸續加入了田徑、遊泳、體操、網球、舉重、拳擊、足球、籃球等8個國際單項體育聯合會。在第8屆奧運會上，中國3名網球手參加了表演賽。1928年第9屆奧運會上，中國派觀察員宋如海參加，并進行了考察工作。1931年，在南京成立的中華全國體育協進會被國際奧委會承認為“中國奧林匹克委員會”，中國正式參加奧運會的曆史自此開始。1932年，第10屆奧運會在美國洛杉矶舉行。中國本不想派選手參加，僅由全國體育協進會總幹事沈嗣良前往觀禮。而日本帝國主義扶持的僞滿，拟派劉長春、于希謂作為“滿州國”選手參加奧運會，輿論一片嘩然，劉長春也予以拒絕。在強大的輿論壓力下，國民政府決定以劉長春、于希謂為運動員，宋君複為教練員，沈嗣良為領隊，代表中國參加奧運會。由于沒有經費，張學良個人資助了劉長春等人。在開幕式上，劉長春為領隊，代表中國參加奧運會。在開幕式上，劉長春執旗前導，沈嗣良、宋君複以及中國留學生和美籍華人劉雪松、申國權、托平等6人組成了中國代表團。于希渭因日方阻撓破壞、未能成行。劉長春在100米、200米預賽中位于小組第五、六名，未能取得決賽權，但他以中國第一位參加奧運會的選手而留名于中國奧運史。在第10屆奧運會閉幕後，由國際奧委會奧地利委員史密特、瑞士委員馬素理、李密3人組成的考察小組受國際奧委會主席巴耶－拉圖爾的委托來華通路。考察組首先到達北京（時稱北平）、後啟程去上海。在上海考察組譴責了日本侵略中國的戰争暴行。最早來中國通路的國際奧委會是日本人嘉納治五郎，他是日本柔道的創始人，1909年被選為國際奧委會日本委員。1915年他率日本隊來上海參加第2屆遠東運動會，1921年他又代表國際奧委會參加了在上海舉行的第5屆遠東運動會。1936年第11屆奧運會，中國派出140人組成的代表團參加了籃球、足球、遊泳、田徑、舉重、拳擊、自行車等七個項目的比賽。
1948年第14屆奧運會，中國派出33名男運動員參加了籃球、足球、田徑、遊泳和自行車等5個項目的比賽，但沒有一人進入決賽。1952年第15屆奧運會在芬蘭的赫爾辛基舉行。中華人民共和國正式接受邀請較晚，隻派出了40人的代表團，可當代表團到達赫爾辛基時，比賽已接近尾聲，隻有吳傳玉參加了百米仰泳比賽。“中華民國”拒絕出席此屆奧運會。
1954年國際奧委會雅典年會中以23:21的票數承認了中華全國體育總會為中國奧委會，但同時卻保留了“中華民國奧委會”，開了在一個國家中承認兩個國家奧委會的先例。國際奧委會後來又作出允許這兩個奧委會同時參加第16屆奧運會的決定，并規定兩個代表團使用的名稱一個是“台灣中國”，一個是“北京中國”。
1952年到1979年間，由于政治上原因，中國沒有參加期間的幾屆奧運會，而中國台北則派隊參加。
1960年羅馬奧運會上，台灣選手楊傳廣奪得十項全能比賽銀牌，這是中國人獲得的首枚奧運會獎牌。
1968年墨西哥城奧運會上，台灣女子選手紀政獲80米欄銅牌，她是第一位獲得奧運會獎牌的中國女子運動員。
1979年國際奧委會恢複了中國的合法席位，決定中華人民共和國奧林匹克委員會的名稱為“中國奧林匹克委員會”，設在中國台灣省台北市的奧委會的名稱為“中華台北奧林匹克委員會”。自此，海峽兩岸的中國人都有了參加奧運會的機會。
1980年和1984年中國代表團兩度參加了冬季奧運會。
1984年7月，美國洛杉矶第二十三屆奧運會，中國奧委會派出了一個大型體育代表團參加這次盛會。52年前，中國首次參加的第十屆奧運會，地點也是在洛杉矶。當時運動員僅劉長春孑然一身。而這次運動員達225人，參加了除足球、曲棍球、拳擊、馬術、現代五項以外的其餘16個大項的比賽。中華台北奧委會也派出67名運動員參加了田徑、遊泳、舉重等項的比賽，這是海峽兩岸中華兒女首次在夏季奧運會上相逢。重返奧運賽場的中國體育代表團，在洛杉矶奧運會開幕後的第一天，便展示出新興世界體育強國的風采。許海峰在男子手槍慢射比賽中所獲的金牌是本屆奧運會決出的第一塊金牌，一雪百餘年來“東亞病夫”的恥辱。
1991年，中國北京向國際奧委會提出舉辦2000年夏季奧運會的申請，最後惜以二票之差未獲成功。
1999年，北京市政府再次提出承辦2008年奧運會的申請，經中國奧委會同意後，由市長親自前往國際奧委會總部遞交了申請書。在2000年悉尼奧運會上，中國代表團取得了金牌榜及獎牌榜均列第三位的好成績，标志着中國體育水準開始步入世界行列。
2001年中原標準時間7月13日22:10，北京在國際奧委會第112次全會上獲得第29屆2008年奧運會主辦權。
2008年8月8日，北京奧運會順利開幕。
2010年2月10日，國際奧委會在加拿大溫哥華召開第122次全會，投票選出南京作為2014年第2屆夏季青年奧林匹克運動會的承辦城市。
2014年8月16日20時，2014年南京青年奧林匹克運動會在中國南京開幕。南京青奧會是繼北京奧運會後中國的又一個重大奧運賽事，是中國首次舉辦的青奧會，也是中國第二次舉辦的奧運賽事。
2015年7月31日（中原標準時間），國際奧委會主席巴赫在國際奧委會第128次會議上正式宣布北京獲得2022年冬季奧林匹克運動會舉辦權。
