Im August 1924 wurde der Gesamtchinesische Leichtathletikverband als erste nationale Sportorganisation gegründet. Später entsandte China drei Sportler zur Teilnahme an "non-competition"-Tennisspielen im Rahmen der 8. Olympiade in Paris.

Vier Jahre später schickte China Song Hairu als Beobachter zu den 9. Olympischen Spielen nach Amsterdam, jedoch keinen einzigen Sportler.

Das IOC erkannte im Jahr 1931 den Gesamtchinesischen Leichtathletikverband an und China wurde somit auch formell in die olympische Riege aufgenommen.

1932 wollte das Kuomintang-Regime Shen Siliang, den Generalsekretär des Gesamtchinesischen Leichtathletikverbandes, zu den 10. Olympischen Spielen nach Los Angeles schicken. Die von den Japanern unterstützte Marionettenregierung in der Mandschurei plante stattdessen die Entsendung der beiden Sportler Liu Changchun und Yu Xiwei. Doch Liu verweigerte die Teilnahme. Schließlich schickte das Kuomintang-Regime eine 6-köpfige Delegation nach Los Angeles, darunter den Teamleiter Shen, Trainer Song Junfu und die Sportler Yu und Liu, die nach der ersten Runde des 100-Meter-Laufs und 200-Meter-Laufs der Männer jeweils Platz fünf und sechs belegten. Trotz seines Misserfolgs bei den Qualifikationsspielen wurde Liu Chinas erster Olympiateilnehmer.

1936 entsandte China ein Team aus 139 Mitgliedern zu den 11. Olympischen Spielen nach Berlin. Das Team setzte sich aus 69 Leichtathleten, Schwimmern, Basketballspielern, Fußballern, Gewichthebern, Boxern und Radfahrern, 34 Beobachtern und 11 Schaukämpfern für traditionelle Kampfkunst zusammen. Keiner schaffte es bis zum Finale, bis auf Fu Baolu, der beim Stabhochsprung 3,80 Meter sprang. Nach den Spielen tourten die Schaukämpfer durch Dänemark, Schweden, die Tschechoslowakei, Ungarn, Österreich und Italien, wo sie herzlich empfangen und für ihre Darbietung aufs höchste gelobt wurden.

1939 wurde Kong Xiangxi zum zweiten IOC-Mitglied Chinas gewählt.

Nachdem China den Widerstandskrieg gegen Japan im Jahr 1945 gewonnen hatte, schlugen Wang Zhengyan, Yuan Dunli und Dong Shouyi gemeinsam mit anderen chinesischen Turnern die Ausrichtung der 15. Olympischen Spiele 1952 vor.