张之江在京郊南口大战中，任国民军总司令，缴讨军阀混战，有力地配合了北伐军胜利进军。张作霖、吴佩孚等组成讨赤联军59万人，约五十个师的兵力，张之江指挥的国民军只有22万人，约二十个师，双方兵力相差悬殊。虽然如此，张之江指挥的国民军却与讨赤联军周旋了四个多月，始终立于不败之地，主要是靠大刀队坚守阵地，用地壕战、肉搏战使敌人不敢越雷池一步，使敌军无法取胜。后来因为国民军的战线延长两千多里，传达命令和给养供应都感困难，当时大有难以继续作战之势。张之江为了保持实力，于是下令总退却，国民军在寡不敌众的情况下终于失败。但是这次战争牵制了军阀对北伐军的干扰，给北伐军铺平了北上的道路。

传说张之江在指挥作战时，因日夜操劳过度而患中风，中西医药治疗均不见效，他的警卫余国栋教他学练太极拳，身体竟很快恢复了健康，他于是更加笃定武术是中国的国粹，并向中央申请把武术改称为“国术”，以提高武术的重要性。他认为：“国术是中华民族所固有的国粹，应将其由民间推向上层”，开始筹办国术研究馆。

国术研究馆建馆的宗旨，除行政管理和编审教材书刊外，另设学生武术训练队，培养武术师资，以便推广武术教育。这种学术教育机构当向*申请备案，可是*百般刁难，不予支持，他们认为武术早已经被淘汰，并声称如果一定要提倡这种“旧玩意儿”，只能属于民众团体，不纳入教育系统。张之江在无可奈何的情况下，找到当年辛亥革命云南起义的老朋友、时任国民政府常务委员李烈钧。李烈钧当即拍板：“*既然不承认，那么就由国民政府直接领导，经费由国库开支。”

1927年3月15日，国民政府公报第41期刊载第174号公文批准备案。在李烈钧、冯玉祥、钮永建、蔡元培、李济深、于右任等人的积极协助下，3月24日，国术研究馆在南京正式创建，馆址位于西华门头条巷。被录取的学员在国术馆学习不但不收任何学杂费用，其衣食所需全部由国术馆供给。入馆后的学员发穿校服，前心和后背分别有“强种救国”和“御侮图存”八个大字。国术馆提出的口号是：“强我宗族，壮我国魂，洗刷东亚病夫，振兴黄帝子孙。”馆训是：“自强不息”。

1928年6月，国术研究馆正式易名为中央国术馆，它是*时期主管国术的中央行政机构之一。

受中央国术馆的影响，全国各地，各省、市、县纷纷成立国术馆，对在全国范围内开展武术运动起到了积极的作用。

中央国术馆的组织，分为三处，即教务处、编审处、总务处。教务处负责教学，培养师资，设处长一人，第一任处长为王子平，此后朱国福、吴俊山、吴翼晖、杨松山等继任。编审处负责编辑教学资料，审定教材，整理武术传统项目，设处长一人，由姜容樵、吴伯年、金一明等先后担任。这些人都是文武兼备的武术专家，他们编写了大量武术书刊和理论报道，为我国的武术理论建设和技术传播起到极为重要的作用，总务处负责行政后勤、财务、文书等工作，设处长一人，由李滋懋、竺永华、庞玉森先后担任。

国术馆的教学起初设少林、武当两个门派：少林门主要包括少林拳、查拳、弹腿、八极拳、劈挂拳等，门长是王子平；武当门主要包括太极拳、形意拳、八卦掌等，门长是高振东。

后来为了消除门户之见，中央国术馆取消原来实行的武当、少林两门制，改为教务处，下设教授班和练习班。国术馆教学强调泛学博通，要求学生广学各门派拳种之精华，练打兼能。所以技术课在课程中占很大比例，分为各拳种流派拳术、器械套路的单练，和摔跤、格斗、拳击、武术长短兵、日本式劈刺术等对抗。

中央国术馆有着雄厚的师资：除了王子平、高振东外，马英图担任训练科长。还有朱国福（形意拳）、柳殷虎（杨氏太极拳）、杨法武（摔跤）、马王甫（摔跤）、朱国桢（搏击）、郭长生（劈挂）、孙玉铭（燕青拳、棍术）及孙禄堂、杨澄甫、陈子荣、张骧伍、米连科、李霖春、郭锡山、吴峻山、姜荣樵等等，当时著名的武术大家担任教官。在培养师资方面，主要课程有国术源流、国术规则、拳术和器械套路、摔跤、武术短兵、武术长兵、格斗、拳击等。前后一共办了6期，学生毕业后可应聘担任各地武术教师或教练。国术馆于1928年、1933年在南京举行了两届“国术国考”，进行了短兵、长兵、摔跤、格斗等项的比赛。1936年曾组织“国术代表队”到香港、新加坡、马来西亚、菲律宾等地表演。

为提高学员的文化知识水平，张之江还聘请了前清翰林张洪之任国术馆《易经》教授。日军侵占我东三省后，为了适应战备的需要，又聘请齐友良讲解军事战术课。

中央国术馆的教学赋予武术以强烈的爱国主义内涵，强调“明耻教战，强种御侮”，因此吸引并培养了大批热血青年和爱国华侨学生。很多学生学成后奔赴抗日前线。在抗日将领宋哲元、张自忠、傅作义、孙连仲等部队都有该馆毕业生担任武术教官，并建立大刀队，痛歼日寇。

1937年抗日战争爆发，张之江应第五战区司令长官李宗仁之邀，到第五战区担任高级顾问，协助李宗仁在台儿庄指挥作战，此时他已无暇顾及馆务。中央国术馆由南京迁出，经长沙、桂林、昆明，1940年抵达重庆北碚。这段时期中央国术馆的经费来源已断绝，学员大部分离去，中央国术馆名存实亡。

1936年8月，第11届奥运会在德国柏林举行。69名中国运动员经过长途跋涉，辗转来到德国柏林参加第十一届奥运会。其中的国术表演队最为耀眼。据说出征前，蒋介石、宋美玲夫妇还专门在南京行政院接见了这支国术队伍。

这支由郝铭、张文广、温敬铭、郑怀贤、金石生、张尔鼎、冠运兴、翟涟源（女）、傅淑云（女）、刘玉华（女）、顾舜华11人组成的国术表演队随中国体育代表团前往德国，在柏林、汉堡、法兰克福、慕尼黑举行多场表演。

真刀真枪的功夫演练让外国人看得目瞪口呆、如醉如痴，西方世界*于武术的魅力，开始向神秘而博大的中国功夫投来注意的目光。舆论界称：“中国国术具有艺术、舞蹈、奋斗三大特色，反映了中华民族悠久历史文化及尚武精神。”这次被称为中国武术与奥运会的第一次亲密接触，向世界体坛展示了中国武术的风采。

中国武术奥运处女秀的发起人就是张之江，是他在上海主持选拔国术界国手、并组织了这支由中央国术馆成员为骨干的国术代表队前往奥运会表演。为此，张之江获得了该届奥运会以“五环”为标志的纪念章，并被誉为“中国国术开始走向国际体坛的第一人”。