1926年4月，馮玉祥、張之江向全國通電宣布下野。張之江被趕出占領僅三個月的天律。京津收回後，李景林對張作霖也算有了交代，並主動引咎辭職。1926年6月，李景林通電全國，宣布下野，從此不問軍政事，專心從事提倡武術。
1926年下半年，李景林帶領李書泰、楊奎山、郭憲三、林誌遠、黃敬義等壹行六人，從天津乘海輪南下上海。上海的十六鋪碼頭，有以曹幼珊為首的壹百多人歡迎隊伍，舉著橫幅歡迎標語，每人手中拿著歡迎小旗，壹路上喊著歡迎口號，敲鑼打鼓放鞭炮，所經之處，不少人知道情況後都自動加入歡迎行列。隊伍越采越長，浩浩蕩蕩竟有五六百人。對壹位武術家來說，這是前所未有的盛況。
壹行六人先在曹幼珊家中，也就是延安東路“大世界”後面的宰牛公司附近。這曹幼珊是蘇浙滬地區的青幫大首領，勢力及能量很大，黃金榮、杜月笙都是他的“通”字輩學生。（李、曹二人素不相識，曹為何如此盛情？筆者認為：青幫的特點之壹就是善於結交各種勢力的臺上或下野的上層人物。當時奉軍正勢力大，包括上海，少帥張學良在上海，曹幼珊肯定要拜會結交。李景林是奉軍第壹方面軍司令，屬上將級重要人物，平時與張學良關系很好。李景林要在全國大力提倡發展國術的願望，是曹幼珊主動向張學良表示願意幫助的。）
上海閘北區開封路有壹座“更新舞臺”，是上海當時最大的戲院，能容坐四千人。老板王永山也是青幫通字輩的人物，他歡迎李景林特別積極，帶著兒子王喜林及表甥郝家俊二人到十六鋪碼頭歡迎後，又帶著二人第壹個到曹幼珊家，命二人向珊爺及李景林叩頭。曹立即向李建議收他們二人為徒。李當然要給曹面子，就說：“這是我們有緣，算是我到上海收的第壹批徒弟吧。”曹又趁熱打鐵說：“家中有香堂，可行拜師大禮。”李書泰立即提出異議，要另擇良日。大家都明白，在青幫香堂行拜師禮儀是不妥當的，都說另擇吉日。
李景林到上海後，立即邀請誌同道合的孫祿堂來滬***商提倡國術事宜。於是，大家住到法租界愛多亞路的梵皇宮飯店（這是黃金榮開的飯店，後曾改成“大千世界”）。李、孫二人住在二樓，李書泰、楊奎山、郭憲山、林誌遠、黃敬義、郝家俊、王喜林等七人帶槍輪流值班。楊澄甫到上海，住在李景林的右邊房間，後到“浙江國術館”任教務長。
1926年底，李景林、孫祿堂二人在上海壹同收徒。孫的年齡比李大，李請孫挑選地址。孫雖是北方人，但喜吃辣，就在“大世界”對面西藏南路壹家川菜館“獨壹處”臨時設個香案，燒著大香，每人手中拿著龍風大紅貼，內裝家庭主代的個人簡歷和壹張五十大洋的支票。這次王喜林將弟弟王喜奎也帶去壹同拜師。先有孫祿堂進行收徒的拜師大禮，李景林作貴賓列席，儀式由大徒弟李玉琳主持。而後由李景林進行收徒的拜師大禮，孫祿堂作貴賓列席，儀式由李書泰主持。這次拜師大禮有壹個特別情節，就是孫祿堂堅決不收郝家俊的拜帖，使郝家俊非常尷尬，禮儀無法進行。只有李景林知道。
個中原因，因為孫祿堂與郝家俊的父親郝海鵬（恩光）有特別情誼，當然不能收侄輩家俊的拜貼與禮金。於是，李景林建議“拜貼免交仍參加拜師大劄”。這次二人***同收的徒弟有：孫存周、李玉琳、高振東、胡風山、李書泰、楊奎山、郭憲山、林誌遠、黃敬義、郝家俊、王喜林、王喜奎、蕭格清、鄭懷賢、孫振岱、章東、支錫堂等二三十人。因事過近八十年，記載不全，肯定有遺漏，僅供參考。還有不少徒弟不是本次的，而是以後二人分別收的徒弟。
1927年，蔣介石建立南京政府。李景林在上海奔走呼籲了壹年多，要洗雪“東亞病夫”之恥辱，要提倡“全民國術化”、國術能“強身強國強種強族”，這在當時是絕無僅有的第壹人，且具有強大的號召力與影響力。為了拉攏壹位奉軍高級將領，又可收買壹點人心，蔣介石下半年特派邵力子到上海，請李景林建立“中央國術館”並任館長。李景林不願意，建議由張之江擔任，並請邵力子代為致謝蔣介石。李景林既然提倡國術，為何又不肯擔任“中央國術館”館長？原因是李不肯擔任官方職務，受蔣掣肘，只想自由自在能進能退地提倡國術。
1928年3月24日南京中央國術館成立，李景林出任副館長，張之江任館長，又傳授了許多弟子。
1929年初，李景林計劃舉辦壹個“全國打擂比賽”的大動作，但苦於沒有資金。他雖曾為奉軍高級將領，也曾擔任省長，卻是壹身正氣，兩袖清風。當時，他在上海的生活開支已很難維持，當然更無能力舉辦大賽。經過反復思考，李景林決定采取下策，走壹步“險棋”。
在壹次與黃金榮、杜月笙二人的敘談中，李景林表示要請他們幫忙舉辦“全國打擂比賽”，請他們每人資助五萬大洋，並拔出手槍輕輕地放在臺上，開玩笑地說：“妳們是有名的‘大流氓’，這次我暫當壹回‘大土匪’”。說完，哈哈大笑，黃、杜二人連說好商量。
“勒索”大流氓並非小事，十萬大洋也非小數。曹幼珊知道事情後，請出政要張靜江和大商賈王曉籟商量。張靜江當時是浙江省長，是民國特殊人物，當年是曹幼珊請張靜江把流落在上海的蔣介石介紹給孫中山的，蔣介石見到他也禮讓三分，當時他答應李景林舉辦“全國打擂比賽”，經費及名稱由浙江省政府研。關於十萬大洋之事變輕了，由曹幼珊出面說情，黃金榮、杜月笙各出兩萬大洋，王曉籟自願資助二萬大洋，體面地為了李景林解決六萬大洋的經費。
1925年11月，奉系將領郭松齡拒絕攻擊馮玉祥的國民軍，並且和馮玉祥聯絡，企圖叛離張作霖。李景林極度擔心自己的軍隊被北方國民軍改編，馮玉祥和郭松齡侵奪自己的地盤。結果，他受到張作霖的籠絡，轉而討伐馮玉祥和郭松齡。
12月，李景林同馮玉祥之間的戰鬥開始，馮玉祥的國民軍占據優勢。同月末，李景林放棄天津，同山東省的張宗昌結成直魯聯軍。1926年（民國15年）2月，李景林開始反擊國民軍，但再被國民軍打擊，逐漸喪失大部分軍力。其後在日本軍隊及張學良所率奉軍的支援下，3月下旬李景林成功地使國民軍從天津撤退。
天津之戰後，李景林不滿足久居張作霖之下。他和孫傳芳、馮玉祥、靳雲鶚（直系）聯絡，準備策劃叛變。由於事前發覺，6月奉軍張學良同褚玉璞壓制了李景林，李景林被迫下野。
同年9月，為了對抗中國國民黨的北伐，李景林會見孫傳芳，建議北洋政府方面的各派實行大聯合，遭到孫的拒絕。1927年（民國16年）3月，北伐軍優勢畢見，李景林改投中國國民黨方面，但在投奔途中於4月遭到褚玉璞逮捕。經過日本方面調解，李景林獲得釋放，經日本到金陵，被蔣介石任命為直魯軍招撫使。1928年（民國17年）4月，李景林被任命為國民政府軍事委員會委員。