1927春節期間，劉飛回到了家鄉。當地村民為他的成就深感自豪，舉行了歡迎會。劉飛在會上發表演講，宣傳孫中山關於國民革命必須依靠工農的主張。春節後，劉飛離開家鄉前往上海，參加了壹個短期日語班，不久就從上海乘船抵達日本。他在日本東京學了三個月日語，被介紹到東京附近千葉縣佐倉町的1師第57聯隊。他受訓半年，考試合格後考入日本陸軍步兵專門學校。
在陸軍步校，劉飛除了學習軍事理論和參加訓練外，還繼續學習日語。不到兩年的時間，他翻譯了日文書籍《戰鬥大綱》。他根據自己的學習和研究，寫了壹本《論戰爭救國》的小冊子，帶回了中國。1930年，劉飛從陸軍步兵學院畢業，因成績優異被免試保送陸軍大學繼續學習四年。
在日本學習期間，劉飛密切關註日本國內局勢。他旗幟鮮明地反對蔣介石和國民黨右派在“四·壹二”政變中的反革命行徑，堅決反對蔣介石“外忙中必有內定”的反動政策。他積極參加進步日本留學生在中國組織的集會，如濟南慘案紀念日、五四運動和雙十。日本帝國主義侵華的“九壹八事變”和“十壹·二八事變”後，他參加在華日本留學生組織的抗日愛國活動，與其他留學生壹起，派代表回國，向南京政府請願，要求停止內戰，對日宣戰。此外，他還幫助了壹些在中國學習的日本學生和生活困難的愛國者。
劉飛經常和他的好朋友陳端等人談論如何豐富強兵。他說，繼續在日本學習軍事，是為將來中國對日作戰做準備，即“以孩童之矛，當攻之盾”。他認為中國和日本最終會發生戰爭。中國只有堅決抗日才能生存；中國社會只有通過抗日戰爭才能洗去汙垢；中國的民族精神只有通過抗日戰爭才能發揚光大。他的遠見和判斷力已經被歷史所證明。
劉飛明智地選擇了赴日留學七年，避開了參加清王朝，如蔣介石的反革命、寧漢分裂和西征唐朝、、蔣豐、蔣之戰、江西紅軍五次“圍剿”等。這讓他“壹生保持清白，頗為欣慰。”
雖然與白崇禧關系密切，但在關鍵問題上卻各持己見，各行其是，從"自尋出路"到與白"分道揚鑣"。程思遠說:“他從壹個壹直被稱為桀驁不馴的人變成了壹個剪書人，這說明他是有韌性的，是人所不能及的”。