霍去病很擅長騎射，在公元前123年，隨大將軍衛青出征，北擊匈奴時，他率領八百精銳騎兵離開大部隊幾百裏去追擊匈奴，最後殲敵二千零二十八人，其中有相國和單於的祖父，活捉單於叔叔，戰後封為冠軍侯。
公元前121年，霍去病升任驃騎將軍，率領壹萬騎兵出隴西，越過了焉支山（今中國西部甘肅山丹東南）達千余裏，斬殺折蘭王，俘獲渾邪王的兒子，殲敵八千。同壹年的夏天，霍去病再次出隴西、北地兩千多裏，越過居延澤，進擊祁連山，俘虜了酋塗王，捕斬三萬余人，受降二千五百人，自己損失不到十分之三。這次殲滅戰沈重地打擊了匈奴右部。
當年的秋天，匈奴單於對於渾邪王屢次戰敗、損失慘重非常不滿，盛怒之下有了殺掉渾邪王的打算。渾邪王和休屠王商議投降漢朝。武帝擔心他們詐降，於是派霍去病領兵迎接。霍去病渡過黃河，接近渾邪王的部隊，但渾邪的壹些部下看到漢軍後改變了主意，紛紛潰逃。霍去病趕到渾邪王大營和他商議，最後斬殺不想投降的部下八千人，最後，渾邪王率部四萬多人歸順漢朝。渾邪王等人被武帝封為侯。
霍去病這次受降成功，最終使河西地區得以長期安定，漢朝也從此打通了到西域的道路。漢朝根據當地習俗分設五屬國，後來又設立武威、張掖、酒泉、敦煌四郡，加強了對該地的控制。
由於匈奴單於欲以戰守不力，將渾邪、休屠二王問罪，秋天，二王決定降漢。漢武帝唯恐是詐兵之術，命霍去病率萬騎前往受降，霍去病尚在途中，休屠王已然反悔，渾邪王情急刺殺休屠王，收編其軍隊。驚聞風雲突變，霍去病毅然率軍渡黃河，令全軍在四萬余匈奴部隊前列陣進逼，這時渾邪王部許多無誠意降漢的人，紛紛投轉馬頭逃跑，陣營騷亂，頗具傾刻瓦解之勢。霍去病當機立斷，飛馬躍入渾邪王陣中，抓住渾邪王，穩住了匈奴眾部，再通過談判，命渾邪王斬殺八千名作亂官兵，派人護送渾邪王赴長安，自己率領幾萬匈奴兵，功成而返。漢朝把歸附的匈奴部眾安置在隴西等五郡關塞附近，又沿祁連山至鹽澤（今新疆羅布泊）築邊防城寨，在原休屠王、渾邪王駐地分設武威、張掖兩郡與酒泉、敦煌總稱河西四郡，既進壹步孤立了匈奴，又打開了通往西域的道路。
公元前117年，漢武帝利用匈奴輕視漢朝不敢深入作戰的心理，命衛青、霍去病各率騎兵五萬，加上預備馬匹四萬和步兵、輜重兵***幾十萬人，分別出擊匈奴。霍去病從代郡出發，俘獲匈奴屯頭王、韓王等，將軍、相國、當戶、都尉等八十三人，殲敵七萬余人。霍去病因此加封五千八百戶，拜大司馬驃騎將軍，地位和舅舅衛青相同，但權勢卻超過了衛青，結果很多衛青的人投靠到霍去病門下。
霍去病用兵有自己的辦法，不願按照古人兵法作戰，註重實際。武帝想教他學習孫子、吳起兵法，他卻說用兵要看具體謀略，根據情況來定作戰方案，不能只學兵法。武帝要為他建府第，他卻說：“匈奴不滅，無以家為。”所以很得武帝寵信。
霍去病作戰時身先士卒，喜歡做先鋒。但是，他畢竟在宮中長大，貴族習氣較多，所以對於士卒體恤不夠。在塞外時，士兵缺少糧食吃，饑餓難當，他卻在踢球尋樂。有壹次出征時，漢武帝曾經賞賜宮廷膳食幾十車。但等到霍去病凱旋而歸時，扔掉的很多，而士兵們卻還有饑餓的。
兩年後，霍去病病逝，年僅24歲。漢武帝為他舉行了隆重的葬禮，由披鐵甲的官兵列隊將靈柩護送到自己的墓穴茂陵東，葬於外形仿祁連山狀的高大墓中，墓前還有漢武帝為表彰其戰功而立的14件大型圓雕石刻。上書其座右銘：“匈奴末滅，何以家為！”李白《樂府詩胡無人》寫道：“嚴風吹霜海草雕，筋幹精堅胡馬驕。漢家戰士三十萬，將軍兼領霍嫖姚。流星白羽腰間插，劍花秋蓮光出匣。天兵照雪下玉關，虎劍如沙射金甲。雲龍風虎盡交回，太白入月敵可摧。”