海牙於1248年由當時的荷蘭伯爵、德意誌國王、神聖羅馬帝國皇儲威廉二世所建立。他在荷蘭海岸旁的樹叢裏建立了壹座城堡，以便舉行加冕典禮。在他加冕之前，他在壹場戰役中陣亡，而那座城堡並未完工，但城堡的壹部份至今仍然存在，被稱作Ridderzaal（騎士館）。“騎士館”仍然會用於政治場合。例如皇室的年度演講就是在城堡的王位上發表。之後，荷蘭的貴族就以海牙作為他們的行政中心。海牙的荷蘭語本名“Des Graven Hage”在字面上的意思是“伯爵的樹籬”或是“伯爵的私人圍場”。當時荷蘭壹些有影響力的城市，如萊頓、臺夫特及多爾德雷赫特，因當時的海牙細小且影響力低，否決了以海牙作為行政中心的方案。這政策從未改變，因此海牙直到今天仍然是無首都之名的政府中心。
為保持海牙的小規模，它並沒有被賦予城市的權限，也沒被允許興建城墻。1500年代時，興建城墻的要求終被批準，但城內居民卻決定要集資建造市政廳去取代興建城墻的計劃。這壹個決定，在後來的八十年戰爭中被證明是完全錯誤的——因為沒有城墻的關系，防禦能力極低，這使西班牙的軍隊輕易地將海牙侵占了。
直至1806年，海牙才被當時的法國統治者升格為城市。而個多世紀以後荷蘭的其他城市才陸續得到類似的權限。以上種種都證明了海牙已經是今非昔比了。它創造了壹個城市中的傳奇。
因為海牙的發展壹波三折，使它不及鄰近的城市（如萊頓、臺夫特）壹樣的歷史悠久。1850年後，當中央政府在荷蘭社會中扮演更重要的角色，海牙便急遽地發展起來。現今的海牙舊區多建於十九世紀至二十世紀初。發展中的海牙在1903年吞占了洛斯德伊嫩市的壹部分，至1923年洛斯德伊嫩市成為海牙的壹部份。
二次大戰期間，海牙遭受到廣泛而沈重的破壞。大西洋壁壘在建成後橫穿了城區，導致所有鄰近地區的建築物址被納粹德國所拆毀。1945年3月3日，皇家空軍誤炸了貝澤伊登豪特區，而他們的目標應該是該區附近裝置了V-2彈道導彈的公園。由於導航器材的失誤，炸彈落在了人口密集和有歷史價值的地區，導致超過五百人死亡。誤炸對城市和當地居民造成的創傷，至今仍可感受得到。
戰後，海牙是歐洲重建工程最大的其中壹個地方。城市於是大規模地向西南擴展。被摧毀的區域也迅速地完成重建。
海牙人口在1985年前後達到高峰，曾有多達六十萬的居住人口。
1970年代和80年代間，以白人中產階級為主的海牙居民紛紛移居到鄰近的城市，如福爾堡、萊德斯亨丹、賴斯韋克當中主要遷移至祖特爾梅爾。這現象對郊區變得繁榮，但市中心卻日趨貧困這個社會問題的催生，起了主導作用。
政府為將海牙近郊納入海牙市內所作出的嘗試引起極大爭議。1990年代，在荷蘭議會的同意下，海牙成功地從鄰近城市的已建或建設中住宅區中並吞了相當大的區域。
2011年南荷蘭省的蘭斯臺德地區則希望在此重新劃分案中也加入這個預想的省份－蘭斯臺德。
海牙國際法庭又稱海牙國際法院，其正式名稱為國際法院(InternationalCourtofJustice)，位於荷蘭海牙。是聯合國六大機構之壹，成立於1946年。