1864年，匯豐銀行在香港成立，是由在華的英商太古、沙遜、怡和、美商旗昌、德商禪臣等英、美、法、德十大洋行***同發起組織，其中也有中國人入股。後來由於利益沖突，其他股東全部退出，所有股份歸英商所有。
到了1865年的4月，上海分行在滬建立。上海分行成立初在今南京路外灘，即今匯中飯店舊址，是壹座規模較小的英式3層小樓。
1874年因業務量漸大，樓房不夠用，購買了海關南面西人俱樂部的房子和大草坪，造了壹座3層樓房，即在今天的福州路外灘。開業次年倫敦就爆發了壹場金融風暴，其他在上海的英資銀行都受到了不同程度的打擊，但匯豐避開了這場風暴，以後的業務壹直順利地發展，資本像滾雪球似地越滾越大。匯豐當時在世界各地建立了許許多多的分支機構，但都是圍繞著在中國獵取最大的經濟利益。在它的存款、放款、投資、國際匯兌等業務中，上海分行都居於舉足輕重的地位。據匯豐行史：“英國的利益主要在長江流域，上海是這個流域的物產集中的口岸……匯豐的總行雖在香港，但壹般說來上海分行承做的生意要多些。”上海分行是匯豐在大陸的管轄行，統轄所有在大陸的分支機構，是調度資金的樞紐。
1921年它又在外灘興建如今這座高7層，占地14畝的大樓，英國人自誇是“從蘇伊士運河到遠東白令海峽最華貴的建築”，1923年建成，位置在今黃浦區外灘中山東壹路10～12號，可見它的資金之雄厚。在當時的上海金融市場上，匯豐有巨大的操縱力，它的金庫中存有龐大數量的黃金和白銀。正由於匯豐在上海外匯市場中占有重要的地位，它取得了外匯市場掛牌銀行的資格。
1935年前匯豐每壹營業日上午9點半掛出外匯牌價，就迅速傳遍了全中國，成為黃金買賣價格和壹些進出口貨物行市的依據。上海較大的英商企業，包括怡和、太古、沙遜三大集團，頤中、亞細亞、蔔內門、中國肥皂四大托拉斯都與匯豐有密切的信貸關系。匯豐還是中國政府償還外債和賠款的主要經受銀行。清政府向英、德、法、俄借的外債和民國初年五國銀行團的善後大借款以及辛醜賠款，每年由各地匯入匯豐等五家銀行收存轉撥。匯豐還從1916年起取得代總稅務司收存保管中國內債的權利。總稅務司是中國海關的行政主官，1853年起至1949年新中國成立前，中國關權除日本侵華時期外，為英、美、法三國把持，總稅務司壹直由英國人擔任，標明中國當時的國家財政部分為外人掌握。中國政府要想動支抵債後的關稅、鹽稅的余額需要經外國銀行團的同意。這樣，積存在匯豐的稅金余額成為該行可調動的壹筆巨大的資金。
1932年匯豐的存款余額高達9.3億港元，接近中國各行存款總數的半數，其實力可想而知。
1937年起，日本發動全面的侵華戰爭，占領沿海口岸後，把匯豐收存的關稅改存在日本設在上海的橫濱正金銀行。二戰中匯豐的業務壹落千丈。
1941年底太平洋戰爭爆發後，日軍侵占上海租界，匯豐被日本強行接管。抗戰勝利後復業，此時在世界力量的格局中，美國已超過英國，在華美商銀行勢力膨脹，匯豐這座曾輝煌壹時的金融帝國只剩下落日的余輝了。新中國成立後到改革開放前，匯豐銀行是僅剩的兩家在上海的英資銀行之壹，和麥加利銀行壹起遷到圓明園路蘭心大樓內，經營中國政府指定的外匯業務。
1955年，匯豐撤出上海，另租圓明園路蘭心大樓的寫字間作為辦事處。大樓歸國有。上海市政府進駐，將其改名“上海市人民政府大樓”，簡稱“市府大樓”。副樓在1956年改為上海市檔案館。
1990年，匯豐曾經與上海市政府接觸，想購回大樓，但最終因價格原因沒有實現。
1991年匯豐銀行上海分行獲準經營全面的外匯業務。
1996年12月，該行成為首批獲準在上海經營人民幣的9家外資銀行之壹。現匯豐銀行上海分行行址遷浦東新區浦東大道1號1樓。
中山東壹路12號現使用單位是上海浦東發展銀行。浦發銀行於1993年1月開業，為股份制商業銀行。該行在上海、北京、杭州、南京、重慶、廣州、寧波、蘇州設立10家分支行。匯豐銀行（今浦東發展銀行）樓在漢口路與福州路之間，它北鄰海關大樓，南鄰福州路。
1997年，上海市政府撤出大樓，上海浦東發展銀行通過置換購得該大樓的使用權。大樓壁畫在翻新工程中被重新發現。
2000年5月，匯豐將其中國業務總部移至上海的浦東。