跟貸款中介簽訂了居間合同也沒有關系，貸款不符合您的需求可以選擇不要。委托合同的乙方雖享有任意解除權，然解除合同根據具體情況亦需承擔相應的違約責任；委托人或者受托人可以隨時解除委托合同。
因解除合同造成對方損失的，除不可歸責於該當事人的事由外，無償委托合同的解除方應當賠償因解除時間不當造成的直接損失，有償委托合同的解除方應當賠償對方的直接損失和合同履行後可以獲得的利益。
房屋貸款委托協議書有效，但是需要委托人進行公證才具有法律效力。根據相關規定，委托貸款協議中，如果委托人和代理人都具有相應的民事行為能力，並且委托的意思表示真實，委托協議中包含有代理事項、權限和期限等事項的，則委托貸款協議是有效的。
法律依據：
《中華人民***和國民法典》
第九百壹十九條
委托合同是委托人和受托人約定，由受托人處理委托人事務的合同。
第九百二十二條
受托人應當按照委托人的指示處理委托事務。需要變更委托人指示的，應當經委托人同意；因情況緊急，難以和委托人取得聯系的，受托人應當妥善處理委托事務，但是事後應當將該情況及時報告委托人。