首先，了解當地的房地產政策
不同地區對“二套房”的認定可能存在差異，需要先了解所在地的具體政策。包括了解當地對二套房的認定標準、購房限制、貸款政策等。
二、分析個人財產和貸款。
購房者在考慮購買二套房時，需要仔細分析自己名下的房產數量和貸款記錄。如果購房人名下已經有壹套房產，且該房產的貸款已經還清，那麽在購買第二套房時，可能會認定為二套房。另外，如果購房人之前有貸款買房記錄，即使貸款已經還清，也可能影響二套房的認定。
第三，咨詢專業機構或銀行
由於房產政策和貸款政策隨時可能調整，購房者最好先咨詢專業機構或銀行，再決定買房。這些機構可以根據購房者的具體情況，提供專業的二套房鑒定意見。
第四，合理規劃購房計劃。
購房者可以根據對當地政策的了解和個人情況，合理規劃自己的購房計劃。如果購房者打算買二套房，而且有可能被認定為二套房，那麽就要做好相應的準備，比如提高首付比例，接受更高的貸款利率。
總而言之:
首套房退回後是否買第二套房，主要看當地的房地產政策和購房人的個人財產和貸款情況。購房者應充分了解相關政策，分析個人情況，咨詢專業機構或銀行後再決定買房。在購房計劃中，購房者要合理考慮識別二套房可能出現的問題，做好相應的準備。
法律依據:
《中華人民共和國城市房地產管理法》
第37條規定:
房地產轉讓是指房地產權利人通過買賣、贈與或者其他合法方式將其房地產轉移給他人的行為。
個人貸款管理暫行辦法
第11條規定:
個人貸款申請應符合以下條件:
(1)借款人是具有完全民事行為能力的中華人民共和國公民或符合國家有關規定的境外自然人；
(2)貸款用途明確、合法；
(3)申請貸款的金額、期限和幣種合理；
(4)借款人有還款意願和能力；
(5)借款人信用狀況良好，無重大不良信用記錄；
(6)貸款人要求的其他條件。