在合同中約定違約金的情況下，通常是為了確保銀行能夠收回預期的利息和費用，以彌補因提前還款而導致的利息損失。這種約定屬於合同自由原則的壹部分，即雙方在簽訂合同時自由協商並達成壹致。
作為借款人，您有權了解合同中的具體條款，並根據自己的情況來決定是否提前還款。如果您不同意支付提前還款違約金，您可以與銀行進行溝通，並尋求協商解決的可能性。有時候銀行可能會根據您的情況，考慮減免或調整違約金的金額。
然而，最終是否可以拒絕交納違約金取決於您與銀行的協商結果和具體合同條款的規定。建議您與工商銀行的客戶服務部門或貸款部門直接聯系，詳細了解他們的政策和可行的解決方案，以便作出明智的決策。