针对您提出的“只有购房合同抵押贷款的话双方都要到场吗”这一问题，以下是我的详细解答：

在房产抵押贷款的过程中，尤其是当房产属于夫妻共同财产时，夫妻双方通常需要一同到场办理相关手续。这是因为房产作为家庭的重要资产，其抵押事宜与双方的切身权益紧密相关。房产抵押可能会对夫妻双方未来的经济状况产生重大影响，因此双方到场能更好地保障各自的权益，并确保抵押行为的合法性与有效性。

若其中一方因特殊原因无法到场，那么就需要提供经过公证的授权委托书，委托另一方来办理抵押手续。这份授权委托书应当清晰明确地写明委托事项（如具体的抵押房产信息）、权限范围（例如是否可代为签署相关文件等）以及有效期限，以避免出现授权期限不明或权限范围模糊的问题。公证的目的在于确保委托书的真实性和合法性，从而保障抵押手续的顺利进行。

从银行等金融机构的角度来看，它们在房产抵押业务上要求较为严格。为了防止后续可能出现的各种纠纷，夫妻双方最好共同到场办理抵押。若仅一方到场办理，可能导致抵押手续在合法性和有效性上存在问题，进而给双方带来潜在风险。例如，如果抵押权人明知是共有房产却未取得全体共有人同意，那么抵押行为效力可能存在瑕疵，甚至被认定无效。

此外，根据《民法典》等相关规定，以房产抵押的，应当办理抵押登记，抵押合同自登记时生效。办理抵押登记时，登记机关通常会要求抵押人及抵押权人双方均到场，提交身份证明、抵押合同等相关材料。若只有一方到场，登记机关可能因无法核实双方真实意愿及相关情况，而不予办理抵押登记手续。

综上所述，为了确保房产抵押贷款的合法性与有效性，并保障双方的权益，夫妻双方在可能的情况下最好一同到场办理相关手续。若一方无法到场，则需提供经过公证的授权委托书，并明确委托事项、权限范围及有效期限。