夫妻双方共同向银行贷款时，担保人是否有责任，主要取决于担保合同的签订情况及担保债务的性质。以下是对此问题的详细分析：
担保合同签订情况：
- 若担保人仅与夫妻一方签订担保合同：在此情况下，担保人的责任通常仅限于与签订合同的那一方夫妻之间的债务关系。如果另一方夫妻未在该担保合同上签字或未以其他方式表示同意，则担保人对另一方夫妻不承担担保责任。
- 若担保人与夫妻双方共同签订担保合同：此时，担保人的责任将涵盖夫妻双方的共同债务。这意味着，无论债务是由哪一方夫妻产生的，担保人都需承担相应的担保责任。
担保债务的性质：
- 若担保债务属于夫妻共同债务：根据《中华人民共和国民法典》的相关规定，夫妻共同债务包括双方共同签名或一方事后追认的债务，以及一方为家庭日常生活需要所负的债务。若担保债务被认定为夫妻共同债务，则担保人需对夫妻双方承担担保责任。
- 若担保债务不属于夫妻共同债务：例如，如果担保债务是夫妻一方为个人目的（如个人投资、消费等）而产生的，且未得到另一方的同意或追认，则该债务通常不被视为夫妻共同债务。在此情况下，担保人仅对签订担保合同的那一方夫妻承担担保责任。
特殊情形下的责任：
- 担保收益用于夫妻共同生活或经营：如果担保行为获得的收益实际用于夫妻共同生活或共同生产经营，如因担保获得介绍费并用于家庭日常开支或购买共同房产，这种情况下，担保债务可能被认定为夫妻共同债务，担保人需对夫妻双方承担相应责任。
- 事后追认：即使起初只有夫妻一方与担保人签订担保合同，但若另一方后来通过明示（如书面声明愿意共同承担担保责任）或默示（如积极参与处理担保相关事宜，使债权人有理由认为其认可担保行为）的方式进行了追认，那么该担保债务也会转化为夫妻共同债务，担保人需对夫妻双方承担相应责任。
法律建议：
- 在签订担保合同前，担保人应仔细审查合同内容，确保自己清楚了解担保的债务范围、责任期限等关键条款。
- 如果担保人希望仅对夫妻一方承担担保责任，应在合同中明确约定，并避免与夫妻双方共同签订担保合同。
- 若担保债务可能涉及夫妻共同债务，担保人应要求夫妻双方共同签字或取得另一方的书面追认，以降低自己的法律风险。
可能法律后果：
- 如果担保人未按照担保合同的约定履行担保责任，债权人有权要求担保人承担相应的法律责任，包括但不限于偿还债务、支付违约金等。
- 在夫妻共同债务的情况下，如果担保人未履行担保责任，债权人可能同时向夫妻双方追偿，导致担保人面临更大的经济压力。
综上所述，夫妻双方共同向银行贷款时，担保人的责任取决于担保合同的签订情况及担保债务的性质。担保人在签订担保合同前应充分了解相关法律风险，并在必要时寻求专业法律意见。如有任何疑问或需要进一步的法律帮助，请直接向我咨询。