结论：借款行为本身若不构成非法吸收公众存款罪，担保人是否需要承担责任，取决于借款合同及担保合同的效力、担保人的过错程度以及主债务人的履行情况等多种因素。以下从不同角度进行详细分析：
一、借款合同及担保合同效力对担保人责任的影响
借款合同有效，担保合同有效：
- 若借款合同是双方真实意思表示，且不违反法律、行政法规的强制性规定，那么借款合同有效。
- 担保合同作为借款合同的从合同，若同样基于双方真实意思表示，且担保方式、担保范围等条款明确合法，那么担保合同也有效。
- 在此情况下，若主债务人（借款人）未能按期履行还款义务，担保人需按照担保合同的约定承担相应的担保责任，如连带责任保证中的担保人需与主债务人共同承担还款责任。
借款合同有效，担保合同无效：
- 若担保合同因存在欺诈、胁迫、恶意串通等情形，或者担保方式、担保范围等条款违反法律、行政法规的强制性规定而无效，那么担保人可能无需承担担保责任。
- 但若担保人存在过错，如明知担保合同无效仍提供担保，或者因疏忽大意未尽到审查义务等，担保人可能需根据其过错程度承担相应的赔偿责任，但通常这种赔偿责任会小于或等于其原本应承担的担保责任。
二、担保人过错程度对责任的影响
- 无过错担保人：若担保人对于借款合同的无效或担保合同的无效没有过错，如完全不知情且已尽到合理审查义务，那么担保人通常无需承担任何责任。
- 有过错担保人：若担保人对于借款合同的无效或担保合同的无效存在过错，如明知借款用途非法仍提供担保，或者未对借款人的信用状况进行合理审查等，那么担保人需根据其过错程度承担相应的赔偿责任。这种赔偿责任可能包括但不限于对债权人因此遭受的损失进行部分或全部赔偿。
三、主债务人履行情况对担保人责任的影响
- 主债务人已履行：若主债务人已按期履行还款义务，那么无论担保合同是否有效，担保人都无需承担任何责任。
- 主债务人未履行：若主债务人未能按期履行还款义务，且担保合同有效，那么担保人需按照担保合同的约定承担担保责任。若担保合同无效但担保人存在过错，担保人则需根据其过错程度承担相应的赔偿责任。
四、特殊情况下的担保人责任
- 担保人免责情形：根据《民法典》等相关法律法规的规定，存在某些特定情形下担保人可以免除担保责任，如主合同当事人双方串通骗取担保人提供保证、主合同债权人采取欺诈、胁迫等手段使担保人在违背真实意思的情况下提供保证等。
- 担保人追偿权：若担保人已承担担保责任或赔偿责任，且其承担责任的原因并非因其自身过错导致担保合同无效或借款合同无效，那么担保人有权向主债务人或其他相关责任人进行追偿。
建议：在实际操作中，担保人在提供担保前应充分了解借款人的信用状况、借款用途及还款能力等信息，并仔细审查借款合同及担保合同的条款内容，以确保自身权益不受损害。若您作为担保人面临相关法律问题或纠纷，可以直接向我咨询，我会根据您的具体情况提供专业的法律建议和解决方案。