公司向银行借款时，确实可以由担保公司提供连带责任担保。以下是对这一问题的详细解释：
一、连带责任担保的法律基础
根据《中华人民共和国民法典》的相关规定，担保方式包括一般保证和连带责任保证。在连带责任保证中，当债务人（即公司）不履行到期债务或者发生当事人约定的情形时，债权人（即银行）可以请求债务人履行债务，也可以直接请求保证人（即担保公司）在其保证范围内承担保证责任。这意味着，担保公司需要承担与债务人同等的还款责任，银行有权直接向担保公司追偿。
二、连带责任担保的设定
合同约定：公司向银行借款时，可以与担保公司签订担保合同，明确约定担保公司承担连带责任保证。这是最常见的方式，通过合同条款来明确各方的权利和义务。
法律规定：在某些情况下，即使合同中没有明确约定连带责任保证，但根据法律规定或交易习惯，也可能被认定为连带责任保证。然而，在大多数情况下，为了明确和保障各方的权益，建议通过合同条款来明确约定。
三、连带责任担保的后果
对担保公司的影响：一旦公司无法按时偿还银行贷款，担保公司需要承担还款责任。这可能导致担保公司面临资金压力，甚至影响其正常运营。因此，担保公司在提供连带责任保证时，通常会要求公司提供反担保或其他风险控制措施。
对银行的影响：银行在获得担保公司的连带责任保证后，其债权得到了更充分的保障。即使公司无法按时还款，银行也有权直接向担保公司追偿，从而降低了贷款风险。
四、实际操作中的注意事项
合同条款的明确性：在签订担保合同时，应明确约定担保方式、担保范围、担保期限等关键条款，以避免后续争议。
担保公司的资质和信誉：公司在选择担保公司时，应充分考虑其资质和信誉情况，确保担保公司具备足够的偿债能力和良好的信誉记录。
风险控制措施：为了降低担保风险，公司可以与担保公司协商采取反担保、保证金等风险控制措施。
总结与建议：公司向银行借款时，可以由担保公司提供连带责任担保。这有助于增强银行的贷款信心，降低贷款风险。然而，公司在选择担保公司和签订担保合同时，应充分考虑各种因素，确保合同条款的明确性和风险控制措施的有效性。如果你在这方面有任何疑问或需要进一步的法律帮助，请随时向我咨询。