结论：离婚时对方起诉要求退还彩礼，一般情况下不会直接连累家里人，但具体是否会产生影响需视情况而定。以下从不同角度进行分析：
一、彩礼退还的法律规定与原则
根据《最高人民法院关于适用〈中华人民共和国民法典〉婚姻家庭编的解释（一）》第五条的规定，当事人请求返还按照习俗给付的彩礼的，如果查明属于以下情形，人民法院应当予以支持：
- 双方未办理结婚登记手续：如果双方并未到婚姻登记机关进行结婚登记，那么给付彩礼的一方有权要求对方返还彩礼。
- 双方办理结婚登记手续但确未共同生活：即使双方已经办理了结婚登记手续，但如果并未共同生活，给付彩礼的一方同样有权要求返还。
- 婚前给付并导致给付人生活困难：如果婚前给付彩礼导致给付人生活困难，那么给付人也有权要求返还彩礼。这里的“生活困难”指的是依靠个人财产和离婚时分得的财产无法维持当地基本生活水平。
二、彩礼退还与家庭成员的关系
- 个人债务与家庭债务的区别：彩礼的退还通常被视为个人债务，而非家庭债务。因此，在一般情况下，彩礼的退还不会直接连累到家庭成员。家庭成员无需因为一方需要退还彩礼而承担额外的经济责任。
- 特殊情况下的家庭责任：然而，也存在一些特殊情况。例如，如果彩礼的给付或退还涉及到家庭共同财产或家庭成员的共同行为，那么家庭成员可能会因此受到一定影响。但这种情况相对较少，且需要具体案件具体分析。
三、应对策略与建议
- 了解法律规定：首先，你需要了解彩礼退还的法律规定和原则，以便在面对对方起诉时能够做出合理的应对。
- 收集证据：如果对方起诉要求退还彩礼，你需要收集相关证据来证明自己的主张。例如，如果你们已经共同生活，你可以提供共同生活的证据；如果彩礼的给付并未导致你生活困难，你也可以提供相应的证据。
- 寻求法律帮助：在面对法律纠纷时，寻求专业的法律帮助是非常重要的。你可以咨询我，了解具体的法律策略和应对措施。
- 与对方协商：在诉讼之前，你也可以尝试与对方进行协商，寻求和解的可能性。通过协商，你们可以达成一个双方都能接受的解决方案，从而避免不必要的法律纠纷。
最后，离婚时对方起诉要求退还彩礼，一般情况下不会直接连累家里人。但具体是否会产生影响还需根据案件的具体情况来判断。如果你有任何疑问或需要进一步的法律帮助，请随时向我咨询。