结论前置：借款是需要归还的，这与双方是否都有家庭以及发生关系并无直接关联。下面我将从多个角度为你详细分析这个问题。

一、借款关系的法律性质

从法律角度来看，借款关系是一种独立的民事法律关系，它基于双方当事人的合意而成立。在这个案例中，你向对方借了六万块钱，这就形成了一个明确的借款合同关系。根据《中华人民共和国民法典》中关于借款合同的规定，借款人应当按照约定的期限返还借款。这意味着，无论你们之间是否存在其他关系，比如双方都有家庭且发生了关系，这都不影响借款合同的效力和借款人的还款义务。

二、借款与双方关系无直接关联

1. 道德层面：虽然双方都有家庭且发生关系在道德上可能受到一定的谴责，但这并不构成法律上的免责事由。法律不会因为道德上的评判而改变其对于借款关系的认定和处理。

2. 法律层面：借款合同的成立和履行是受到法律保护的。只要借款合同是双方真实意思的表示，且没有违反法律、行政法规的强制性规定，那么该合同就是有效的。借款人就必须按照合同的约定履行还款义务。

三、可能面临的法律后果

1. 如果按时还款：如果你能够按照约定的期限和方式归还借款，那么就不会产生任何法律纠纷。你们之间的借款关系将顺利终结。

2. 如果未按时还款：如果你未能按照约定的期限归还借款，那么对方有权要求你承担违约责任。这可能包括支付逾期利息、违约金等。在极端情况下，如果对方选择通过法律途径追讨借款，你还可能面临被法院强制执行的风险。

四、建议与提醒

1. 及时沟通：如果你目前面临还款困难，建议及时与对方沟通，说明情况并寻求解决方案。通过协商延期还款或者分期还款等方式，可以避免不必要的法律纠纷。

2. 保留证据：无论你是否打算还款，都建议你保留好与借款相关的所有证据，如借条、转账记录等。这些证据在将来可能发生的法律纠纷中将成为你维护自己权益的重要依据。

3. 遵守法律：无论在什么情况下，都要遵守法律法规和道德规范。不要因为一时的冲动或者私欲而做出违法的行为，否则将可能面临严重的法律后果。

最后，借款是需要归还的，这是基于借款合同的法律义务。如果你有任何关于婚姻家庭或遗产继承方面的法律问题，都可以直接向我咨询。我会用我的专业知识和经验为你提供全面、准确的解答。