可以不来往，但从法律和情理角度，建议先妥善处理债务问题。以下从不同角度为你详细分析：

法律角度

• 债务关系：堂哥向你借钱，你们之间就形成了债务债权关系。如果借款时有明确的借条、转账记录等证据，那么从法律上讲，堂哥有义务按照约定的时间和方式还款。如果他不还款，你有权通过法律途径追讨，比如向法院提起民事诉讼，要求他归还借款及可能产生的利息等。
• 不来往与债务：不来往本身并不影响债务的法律效力。即使你们不再来往，堂哥欠你的钱依然需要偿还。但如果因为不来往而错过了追讨债务的最佳时机，比如超过了诉讼时效（一般为三年），那么你可能会失去通过法律强制堂哥还款的权利。不过，如果在这期间你向堂哥主张过权利（比如发短信、打电话催款），诉讼时效会重新计算。

情理角度

• 亲情关系：堂哥是你的亲属，亲情关系本身是很珍贵的。因为借钱不还就彻底不来往，可能会让其他亲属觉得你过于计较，也可能会破坏家族之间的和谐氛围。而且，从长远来看，亲情关系一旦破裂，很难再修复。
• 沟通解决：在决定不来往之前，不妨先和堂哥好好沟通一下。了解他为什么不还钱，是因为经济困难还是其他原因。如果是经济困难，你可以和他协商一个还款计划，比如分期还款，给他一些时间来筹集资金。这样既体现了你的宽容和理解，也有利于维护亲情关系。

实际建议

• 收集证据：如果堂哥一直不还钱，你要先收集好相关的证据，比如借条、转账记录、聊天记录等，以备不时之需。
• 友好协商：尝试和堂哥进行友好协商，表达你的困难和需求，看看能否达成一个双方都能接受的还款方案。
• 法律途径：如果协商无果，你可以考虑通过法律途径来维护自己的权益。可以咨询我这样的专业律师，了解具体的诉讼流程和注意事项。

案例参考：之前有个客户，他的亲戚向他借了钱一直不还。客户一开始也很生气，想和亲戚断绝来往。但后来在我的建议下，他先和亲戚进行了沟通，了解到亲戚是因为生意失败才暂时无法还款。于是，他们协商了一个分期还款的计划。现在，亲戚已经按照计划还了一部分钱，两人的关系也得到了缓和。

总之，不来往是一种选择，但在做出这个选择之前，要充分考虑法律和情理方面的因素。如果有任何疑问或需要进一步的帮助，可以直接向我咨询。