关于“已婚男人给我转账我要还回去吗”这个问题，答案取决于多个因素，包括转账的性质、资金来源，以及是否存在特定的法律关系或约定。

首先，如果这笔转账属于夫妻共同财产，并且未经配偶同意，那么该转账行为可能被认定为无权处分。在这种情况下，配偶有权要求你返还转账款项，因为夫妻对共同财产有平等的处理权，一方擅自将大额共同财产赠与他人，侵犯了配偶的财产权益。

其次，如果转账金额较小，且符合日常的人情往来或赠与性质，比如在特殊节日发的小额红包等，一般认定为具有赠与的意思表示。这种情况下，你通常不需要返还转账款项。

另外，如果转账是基于合法的债务关系，比如他向你借款后转账还款，那么你通常不能随意要求返还。

最后，如果转账涉及违法活动，如基于不正当关系的利益输送等，相关款项可能会根据具体法律规定进行处理，有可能被依法追缴或要求返还。

综上所述，是否需要返还转账取决于具体情况。如果你不确定如何处理这笔转账，建议咨询专业律师以获取更具体的法律意见和帮助。同时，为了避免不必要的麻烦和纠纷，建议谨慎处理与已婚人士的财务往来。