可以起诉要回，但能否胜诉取决于借款事实是否成立及证据是否充分。以下从不同角度为您详细分析：
一、借款事实是否成立
存在书面借款协议：
- 如果夫妻之间有书面的借款协议，明确约定了借款金额、还款期限、利息等条款，那么这份协议就是证明借款事实成立的有力证据。在这种情况下，男方起诉要求女方还款，胜诉的可能性较大。
无书面协议但有其他证据：
- 如果夫妻之间没有书面借款协议，但男方能够提供其他证据来证明借款事实，如转账记录、聊天记录、录音录像等，这些证据也可以作为认定借款事实成立的依据。不过，由于夫妻关系的特殊性，这些证据的证明力可能会受到一定影响，需要结合其他证据进行综合判断。
无任何证据：
- 如果男方无法提供任何证据来证明借款事实，那么起诉要求女方还款可能会面临较大的困难。因为法院在审理案件时，需要依据证据来认定事实，如果没有证据支持男方的诉求，法院可能会驳回其诉讼请求。
二、证据是否充分
证据的合法性：
- 男方提供的证据必须合法有效，不能违反法律法规的强制性规定。例如，如果男方通过非法手段获取的录音录像作为证据，那么这份证据可能会被法院排除在外。
证据的关联性：
- 男方提供的证据必须与借款事实具有关联性，能够直接或间接证明借款事实的存在。如果证据与借款事实无关，那么这份证据对案件的审理没有帮助。
证据的充分性：
- 男方提供的证据必须充分，能够形成完整的证据链，证明借款事实的全部要素。如果证据不足或存在矛盾，那么法院可能会对借款事实的真实性产生怀疑，从而影响男方的胜诉机会。
三、法律建议
收集并保存证据：
- 如果男方认为与女方之间存在借款关系，建议尽快收集并保存相关证据，如书面借款协议、转账记录、聊天记录等。这些证据在后续起诉时将起到至关重要的作用。
咨询专业律师：
- 在起诉前，男方可以咨询专业律师，了解案件的法律风险和胜诉可能性。律师可以根据男方的具体情况，提供针对性的法律建议和诉讼策略。
考虑夫妻关系：
- 由于夫妻关系的特殊性，男方在起诉前需要慎重考虑。如果双方能够通过协商解决问题，那么起诉可能不是最佳选择。因为起诉可能会加剧夫妻之间的矛盾，对家庭关系造成进一步损害。
案例参考：假设男方与女方之间有书面借款协议，明确约定了借款金额和还款期限。男方按照协议约定向女方转账了借款金额。后来，女方未按照协议约定还款。在这种情况下，男方起诉要求女方还款，并提供了书面借款协议和转账记录作为证据。法院在审理案件时，认定借款事实成立，并判决女方按照协议约定还款。
如果您有进一步的法律问题或需要更具体的法律建议，请直接向我咨询。