可以起诉。当婚外情男人向你借钱不还时，你作为债权人，有权通过法律途径来维护自己的合法权益。以下是从不同角度对此问题的详细分析：
一、法律关系分析
债权债务关系：借款行为一旦发生，就形成了债权债务关系。你作为债权人，有权要求债务人（即婚外情男人）按照约定履行还款义务。这种关系不受双方是否存在婚外情的影响，法律只关注借款事实本身。
证据要求：为了证明借款事实的存在，你需要提供充分的证据。这些证据可以包括借条、转账记录、聊天记录等。借条是最直接的证明，它明确了借款的时间、金额、还款期限等关键信息。如果没有借条，转账记录和聊天记录等也可以作为辅助证据，证明双方有借款的合意和款项的交付。
二、起诉流程与要点
起诉条件：根据《民事诉讼法》的相关规定，起诉需要满足以下条件：原告是与本案有直接利害关系的公民；有明确的被告；有具体的诉讼请求和事实、理由；属于人民法院受理民事诉讼的范围和受诉人民法院管辖。在你的情况下，你作为债权人，满足原告的条件；婚外情男人作为债务人，是明确的被告；你的诉讼请求是要求对方还款，有具体的事实和理由；且该纠纷属于人民法院受理民事诉讼的范围。
起诉材料：在起诉时，你需要准备以下材料：原、被告的身份证明；起诉状，明确写明借款的时间、金额、约定的还款期限等关键信息；以及相关证据材料，如借条、转账记录、聊天记录等。
审理流程：法院会根据双方提供的证据进行审理。如果证据充分，能够证明借款事实的存在，法院会支持你的诉讼请求，判决对方归还借款及可能产生的利息等费用。审理流程包括宣布开庭、法庭调查、举证质证、法庭辩论和法庭调解等环节。
三、特殊情况与注意事项
涉及夫妻共同财产：如果你的借款资金来源涉及你配偶的财产，且未经配偶同意，那么你的配偶可能对该债权主张自己的权利。在这种情况下，你需要考虑配偶的权益，并可能需要在诉讼中作出相应的安排。
违背公序良俗的影响：虽然婚外情关系及借款行为本身不影响债权债务关系的成立，但如果这些行为违背了公序良俗，可能会在某种程度上影响案件的结果。法院在审理案件时，会考虑社会道德和公共利益的因素。
执行难度：即使你胜诉了，如果对方确实无力偿还，执行起来可能会遇到困难。在这种情况下，你可以考虑与对方协商分期还款或者采取其他执行措施。
建议：如果你遇到了婚外情男人借钱不还的情况，我建议你首先收集并保存好相关证据，然后向有管辖权的法院提起诉讼。在诉讼过程中，要遵循法定程序，积极配合法院的审理工作。如果有任何疑问或需要进一步的法律帮助，你可以直接向我咨询。