结论前置：
- 单纯的“小三”行为，不构成违法犯罪，难以直接通过法律途径起诉对方诽谤或侵犯名誉权，除非能证明其言论存在恶意捏造且造成了实际损害。
- 但如果对方的行为涉及重婚、侵犯财产权益或造成人身损害等，则可能构成违法犯罪，你可以依法追究其法律责任。
详细分析：
一、关于“小三”行为本身的法律性质
- 在大多数情况下，“小三”行为，即与有配偶者发展不正当男女关系，并不直接构成违法犯罪。这种行为主要受到道德层面的谴责，而非法律制裁。因此，如果对方仅仅称你为“小三”，而没有其他具体的违法行为，你难以直接通过法律途径起诉对方。
二、可能构成违法犯罪的情况
重婚罪：
- 如果对方明知你有配偶，仍与你结婚或以夫妻名义共同生活，则可能构成重婚罪。根据《中华人民共和国刑法》第二百五十八条，有配偶而重婚的，或者明知他人有配偶而与之结婚的，处二年以下有期徒刑或者拘役。但认定重婚罪需有充分证据证明双方以夫妻名义共同生活，如共同居住、公开以夫妻名义参加社交活动等。
侵犯财产权益：
- 如果你接受了有配偶者赠与的大额财产，且该赠与行为损害了其配偶的财产权益，那么其配偶可以起诉要求确认赠与行为无效，并要求你返还财产。因为在婚姻关系存续期间，夫妻双方对共同财产有平等的处理权，一方未经另一方同意擅自将共同财产赠与他人，这种赠与行为可能被认定为无效。
侵权责任：
- 如果对方的行为直接对你造成了人身损害或财产损失，如通过欺诈、胁迫等手段导致你遭受精神或物质上的损失，你可以依据《中华人民共和国民法典》的相关规定，向法院提起民事诉讼，要求对方承担侵权责任。例如，如果对方恶意捏造事实，散布谣言，损害你的名誉权，且造成了实际损害，你可以起诉对方侵犯名誉权，要求赔偿损失。
三、关于起诉的注意事项
- 证据收集：无论选择哪种法律途径，都需要收集充分的证据来支持自己的主张。如婚外情一方的保证书、道歉书、照片、录音录像、转账记录、聊天记录等，都可以作为证据使用。
- 法律程序：起诉必须符合法律规定的条件，包括原告与本案有直接利害关系、有明确的被告、有具体的诉讼请求和事实理由等。在起诉前，建议先了解相关的法律程序和规定，以确保起诉的顺利进行。
四、建议与总结
- 如果对方仅仅称你为“小三”，而没有其他具体的违法行为，建议优先通过沟通、协商等方式解决，避免不必要的法律纠纷。
- 如果对方的行为涉及重婚、侵犯财产权益或造成人身损害等，且你有充分的证据支持自己的主张，那么可以依法追究其法律责任。
- 在处理这类问题时，建议保持冷静和理性，避免情绪化的行为导致问题进一步恶化。
最后，我想强调的是，虽然“小三”行为本身不构成违法犯罪，但这种行为违背了公序良俗和社会道德规范，会对他人的婚姻家庭造成伤害。因此，我们应该尊重他人的婚姻和家庭，遵守社会道德和法律法规。如果你有任何法律问题或需要进一步的帮助，请随时向我咨询。