结论前置：
- 原配可以起诉小三要求返还财产：在婚姻关系存续期间，若一方未经另一方同意，擅自将夫妻共同财产赠与第三者，原配有权通过法律途径要求第三者返还财产。
- 小三一般不能直接起诉“渣男”要求返还财产（除非存在特定情形）：在大多数情况下，小三与“渣男”之间的财产往来，若不存在欺诈、胁迫等法定撤销事由，或“渣男”未违反法律强制性规定，小三通常无法直接起诉要求返还。但若涉及借款等特定法律关系，则可能另当别论。
详细分析：
一、原配起诉小三要求返还财产
在婚姻关系存续期间，夫妻双方对共同财产享有平等的处理权。若一方未经另一方同意，擅自将夫妻共同财产赠与第三者，这种行为不仅违反了夫妻间的忠诚义务，也损害了另一方的财产权益。根据《中华人民共和国民法典》的相关规定，原配有权通过法律途径要求第三者返还财产。
具体法律依据：
- 《民法典》第一千零六十二条：夫妻在婚姻关系存续期间所得的下列财产，为夫妻的共同财产，归夫妻共同所有，双方有平等的处理权。
- 在司法实践中，法院通常会认定这种擅自赠与的行为无效，并判决第三者返还财产。
二、小三起诉“渣男”要求返还财产
一般情况：
- 在大多数情况下，小三与“渣男”之间的财产往来，若不存在欺诈、胁迫等法定撤销事由，或“渣男”未违反法律强制性规定，小三通常无法直接起诉要求返还。因为这种财产往来往往被视为双方自愿的行为，除非能够证明存在法律上的无效或可撤销情形。
特定情形：
- 借款关系：如果“渣男”向小三借款，并出具了借条等借款凭证，那么小三有权依据借款合同起诉“渣男”要求还款。
- 不当得利：如果“渣男”没有合法依据而获得了小三的财产，且这种获得给小三造成了损失，那么小三有权依据不当得利的规定起诉“渣男”要求返还。
- 其他法定情形：如“渣男”存在欺诈、胁迫等行为，导致小三在违背真实意思的情况下处分了财产，小三也有权起诉要求撤销相关行为并返还财产。
建议与提醒：
- 对于原配而言，如果发现配偶擅自将夫妻共同财产赠与第三者，应及时收集证据并咨询专业律师，通过法律途径维护自己的合法权益。
- 对于小三而言，如果与“渣男”之间存在财产纠纷，应首先明确双方之间的法律关系，并咨询专业律师以了解自己的权利和义务。在涉及借款等特定法律关系时，务必保留好相关证据以便维权。
后续行动指导：
如果您或您身边的人遇到了类似的问题，可以直接向我咨询。我会根据您的具体情况提供详细的法律建议和解决方案。