结论：是否可以一起起诉“小三”和“渣男”（这里“渣男”我们理解为出轨方配偶），需根据具体诉求和法律关系来判断，一般情况下不能直接将二者作为共同被告起诉，但在特定情形下可分别主张权利。以下从不同角度详细分析：

从离婚纠纷角度

如果您的诉求是在离婚过程中，因配偶出轨（“渣男”行为）以及“小三”介入婚姻导致感情破裂，想要起诉离婚并主张损害赔偿：

• 针对出轨配偶：根据《中华人民共和国民法典》第一千零七十九条，夫妻一方要求离婚的，可以由有关组织进行调解或者直接向人民法院提起离婚诉讼。人民法院审理离婚案件，应当进行调解；如果感情确已破裂，调解无效的，应当准予离婚。同时，第一千零九十一条规定，有下列情形之一，导致离婚的，无过错方有权请求损害赔偿：（一）重婚；（二）与他人同居；（三）实施家庭暴力；（四）虐待、遗弃家庭成员；（五）有其他重大过错。若出轨配偶存在上述与他人同居等重大过错情形，您作为无过错方在离婚诉讼中可以一并主张损害赔偿，此时出轨配偶是离婚诉讼的被告。
• 针对“小三”：在离婚诉讼中，一般不能直接将“小三”列为共同被告。因为离婚诉讼主要是解决夫妻双方之间的婚姻关系、财产分割、子女抚养等问题，“小三”并非婚姻关系的主体。但是，如果“小三”与出轨配偶存在重婚行为，即有配偶者又与他人结婚或者明知他人有配偶而与之结婚的，您可以在离婚诉讼之外，以重婚罪向公安机关报案，追究他们的刑事责任；也可以在离婚后，单独就因重婚行为给自己造成的损害，向“小三”和出轨配偶提起民事诉讼，要求赔偿。

从财产纠纷角度

如果出轨配偶在婚姻关系存续期间，未经您同意，将夫妻共同财产赠与“小三”，您想要追回财产：

• 可以起诉“小三”：根据法律规定，夫妻在婚姻关系存续期间所得的财产，归夫妻共同所有，双方有平等的处理权。出轨配偶擅自将夫妻共同财产赠与“小三”，属于无权处分，且该赠与行为违背公序良俗，应属无效。您可以以“小三”为被告，出轨配偶为第三人，向人民法院提起诉讼，要求确认赠与行为无效，并返还财产。在这种情况下，出轨配偶并非必须作为被告，但可以作为第三人参与诉讼，以查明案件事实。

从侵权纠纷角度

如果“小三”的行为对您的名誉权、隐私权等人格权造成了侵害，例如“小三”公开散布关于您的谣言、恶意诋毁您等：

• 可以起诉“小三”：根据《中华人民共和国民法典》关于人格权的规定，自然人享有名誉权、隐私权等人格权，任何组织或者个人不得以侮辱、诽谤等方式侵害他人的名誉权，不得侵害他人的隐私权。若“小三”的行为构成侵权，您可以单独以“小三”为被告，向人民法院提起侵权诉讼，要求其停止侵害、赔礼道歉、消除影响、赔偿损失等。此时，出轨配偶一般不涉及该侵权纠纷，除非其与“小三”存在共同侵权的故意和行为。

建议：如果您遇到此类情况，建议您先收集相关证据，如出轨配偶与“小三”的聊天记录、照片、视频、财产赠与凭证等，以便在诉讼中证明自己的主张。同时，您可以根据具体的诉求和实际情况，选择合适的法律途径来维护自己的合法权益。如果您还有其他疑问或需要进一步的帮助，可以直接向我咨询。