结论：在对方明知有家庭还来往的情况下，您一般不能直接起诉对方，但可以根据具体情况采取其他法律措施来维护自身权益。以下是对此问题的详细分析：

一、起诉的直接对象与条件

在婚姻家庭纠纷中，若您想通过法律途径解决对方与有家庭者来往的问题，首先需要明确的是，直接起诉对方（即“第三者”）通常不是法律上的常规做法。根据我国现行法律，婚姻关系中的过错方（即您的配偶）是主要的责任承担者，而“第三者”并不直接对婚姻关系的破裂承担法律责任，除非其行为构成重婚或与他人同居等特定情形，且这些情形在法律上有明确的界定和处罚。

二、可采取的法律措施

1. 针对配偶的诉讼：

   • 离婚诉讼：如果您与配偶的婚姻关系已经无法挽回，您可以向法院提起离婚诉讼。在离婚诉讼中，您可以主张配偶存在过错（如与他人有不正当关系），并据此要求法院在分割夫妻共同财产时给予您更多的份额，或者要求配偶给予您一定的损害赔偿。
   • 损害赔偿请求：根据《中华人民共和国民法典》的相关规定，因一方重婚、与他人同居等过错行为导致离婚的，无过错方有权请求损害赔偿。这里的“损害赔偿”包括物质损害赔偿和精神损害赔偿。

2. 针对“第三者”的间接措施：

   • 证据收集：虽然您不能直接起诉“第三者”，但您可以收集其与您配偶来往的证据，如聊天记录、照片、视频等，这些证据在离婚诉讼中可能对您有利。
   • 道德谴责与舆论压力：除了法律途径外，您还可以通过道德谴责、向亲友倾诉、利用社交媒体等方式对“第三者”施加舆论压力，迫使其停止与您配偶的来往。但需要注意的是，这种方式应遵守法律法规，不得侵犯他人的合法权益。

三、特殊情况下的法律责任

• 重婚罪：如果“第三者”明知您配偶已婚仍与其登记结婚或以夫妻名义共同生活，且情节严重，那么“第三者”和您的配偶都可能构成重婚罪，将受到刑事处罚。但这种情况相对较少见，且需要严格的证据支持。
• 与他人同居：如果“第三者”与您配偶长期以夫妻名义共同生活，但未登记结婚，这虽然不构成重婚罪，但可能构成与他人同居的违法行为。在离婚诉讼中，您可以据此主张配偶存在过错，并要求相应的损害赔偿。

四、建议与提醒

• 保持冷静与理智：面对此类问题，保持冷静和理智至关重要。不要因情绪激动而采取过激行为，以免给自己和他人带来不必要的麻烦。
• 寻求专业帮助：如果您在此过程中遇到法律难题或需要进一步的法律建议，请随时向我咨询。作为专业律师，我将根据您的具体情况提供有针对性的法律帮助。
• 保护自身权益：在处理此类问题时，务必注意保护自己的合法权益。不要轻易放弃自己的权利，也不要因对方的威胁或诱惑而做出不利于自己的决定。

总之，虽然您不能直接起诉明知对方有家庭还来往的“第三者”，但您可以通过其他法律措施来维护自身权益。如有任何疑问或需要进一步的法律帮助，请随时向我咨询。