仅知道小三的电话，没有其他证据的情况下，一般不能直接将小三告上法庭并追究其法律责任。以下从几个角度进行详细分析：

一、法律责任的追究需要证据支持

在法律程序中，无论是民事诉讼还是刑事诉讼，都需要有充分的证据来支持原告的诉求。仅知道小三的电话，而没有其他如聊天记录、转账记录、共同居住的证明等实质性证据，很难证明小三与出轨方之间存在不正当关系，更无法证明小三实施了违法行为。

二、法律对小三行为的界定

1. 道德层面：小三的行为主要受到道德层面的谴责，因为其破坏了他人的婚姻家庭关系。然而，道德谴责并不等同于法律责任。

2. 法律层面：在《民法典婚姻家庭编》中，并没有明确规定小三破坏别人家庭是违法的。法律主要关注的是婚姻关系中的权利义务，以及因婚姻关系产生的财产分割、子女抚养等问题。除非小三的行为涉及到了虐待、遗弃、重婚、暴力干涉婚姻自由等严重危害社会治安的行为，否则法律一般不会直接追究其责任。

三、可能的法律途径

1. 离婚诉讼中的财产分割：如果出轨方与小三之间存在财产往来，如转账、购房等，且这些财产属于夫妻共同财产，那么在离婚诉讼中，无过错方可以要求出轨方返还这些财产，并可能因此间接涉及到小三。但这一过程仍然需要充分的证据来支持。

2. 重婚罪的认定：如果出轨方与小三以夫妻名义共同生活，且周围群众也认为他们是夫妻关系，那么出轨方可能构成重婚罪。但这一认定过程同样需要充分的证据，如共同居住的证明、周围群众的证言等。仅知道小三的电话，显然无法满足这一要求。

四、建议与措施

1. 收集证据：如果怀疑配偶与小三存在不正当关系，应尽可能收集相关证据，如聊天记录、转账记录、共同居住的证明等。这些证据将有助于在法律程序中维护自己的权益。

2. 咨询专业律师：在面临婚姻家庭纠纷时，建议咨询专业律师以获取更具体的法律建议。律师可以根据具体情况提供针对性的法律策略，帮助当事人更好地维护自己的权益。

3. 保持冷静与理性：在处理婚姻家庭纠纷时，保持冷静与理性至关重要。避免因情绪激动而做出过激行为，以免给自己带来不必要的麻烦。