结论：对方有录音证明你说其是关系户，并不一定会直接起诉你，是否起诉取决于多种因素。以下从不同角度为你详细分析：

从法律责任角度

• 名誉权侵权风险：如果录音内容中你明确且毫无事实依据地指责对方是关系户，且该言论在公开场合传播或对对方的社会评价造成了负面影响，那么对方有可能以名誉权受到侵害为由起诉你。根据《中华人民共和国民法典》第一千零二十四条规定，民事主体享有名誉权。任何组织或者个人不得以侮辱、诽谤等方式侵害他人的名誉权。例如，你在公司会议上当众说某同事是靠关系进来的，没有任何能力，且这种说法被广泛传播，导致该同事在同事和领导心中的形象受损，那么该同事就有可能起诉你侵犯其名誉权。
• 举证责任：在名誉权侵权诉讼中，对方需要承担举证责任，证明你实施了侮辱、诽谤等侵权行为，且该行为与其名誉受损之间存在因果关系。如果对方只是有录音，但录音内容并不能充分证明你的言论对其名誉造成了实际损害，或者你能够提供证据证明你的言论是有事实依据的，那么对方起诉你也不一定能胜诉。比如，你指出对方是关系户是因为你掌握了其亲属在公司担任重要职位且对其有特殊照顾的证据，那么你的言论就不构成诽谤。

从对方主观意愿角度

• 是否选择起诉：即使对方认为你的言论侵犯了其名誉权，也不一定会选择起诉。起诉需要耗费一定的时间、精力和金钱，对方可能会权衡利弊后选择其他方式解决，比如与你私下沟通，要求你道歉并消除影响；或者通过公司内部渠道解决，如向人力资源部门反映情况等。例如，对方可能觉得起诉过程繁琐，且不想把事情闹大，影响自己的工作和生活，所以选择与你协商解决。
• 和解可能性：在很多情况下，双方可以通过协商达成和解，避免诉讼。你可以主动与对方沟通，表达自己的歉意，说明自己当时可能是情绪激动或者误解了情况，希望对方能够谅解。如果对方接受你的道歉，双方可以签订和解协议，约定彼此不再追究此事。

应对建议

• 保留证据：如果你认为自己所说的话是有事实依据的，那么要保留好相关证据，如能够证明对方是靠关系获得某种利益的文件、聊天记录、证人证言等。这些证据可以在对方起诉你时，帮助你进行抗辩。
• 谨慎言行：在日常生活中，要注意自己的言行举止，避免在没有充分证据的情况下随意指责他人。尤其是在公开场合或者可能被录音、录像的环境中，更要谨慎表达自己的观点。
• 积极沟通：如果对方已经表示要起诉你或者你意识到自己的言论可能引起了对方的不满，建议主动与对方沟通，尝试化解矛盾。通过诚恳的道歉和积极的沟通，有可能避免诉讼的发生。

如果你还有其他疑问或者需要进一步的法律帮助，可以直接向我咨询，我会根据你的具体情况为你提供详细的法律建议。