首先，我们要明确一点：单纯的口头协议，在没有其他证据支持的情况下，是很难在法律上站得住脚的。现在，我来详细分析一下您的情况。

您与亲戚之间关于买房的口头协议已经存在了28年，这期间如果对方一直没有提出异议，而您也一直在居住和使用该房产，那么从法律上来说，这可能会涉及到一些复杂的问题，比如实际履行、默示同意以及善意取得等。但是，最关键的还是要看是否有足够的证据来证明这个口头协议的存在和内容。

1. 如果有证据支持口头协议：

   • 如果您能提供证人证言、书面记录、录音或其他任何形式的证据来证明这个口头协议的存在和内容，并且这些证据能够被法院认可，那么对方想要回房子就不是那么容易了。因为法院可能会认为，双方已经通过实际行为履行了这个协议，您已经善意地取得了房产，并且对方在这么长的时间内都没有提出异议，可以视为默示同意。

2. 如果没有证据或证据不足：

   • 如果您无法提供足够的证据来证明口头协议的存在和内容，那么对方就有可能通过法律途径来要求回房子。因为在这种情况下，法院很难认定双方之间是否存在有效的买卖协议，而房产的产权通常是以登记为准的。

无论哪种情况，我都建议您尽快咨询专业的律师，并尽可能收集所有与这个口头协议相关的证据。因为房产纠纷往往涉及到大量的财产利益，处理不当可能会给您带来很大的损失。

最后，我要提醒您的是，虽然口头协议在某些情况下可能具有一定的法律效力，但为了避免类似的纠纷，最好还是签订书面的买卖合同，并办理相关的产权登记手续。这样，您的权益才能得到更好的保障。