结论：关于您交了装修设计费但未签协议，且四五年双方都没有联系的情况下能否要求退还装修设计费的问题，这主要取决于双方是否存在事实上的合同关系、设计工作是否完成以及是否已交付使用，同时还需要考虑诉讼时效的问题。以下是对此问题的详细分析：
一、合同关系的认定
事实合同关系：尽管双方没有签订书面的装修设计合同，但如果存在口头协议，并且您已经支付了设计费，设计方也实际进行了设计工作，那么双方之间可能形成了事实上的合同关系。在这种情况下，设计方有权按照约定收取设计费，而您也有权要求设计方按照约定完成设计工作并交付设计成果。
无合同关系：如果双方既没有签订书面合同，也没有形成口头协议，且设计方并未实际进行设计工作或未交付设计成果，那么您有权要求设计方退还已支付的设计费。
二、设计工作的完成与交付
设计工作已完成并交付：如果设计方已经完成了设计工作并交付给了您，且您已经使用了该设计成果（例如，已经按照设计方案进行了装修），那么您可能难以要求设计方退还设计费。因为设计方已经履行了其合同义务，您也享受了设计成果带来的利益。
设计工作未完成或未交付：如果设计方尚未完成设计工作或未交付设计成果，且您能够证明这一点（例如，通过聊天记录、邮件往来等证据），那么您有权要求设计方退还已支付的设计费。因为设计方未能履行其合同义务，您有权要求解除合同并返还已支付的款项。
三、诉讼时效的考虑
根据《中华人民共和国民法典》的相关规定，向人民法院请求保护民事权利的诉讼时效期间为三年。从您描述的情况来看，已经过去了四五年，这可能超过了诉讼时效期间。然而，诉讼时效期间并非绝对不可中断或延长。如果在此期间内，您曾向设计方主张过权利（例如，通过电话、邮件等方式要求退还设计费），或者设计方曾承认过其债务（例如，在聊天记录中表示愿意退还设计费），那么诉讼时效期间可能会中断或重新计算。
四、建议与措施
收集证据：首先，您需要收集所有与装修设计费支付、设计工作完成与交付相关的证据，包括支付凭证、聊天记录、邮件往来等。这些证据将有助于您证明双方之间存在合同关系、设计工作的完成情况以及您是否曾主张过权利。
与对方协商：在收集到足够证据后，您可以尝试与设计方进行协商，要求其退还设计费。如果设计方同意退还，那么您可以签订书面协议以确认退款事宜。
寻求法律途径：如果协商无果，您可以考虑通过法律途径解决纠纷。您可以向当地人民法院提起诉讼，要求设计方退还设计费并承担相关诉讼费用。在诉讼过程中，您需要提交收集到的证据以支持您的主张。
最后，由于法律问题具有复杂性和个体差异性，我建议您在采取任何行动前咨询专业律师（即直接向我咨询）以获取更具体的法律建议。