结论：根据您描述的情况，离婚协议书中约定的五万元精神损失费，虽未写欠条，但仍有要回的可能性，不过具体能否要回，需结合实际情况判断。以下从不同角度为您详细分析：

一、从离婚协议的法律效力角度

离婚协议是夫妻双方在离婚时，就财产分割、子女抚养、债务承担等问题达成的书面协议，具有法律约束力。如果离婚协议中明确约定了精神损失费的支付条款，且该条款不违反法律、行政法规的强制性规定，不违背公序良俗，那么该条款就是有效的，对方应当按照协议约定履行支付义务。

二、从诉讼时效的角度

根据《中华人民共和国民法典》第一百八十八条的规定，向人民法院请求保护民事权利的诉讼时效期间为三年。诉讼时效期间自权利人知道或者应当知道权利受到损害以及义务人之日起计算。然而，在离婚协议约定的债务履行期限届满后，如果对方未履行支付义务，且您在此期间未向对方主张过权利，那么从对方未履行支付义务之日起算，如果超过了三年诉讼时效，您向法院起诉要求对方支付精神损失费，可能会面临对方提出诉讼时效抗辩的风险。但如果存在诉讼时效中断、中止等法定情形，诉讼时效可能会重新计算或延长。例如，您在此期间曾向对方催讨过该笔费用，或者对方曾承诺支付等，都可能导致诉讼时效中断。

三、从证据收集的角度

虽然您没有欠条作为直接证据，但离婚协议书本身就是一份重要的证据，它证明了双方曾就精神损失费的支付达成过一致意见。此外，您还可以尝试收集其他相关证据，如：

1. 聊天记录、短信、邮件等：如果您与对方曾就精神损失费的支付问题进行过沟通，并留下了书面记录，这些记录可以作为辅助证据。
2. 证人证言：如果有第三方见证了您与对方就精神损失费支付问题的协商过程，或者知道对方未履行支付义务的情况，该第三方的证言也可以作为证据。
3. 其他相关证据：如您因对方未支付精神损失费而遭受的实际损失证明等。

四、建议行动方案

1. 与对方协商：首先，您可以尝试与对方进行协商，看对方是否愿意履行支付义务。如果对方愿意，最好签订一份书面协议，明确支付金额、支付时间等条款。
2. 发送律师函：如果协商无果，您可以考虑委托律师向对方发送律师函，正式要求对方履行支付义务。律师函具有一定的法律威慑力，有时能够促使对方主动履行义务。
3. 提起诉讼：如果对方仍然拒绝履行支付义务，您可以向法院提起诉讼，要求对方支付精神损失费。在诉讼过程中，您需要提供充分的证据证明自己的主张。

最后，需要提醒您的是，每个案件都有其独特性，具体能否要回精神损失费，还需根据您的实际情况和提供的证据来判断。如果您在此过程中遇到任何问题或需要进一步的法律帮助，请随时向我咨询。