结论前置：针对您的情况，是否需要退还投资或利润分配，主要取决于您与对方之间的合伙协议内容以及实际履行情况。以下是从不同角度进行的分析。

一、合伙协议的重要性

1. 协议内容：首先，需要查看您与对方签订的合伙协议。合伙协议是合伙关系的基石，它规定了双方的权利、义务、利润分配方式、亏损承担方式等关键条款。如果协议中明确规定了对方不参与经营时的利润分配或亏损承担方式，那么应当按照协议执行。

2. 协议履行：除了协议内容，还需要考虑协议的实际履行情况。如果对方虽然未参与经营，但按照协议履行了出资义务或其他约定义务，那么其可能仍有权要求按照协议分配利润或承担亏损。反之，如果对方未履行任何义务，您可能可以主张其无权要求分配利润或应承担更多亏损。

二、亏损状态下的责任承担

1. 共同承担亏损：在合伙关系中，合伙人通常需要共同承担亏损。这意味着，即使对方未参与经营，如果合伙企业处于亏损状态，对方也可能需要按照其出资比例或其他约定方式承担亏损。

2. 特殊情况：然而，如果合伙协议中明确规定了对方不承担亏损或承担亏损的比例低于其出资比例，那么应当按照协议执行。此外，如果对方存在故意或重大过失导致合伙企业亏损，您可能可以主张其承担更多责任。

三、是否需要退还投资或利润

1. 退还投资：关于是否需要退还对方的投资，这主要取决于合伙协议中的约定。如果协议中规定了退伙或解散时的投资退还方式，那么应当按照协议执行。如果没有明确约定，您可能需要与对方协商解决。

2. 利润分配：在亏损状态下，通常没有利润可供分配。但如果合伙协议中规定了即使亏损也需要按照一定方式分配利润（例如，保证对方的最小回报），那么您可能需要按照协议执行。不过，这种情况较为罕见，且可能违反公平原则。

四、建议与行动

1. 审查合伙协议：我建议您首先仔细审查合伙协议，了解双方的权利、义务以及利润分配和亏损承担方式。

2. 与对方协商：如果协议中没有明确规定或规定不明确，我建议您与对方进行协商，寻求双方都能接受的解决方案。

3. 寻求法律帮助：如果协商无果或您认为对方的要求不合理，您可以考虑寻求法律帮助。作为专业律师，我可以为您提供法律咨询和代理服务，帮助您维护合法权益。

最后，我想强调的是，合伙关系中的法律问题往往比较复杂，需要综合考虑多种因素。因此，如果您有任何疑问或需要进一步的法律帮助，请随时向我咨询。