核心结论：您被骗去境外但未从事任何违法活动且已回来四五年，通常情况下无需过度担忧法律责任问题，但需根据具体情况判断是否需主动说明情况或配合调查，同时要警惕潜在风险。以下从不同角度为您详细分析：

1. 法律责任角度

   • 一般情况：由于您未实际从事任何违法活动，从法律层面而言，您本身不存在违法犯罪行为，因此不会因这一经历而承担刑事责任或行政处罚责任。我国法律对于违法犯罪行为的认定，是以实际实施了违反法律规定的行为为前提的，您没有参与违法活动，自然不构成违法犯罪。
   • 特殊情况：如果您在被骗去境外的过程中，存在一些协助他人实施违法犯罪的预备行为，例如为他人提供了一些便利条件，但尚未达到犯罪的程度，且距离现在已经过去四五年，根据我国《刑法》中关于追诉时效的规定，法定最高刑为不满五年有期徒刑的，经过五年不再追诉。所以，一般情况下也不会再对您进行追责。不过，如果当时的行为情节较为严重，可能涉及其他特殊法律规定，就需要进一步结合具体情况判断。

2. 主动说明情况角度

   • 建议说明的情况：如果您在被骗去境外期间，与一些涉嫌违法犯罪的组织或人员有过接触，或者您的个人信息被他人利用进行了一些可能涉及违法的活动，为了避免后续可能出现的麻烦，您可以主动向当地公安机关说明情况。公安机关在了解真实情况后，会对您的情况进行记录和核实，这有助于澄清您的嫌疑，保障您的合法权益。
   • 无需说明的情况：如果您的整个经历非常简单，就是单纯被骗去境外，没有与任何违法犯罪相关的人或事产生关联，且您也没有因此受到任何调查或询问，那么您也可以选择不主动说明情况。不过，如果后续公安机关因其他案件调查需要您配合，您应当如实提供相关信息。

3. 潜在风险角度

   • 信息泄露风险：在境外期间，您的个人信息可能存在被泄露的风险。一些不法分子可能会利用您的个人信息进行诈骗、洗钱等违法活动。因此，您需要密切关注自己的银行账户、信用记录等，一旦发现异常情况，及时向相关部门报告并采取措施保护自己的财产安全。
   • 再次被骗风险：由于您有过被骗去境外的经历，可能会成为一些不法分子再次盯上的目标。他们可能会以各种理由再次诱骗您前往境外，或者利用您的经历进行诈骗。所以，您需要提高警惕，增强防范意识，不轻易相信陌生人的承诺和诱惑。

建议：如果您对这一经历仍然存在担忧，或者后续遇到了与这一经历相关的问题，如公安机关的调查、他人的骚扰等，您可以随时向我咨询，我会根据具体情况为您提供详细的法律建议和帮助。