别太担心，诈骗犯知道您的工作单位和家庭住址，并不意味着他们一定会采取进一步的行动，但您确实需要采取一些措施来保护自己。以下是我从不同角度为您分析的情况和建议：
一、法律层面
诈骗行为的性质：
- 诈骗是一种犯罪行为，如果诈骗犯试图利用您的个人信息进行进一步的诈骗活动，他们将面临法律的严惩。
- 根据《中华人民共和国刑法》的相关规定，诈骗公私财物，数额较大的，将处三年以下有期徒刑、拘役或者管制，并处或者单处罚金；数额巨大或者有其他严重情节的，处三年以上十年以下有期徒刑，并处罚金。
您的权利：
- 您有权向公安机关报案，告知他们您的情况，包括诈骗犯可能掌握的您的个人信息。
- 公安机关有义务接受您的报案，并根据情况展开调查。
二、实际操作层面
保护个人信息：
- 立即更改所有可能泄露个人信息的账户密码，包括银行账户、社交媒体账户等。
- 启用双重验证功能，增加账户的安全性。
- 谨慎处理来自不明来源的电话、短信或电子邮件，避免点击其中的链接或下载附件。
加强安全防范：
- 在工作单位和家庭住址周围加强安全防范措施，如安装监控摄像头、加强门禁管理等。
- 告知家人、同事和朋友您的情况，提醒他们注意可能的风险。
报警处理：
- 如果您担心诈骗犯可能会采取进一步的行动，如上门骚扰或进行其他形式的诈骗，建议您立即向当地公安机关报案。
- 报案时，提供尽可能详细的信息，包括诈骗犯的联系方式、可能掌握的您的个人信息等。
三、心理层面
保持冷静：
- 不要因为诈骗犯掌握了您的个人信息而感到恐慌或焦虑。记住，他们只是试图利用这些信息进行诈骗，并不一定能够成功。
寻求支持：
- 与家人、朋友或专业人士分享您的情况，寻求他们的支持和建议。
- 如果您感到心理压力过大，可以考虑寻求心理咨询师的帮助。
最后，我想强调的是，虽然诈骗犯知道您的工作单位和家庭住址可能让您感到不安，但只要您采取适当的措施来保护自己，并寻求法律和社会的支持，您就能够有效地应对这种情况。如果您有任何进一步的疑问或需要法律帮助，请随时向我咨询。