结论：贷款公司派人去您的户籍地或工作地址进行调查，这一行为本身并不直接构成违法，但必须遵守相关法律法规的规定，不得侵犯您的合法权益。如果调查过程中存在违法行为，您有权采取相应的法律措施维护自己的权益。
分析说明：
合法调查的前提：
- 贷款公司在贷款合同中通常会约定一些条款，包括在借款人违约时，贷款公司有权采取一定的措施进行催收和调查。这些措施在合同约定的范围内，且不违反法律法规的强制性规定时，是合法的。
- 调查行为应当基于合法、正当的目的，且不得侵犯借款人的隐私权、名誉权等合法权益。
可能涉及的违法行为：
- 侵犯隐私权：如果贷款公司未经您同意，擅自进入您的住宅或工作场所，或者通过非法手段获取您的个人信息，这可能构成对隐私权的侵犯。
- 骚扰行为：如果贷款公司的调查人员采取威胁、恐吓、辱骂等不当手段进行调查，这可能构成对您的骚扰，违反了相关法律法规。
- 非法拘禁或限制人身自由：在极端情况下，如果贷款公司的调查人员非法拘禁您或限制您的人身自由，这将构成严重的违法行为。
您的权益保护：
- 如果您认为贷款公司的调查行为侵犯了您的合法权益，您可以首先与贷款公司进行沟通，要求其停止不当行为。
- 如果沟通无果，您可以向当地公安机关报案，或者向人民法院提起诉讼，要求贷款公司承担相应的法律责任。
特殊场景：
- 如果贷款公司委托了第三方机构进行调查，该第三方机构也应当遵守相关法律法规的规定，不得侵犯您的合法权益。如果第三方机构存在违法行为，您同样有权采取法律措施进行维权。
行动建议：
- 保留证据：如果贷款公司或其委托的第三方机构进行了不当调查，您应当保留相关证据，如照片、视频、录音等，以便在需要时进行维权。
- 及时沟通：在发现不当调查行为后，您应当及时与贷款公司进行沟通，明确表达您的立场和要求。
- 寻求法律帮助：如果沟通无果或情况严重，您应当及时寻求法律帮助，咨询专业律师的意见，并考虑采取法律措施进行维权。
法律依据：
- 《中华人民共和国民法典》中关于隐私权、名誉权等人格权的规定。
- 《中华人民共和国治安管理处罚法》中关于骚扰、非法侵入住宅等行为的规定。
- 《中华人民共和国刑法》中关于非法拘禁、侵犯公民个人信息等犯罪的规定。
如有任何疑问或需要进一步的法律帮助，请随时向我咨询。