如果催收人员知道了你的住址或书记名称，并试图以此进行不当催收，你可以采取一系列措施来保护自己的合法权益。

一. 了解催收行为的合法性

1. 催收行为需合法：根据《中华人民共和国民法典》及相关法律法规，催收行为必须合法，不得侵犯债务人的合法权益，如隐私权、名誉权等。
2. 不得采取不当手段：催收人员不得以威胁、恐吓、侮辱、诽谤等不当手段进行催收。

二. 应对催收走访调查

1. 保持冷静：如果催收人员上门走访，首先保持冷静，不要被其言语或行为所激怒。
2. 核实身份：有权要求催收人员出示相关证件和授权文件，以确认其身份和催收行为的合法性。
3. 拒绝不当要求：如果催收人员提出不合理或违法的要求，如进入你的住宅、查看你的私人物品等，你有权拒绝。

三. 保护个人信息

1. 不泄露个人信息：不要轻易将个人信息，如住址、书记名称等，透露给催收人员或其他人。
2. 加强信息安全：注意保护自己的个人信息，如定期更换密码、不随意连接公共Wi-Fi等，以防止信息被泄露或盗用。

四. 采取法律措施

1. 记录证据：如果催收人员采取不当手段进行催收，如威胁、恐吓等，你可以记录相关证据，如录音、录像等。
2. 报警或起诉：如果催收行为构成违法或犯罪，你可以向公安机关报警或向人民法院起诉，以维护自己的合法权益。

我建议：在面对催收走访调查时，要保持冷静和理智，不要轻易被催收人员的言语或行为所影响。同时，要加强个人信息保护意识，避免个人信息被泄露或盗用。如果催收行为构成违法或犯罪，要及时采取法律措施维护自己的合法权益。如有进一步需要，您可以继续咨询我。