结论：是否将电话号码提供给打人者的律师，需根据具体情况谨慎决定，不建议直接提供，但也不必完全拒绝沟通。以下从不同角度为你详细分析：

一、从法律程序角度

在侵权损害（人格权）案件中，双方律师之间进行沟通是常见的法律程序环节。打人者的律师联系你，可能是为了了解案件相关情况、协商赔偿事宜或者传达对方的意见等。然而，你并没有法律义务必须向对方律师提供你的电话号码。

如果你担心直接提供电话号码会带来不必要的骚扰或者影响案件处理，你可以通过其他方式与对方律师沟通。比如，你可以要求对方律师通过书面形式（如邮件、信函）与你联系，这样你可以有足够的时间来准备和回应，也能留下书面记录作为后续可能的证据。

二、从个人安全与隐私角度

个人电话号码属于个人隐私信息，随意提供可能存在安全风险。如果对方律师获取你的电话号码后，进行不恰当的骚扰或者泄露给第三方，可能会给你的生活带来困扰。

建议你先了解对方律师联系你的具体目的。如果对方律师只是想要传达一些基本的案件信息或者协商意向，你可以要求其通过正式的法律文书或者在你的律师在场的情况下进行沟通。如果你决定提供电话号码，也要明确告知对方律师不得将你的号码泄露给无关人员，并且保留好相关沟通记录，以防万一。

三、从案件处理策略角度

如果你已经聘请了律师，最好将与对方律师的沟通事宜交由你的律师处理。你的律师具备专业的法律知识和经验，能够更好地应对对方律师的提问和要求，保护你的合法权益。

如果你的律师认为有必要与对方律师进行电话沟通，他会与你协商并安排合适的时间和方式。这样既能确保沟通的有效性，又能避免你因为不熟悉法律程序而说出不利于自己的话。

四、实际操作建议

1. 询问目的：如果对方律师坚持要你的电话号码，你可以询问其联系你的具体目的，并根据目的来决定是否提供。
2. 要求书面沟通：如果可能，尽量要求对方律师通过书面形式与你联系，这样更正式、更安全。
3. 咨询你的律师：如果你已经聘请了律师，最好先咨询你的律师的意见，按照律师的指导来处理。
4. 保护个人信息：无论是否提供电话号码，都要注意保护自己的个人信息，避免泄露给无关人员。

最后提醒：在处理这类问题时，一定要保持冷静和理智，不要因为情绪激动而做出不利于自己的决定。如果你有任何疑问或者需要进一步的法律帮助，可以直接向我咨询，我会根据你的具体情况为你提供专业的法律建议。