结论：交通事故对方不愿调解且直接上门要钱不走的行为，是否犯法需视具体情况而定。一般来说，如果对方的行为没有超出合理限度，可能不构成违法；但如果其行为扰乱了您的正常生活秩序，可能涉嫌违法。

分析如下：

1. 合理限度内的行为：

   • 在交通事故发生后，如果双方无法就赔偿事宜达成一致，对方有权通过合法途径主张自己的权益。这包括向法院提起诉讼、申请调解等。
   • 如果对方只是上门与您沟通赔偿事宜，且没有采取过激行为，如威胁、恐吓、骚扰等，那么这种行为通常被视为在合理限度内主张自己的权益，不构成违法。

2. 超出合理限度的行为：

   • 如果对方上门要钱不走，且采取了威胁、恐吓、骚扰等过激行为，严重干扰了您的正常生活秩序，那么这种行为可能涉嫌违法。
   • 根据《中华人民共和国治安管理处罚法》的相关规定，对于扰乱公共秩序、妨害公共安全、侵犯人身权利、财产权利等行为，公安机关有权给予治安管理处罚。因此，如果对方的行为符合这些情形，您可以向公安机关报案，要求其依法处理。

法律建议：

• 保持冷静与理智：面对对方的不合理行为，首先要保持冷静与理智，不要与对方发生冲突或激化矛盾。
• 收集证据：如果对方的行为涉嫌违法，您应及时收集相关证据，如录音、录像、证人证言等，以便在需要时向公安机关提供。
• 寻求法律帮助：如果您无法自行处理此事，或者对方的行为已经严重干扰了您的正常生活秩序，建议您及时寻求法律帮助。您可以咨询专业律师（比如我），了解自己的权益和可行的法律途径。

后续行动建议：

• 尝试沟通：在对方行为尚未超出合理限度时，您可以尝试与对方进行沟通，了解其具体诉求和原因，看是否能够通过协商达成一致。
• 报警处理：如果对方的行为已经涉嫌违法，或者您无法与其进行有效沟通，建议您立即向公安机关报案，要求其依法处理此事。

总之，面对交通事故对方不愿调解且直接上门要钱不走的行为，您应首先判断对方的行为是否超出合理限度，然后根据实际情况采取相应的法律措施。如果您有任何疑问或需要进一步的法律帮助，请随时向我咨询。