以家人借钱为由向自己追债，这一行为本身并不直接构成违法，但具体是否违法需根据实际情况和追债手段来判断。

首先，从债权债务关系的角度来看，如果家人确实向你借款，并且双方有明确的借款协议或借条，那么作为债权人，你有权要求家人还款。这种情况下，以家人借钱为由追债是合法的，因为这是基于双方约定的债权债务关系进行的正当行为。

然而，如果并没有真实的借款关系，或者借款已经还清，但家人仍然以借款为由向你追债，这可能构成欺诈或不当得利，是违法的。此外，即使存在真实的借款关系，但在追债过程中使用了非法手段，如威胁、恐吓、暴力等，也是违法的。

另外，还需要注意的是，家庭成员之间的债权债务关系往往涉及到更多的情感因素，因此在处理时应更加谨慎和理性。如果可能的话，最好通过协商或调解的方式解决争议，以避免对家庭关系造成不必要的伤害。

综上所述，以家人借钱为由向自己追债并不直接构成违法，但具体是否违法需根据实际情况和追债手段来判断。如果你在这方面有任何疑问或需要进一步的法律帮助，请直接向我咨询。