以红线为由不让建房是否违法，需分情况讨论：
一、红线性质为规划红线或土地利用红线
若红线属于政府规划或土地利用限制：
- 根据《中华人民共和国城乡规划法》及相关土地管理法规，政府有权划定规划红线或土地利用红线，以控制土地使用和建设活动。
- 在此情况下，以红线为由不让建房是合法的。因为红线代表了政府对土地使用的限制，任何违反红线规定的建设行为都可能面临行政处罚，甚至被强制拆除。
若红线划定程序违法或存在错误：
- 如果红线的划定程序违反了法定程序，或者红线本身存在错误（如划错了位置、范围等），那么以这样的红线为由不让建房就可能构成违法。
- 在此情况下，您有权对红线的合法性提出质疑，并寻求法律救济。例如，您可以向相关部门申请行政复议，或者提起行政诉讼，要求撤销或变更违法的红线划定。
二、红线性质为私人设定或非法定红线
若红线为私人设定，无法律依据：
- 如果所谓的“红线”是私人为了自身利益而设定的，并没有任何法律依据或政府批准，那么以这样的红线为由不让建房就是违法的。
- 在此情况下，您有权无视这样的私人红线，并依法进行建设活动。如果私人试图阻止您建房，您可以报警或寻求法律帮助，维护自己的合法权益。
若红线虽非法定，但基于合同或协议：
- 在某些情况下，红线可能并非由政府划定，而是基于双方之间的合同或协议。例如，在房地产开发中，开发商可能与业主约定了某些建设限制。
- 在此情况下，是否违法取决于合同或协议的具体内容。如果合同或协议中的红线限制违反了法律法规的强制性规定，或者侵犯了您的合法权益，那么这样的红线限制就是无效的。您有权依法进行建设活动，并可以寻求法律帮助来维护自己的权益。
三、法律建议与后续行动
核实红线的合法性与依据：
- 在面对以红线为由不让建房的情况时，您首先需要核实红线的合法性与依据。了解红线是由谁划定的、基于什么法律法规或政策、划定程序是否合法等。
寻求法律帮助与救济：
- 如果您认为红线划定存在违法或不合理之处，或者您的合法权益受到了侵犯，那么您应该及时寻求法律帮助与救济。可以咨询专业律师，了解自己的法律权益和可行的法律途径。
依法进行建设活动：
- 在确保自己的建设活动符合法律法规和红线要求的前提下，您应该依法进行建设活动。如果遇到阻碍或干扰，可以及时报警或寻求法律帮助来维护自己的合法权益。
如有任何疑问或需要进一步的法律帮助，请直接向我咨询。我会根据您的具体情况，提供更为详细和专业的法律建议。