结论：是否违法需根据具体情况判断，若您的行为未对神经病人造成伤害且未违反法律规定，则一般不违法；但若您的行为导致神经病人受伤或违反了相关法律规定，则可能构成违法。

详细分析：

1. 行为性质判断：

   • 合法行为：如果您只是通过言语、手势等方式，在确保自身安全且未对神经病人造成任何伤害的前提下，将其吓走，以避免可能的危险或冲突，这种行为通常被视为合法的自我保护或防卫行为。
   • 违法行为：然而，如果您的行为超出了必要的限度，例如使用了暴力、威胁等手段，导致神经病人受伤或产生了其他严重后果，那么您的行为就可能构成违法。特别是如果神经病人因此受到了身体伤害或精神损害，您可能需要承担相应的法律责任。

2. 法律规定考量：

   • 自我保护原则：在法律上，每个人都有权保护自己免受伤害。但是，这种保护必须在合理的限度内进行，不能侵犯他人的合法权益。
   • 精神病人保护：同时，法律也特别关注对精神病人的保护。精神病人由于疾病原因，可能无法完全控制自己的行为，因此社会有责任给予他们更多的关爱和保护。如果您的行为对精神病人造成了不必要的伤害或困扰，那么您可能需要承担法律责任。

3. 可能后果分析：

   • 无后果：如果您的行为没有导致任何不良后果，且没有违反法律规定，那么您通常不需要承担任何法律责任。
   • 民事责任：如果您的行为对神经病人造成了轻微伤害或财产损失，您可能需要承担民事赔偿责任，包括赔偿医疗费、误工费等。
   • 刑事责任：在极端情况下，如果您的行为构成了犯罪（如故意伤害罪），那么您可能需要承担刑事责任，面临刑罚的处罚。

建议：

• 谨慎行事：在面对类似情况时，请务必保持冷静和理智，谨慎行事。尽量避免使用暴力或威胁手段，以免引发不必要的法律纠纷。
• 寻求帮助：如果您感到无法独自应对这种情况，或者担心自己的行为可能构成违法，请及时寻求警方或其他专业人士的帮助。
• 了解法律：建议您多了解一些相关的法律知识，以便在类似情况下能够更好地保护自己的合法权益，同时也避免侵犯他人的权益。

如果您有任何具体的法律问题或疑虑，请直接向我咨询，我会根据您的具体情况提供详细的法律建议。