结论：面对残疾人一直攻击您的情况，您不能直接打他一次作为回应。这种行为可能构成违法，甚至可能引发更严重的法律后果。以下是从不同角度的详细分析：
一、法律角度
正当防卫的适用条件：
- 根据《中华人民共和国刑法》第二十条的规定，正当防卫是指为了使国家、公共利益、本人或者他人的人身、财产和其他权利免受正在进行的不法侵害，而采取的制止不法侵害的行为。但正当防卫的行使必须满足一定的条件，包括不法侵害的存在、防卫行为的必要性、防卫行为的适度性等。
- 在您描述的情况下，如果残疾人的攻击行为并未达到严重危及您人身安全的程度，或者您有能力通过其他非暴力方式制止攻击，那么直接打他可能不被视为正当防卫，而是可能构成故意伤害或寻衅滋事等违法行为。
残疾人的特殊保护：
- 残疾人作为社会弱势群体，受到法律的特殊保护。根据《中华人民共和国残疾人保障法》等相关法律法规，任何单位和个人不得歧视、侮辱、虐待残疾人，不得侵害残疾人的合法权益。
- 如果您对残疾人实施暴力行为，即使您认为这是出于自卫，也可能因为违反了对残疾人的特殊保护规定而面临更严重的法律后果。
二、道德和社会角度
道德考量：
- 从道德层面来看，使用暴力回应暴力并不是解决问题的最佳方式。暴力只会加剧矛盾，可能导致更严重的后果。面对攻击，更理智和道德的做法是寻求和平解决的方式，如沟通、报警或寻求第三方调解等。
社会影响：
- 您的行为不仅会影响到您与残疾人之间的关系，还可能对周围的社会环境产生负面影响。一个和谐、包容的社会需要每个成员都遵守法律、尊重他人，并通过和平方式解决冲突。
三、建议与措施
保持冷静与理智：
- 面对攻击时，首先要保持冷静和理智，不要被情绪左右而做出冲动的行为。
寻求和平解决方式：
- 尝试与残疾人进行沟通，了解他攻击您的原因，并寻求和平解决的方式。如果沟通无果，可以考虑报警或寻求第三方调解机构的帮助。
保护自身安全：
- 在确保自身安全的前提下，可以采取必要的防卫措施，但必须确保这些措施是合法、适度且必要的。
了解法律权益：
- 了解自己的法律权益和义务，以便在面临类似情况时能够做出正确的决策。如果您对法律问题有任何疑问或需要进一步的法律帮助，可以直接向我咨询。
总之，面对残疾人一直攻击您的情况，您不能直接打他一次作为回应。这种行为可能构成违法，并可能引发更严重的法律后果。建议您保持冷静与理智，寻求和平解决的方式，并在必要时了解自己的法律权益和义务。