结论：当别人拿起砖头挥向你时，你的反击行为是否构成正当防卫，需根据具体情况判断，但在多数情况下，若反击行为符合正当防卫的构成要件，则可能被认定为正当防卫。以下从多个角度进行详细分析：

一、正当防卫的构成要件

根据《中华人民共和国刑法》第二十条的规定，正当防卫需满足以下条件：

1. 存在现实的不法侵害：即你面临的实际威胁或攻击是真实存在的，而非主观臆想。在此案例中，别人拿起砖头挥向你，显然构成了现实的不法侵害。
2. 不法侵害正在进行：正当防卫必须针对正在进行的不法侵害，而不能针对尚未发生或已经结束的不法侵害。若别人已经举起砖头准备攻击你，且攻击行为正在进行中，则你的反击行为可能构成正当防卫。
3. 防卫行为具有必要性：即防卫行为必须是制止不法侵害所必需的，且没有明显超过必要限度造成重大损害。在此案例中，若你的反击行为是为了阻止对方的攻击，且反击的力度和方式没有明显超过必要限度，则可能构成正当防卫。
4. 防卫行为针对不法侵害人：正当防卫必须针对实施不法侵害的人本人进行，而不能针对无关的第三人。在此案例中，你的反击行为应直接针对拿起砖头挥向你的人。

二、可能影响正当防卫认定的因素

1. 反击的时机：若你在对方尚未举起砖头或已经放下砖头后反击，则可能不被认定为正当防卫，因为此时不法侵害已经结束或尚未开始。
2. 反击的力度和方式：若你的反击行为明显超过了制止不法侵害所必需的力度和方式，如使用过度的暴力或武器进行反击，则可能被认定为防卫过当或故意伤害。
3. 双方的力量对比：若你在力量上明显优于对方，且反击行为造成了对方严重的伤害，则可能影响正当防卫的认定。因为在此情况下，你的反击行为可能被视为过度使用暴力。

三、法律建议

1. 保持冷静：在面临不法侵害时，尽量保持冷静，评估形势，选择最合适的防卫方式。
2. 及时报警：在确保自身安全的前提下，及时报警并寻求帮助。警方将能够调查事件经过，并根据相关法律法规作出判断。
3. 收集证据：若可能的话，尽量收集相关证据，如现场照片、视频、目击者证言等。这些证据将有助于证明你的反击行为是正当的。
4. 咨询专业律师：若你对反击行为是否构成正当防卫存在疑问，或面临法律纠纷，建议及时咨询专业律师。律师将能够根据你的具体情况提供法律建议和帮助。

最后，需要强调的是，每个案件的具体情况都是独特的，因此无法一概而论地判断你的反击行为是否构成正当防卫。若你面临类似情况，建议根据上述分析结合实际情况进行判断，并在必要时寻求专业律师的帮助。有问题可以直接向我咨询，我会根据你的具体情况提供详细的法律建议。