结论：建筑劳务公司扣了工人的个税却不上交国家，这一行为是违法的，并且如果金额超过五万元，可能构成犯罪。

详细分析：

1. 违法行为认定：

   • 根据我国税收法律的相关规定，扣缴义务人（在此情况下为建筑劳务公司）有义务按照国家规定，将代扣代缴的税款及时上缴国库。如果扣缴义务人扣了税款却不上交，就违反了税收法律的规定，构成了违法行为。

2. 犯罪构成及金额标准：

   • 当这种违法行为达到一定程度，特别是涉及金额较大时，就可能构成犯罪。具体来说，如果建筑劳务公司扣了工人的个税超过五万元且不上交，根据《中华人民共和国刑法》的相关规定，可能构成逃税罪。逃税罪是指纳税人采取欺骗、隐瞒手段进行虚假纳税申报或者不申报，逃避缴纳税款数额较大并且占应纳税额百分之十以上的行为。对于扣缴义务人，如果采取前款所列手段，不缴或者少缴已扣、已收税款，数额较大的，同样依照逃税罪的规定处罚。
   • 具体金额与比例：虽然直接的法律条文可能并未明确提及“五万元”作为具体的犯罪金额标准（实际标准可能因地区和具体案情而异，且会随法律修订而变化），但通常逃税罪的认定会考虑逃税的数额以及占应纳税额的比例。在实际操作中，如果逃税数额较大（如超过五万元）且占应纳税额的比例较高，就很有可能被认定为逃税罪。

3. 法律后果：

   • 如果建筑劳务公司的行为被认定为逃税罪，那么公司及其直接负责的主管人员和其他直接责任人员将面临刑事处罚，包括有期徒刑、拘役和罚金等。
   • 此外，公司还可能需要补缴税款、滞纳金和罚款等，以弥补其违法行为给国家造成的损失。

4. 建议与行动：

   • 对于工人来说，如果发现自己的个税被扣却未上交国家，应及时向税务部门举报，并保留好相关证据（如工资条、扣税凭证等）。
   • 对于建筑劳务公司来说，应严格遵守税收法律的规定，及时上缴代扣代缴的税款，以避免不必要的法律风险和损失。

进一步思考：

• 在实际操作中，逃税罪的认定和处罚可能因地区和具体案情而异。因此，如果涉及具体的法律纠纷或案件，建议及时咨询专业律师以获取更准确的法律意见和帮助。
• 同时，税务部门也应加强对扣缴义务人的监管和检查力度，确保税收法律的得到有效执行和维护国家的税收利益。

如有任何疑问或需要进一步的法律帮助，请直接向我咨询。