结论：工地老板扣你2万元是不合法的，你有权要回这笔钱。以下是从不同角度为你详细分析的情况及建议：

一、合同到期离职的合法性

1. 合同到期自然终止：根据《劳动合同法》的相关规定，劳动合同到期后，除非双方协商一致续签，否则合同自然终止。你作为劳动者，有权选择不再续签合同并离职。

2. 无需支付违约金：在合同到期的情况下，你离职并不需要支付任何违约金，除非合同中有特别约定且该约定不违反法律法规的强制性规定。但通常来说，合同到期离职不属于需要支付违约金的情形。

二、老板扣钱的合法性分析

1. 无合法依据扣钱：工地老板扣你2万元，如果没有合法的依据（如你确实造成了工地损失且该损失应由你承担，但需有充分证据证明），那么这种扣钱行为是不合法的。

2. 可能涉及违法：如果老板扣钱的行为没有合法依据，且数额较大，可能构成违法行为，如侵占罪或敲诈勒索罪（具体需根据实际情况和证据判断）。但在此情况下，更可能的是老板违反了《劳动法》和《劳动合同法》中关于工资支付的规定。

三、要回被扣钱款的途径

1. 与老板协商：

   • 首先，你可以尝试与老板进行友好协商，说明合同到期离职的合法性以及扣钱的不合法性，要求老板返还被扣的钱款。

2. 向劳动监察部门投诉：

   • 如果协商无果，你可以向当地的劳动监察部门投诉。劳动监察部门有权对用人单位的违法行为进行调查和处理，并可以责令用人单位支付被拖欠的工资。
   • 投诉材料：你需要准备相关的证据材料，如劳动合同、工资条、扣钱通知等，以证明老板扣钱的事实和金额。

3. 申请劳动仲裁：

   • 如果劳动监察部门无法解决问题，或者你对劳动监察部门的处理结果不满意，你可以向当地的劳动仲裁委员会申请劳动仲裁。
   • 仲裁申请：在申请劳动仲裁时，你需要提交仲裁申请书和相关证据材料。仲裁委员会将依法进行审理，并作出裁决。
   • 裁决效力：如果仲裁裁决支持你的请求，老板必须履行裁决义务，返还被扣的钱款。如果老板不履行裁决，你还可以向法院申请强制执行。

4. 提起诉讼：

   • 在极端情况下，如果劳动仲裁也无法解决问题，你还可以向法院提起诉讼。但通常来说，劳动仲裁是解决劳动争议的前置程序，且相对更加高效和便捷。

四、注意事项

1. 保留证据：在整个过程中，你一定要保留好所有与老板扣钱相关的证据材料，如聊天记录、录音、视频等。这些证据将是你维权的重要依据。

2. 及时行动：一旦发现老板扣钱的行为，你要尽快采取行动，不要拖延时间。因为时间越长，证据可能越难收集，维权难度也可能越大。

3. 寻求帮助：如果你在维权过程中遇到困难或不确定如何操作，可以随时向我咨询。我会根据你的具体情况为你提供专业的法律建议和帮助。

最后，我希望你能够顺利要回被扣的钱款。如果在这个过程中遇到任何问题或需要进一步的法律帮助，请随时向我提问。