工人的劳务协议应当与劳务公司签订。以下是详细分析：

一、劳务派遣的基本法律关系

在劳务派遣的用工模式下，存在三方主体：劳务公司（派遣单位）、建筑公司（实际用工单位）和工人（劳动者）。根据《劳动合同法》第五十八条的规定，劳务派遣单位是用人单位，应当履行用人单位对劳动者的义务。这意味着，劳务公司作为法律上的用人单位，应当与工人签订劳动合同或劳务协议，明确双方的权利和义务。

二、工人与劳务公司签订协议的法律依据

1. 《劳动合同法》第五十八条：明确规定了劳务派遣单位是用人单位，应当与被派遣劳动者订立劳动合同。这是工人与劳务公司签订协议的直接法律依据。
2. 《劳务派遣暂行规定》：进一步细化了劳务派遣的用工规则，包括劳务派遣协议的内容、劳务派遣单位的义务等。这些规定也间接支持了工人应当与劳务公司签订协议的观点。

三、工人与建筑公司签订协议的潜在风险

如果工人直接与建筑公司签订劳务协议，可能会面临以下法律风险：

1. 劳动关系认定风险：根据法律规定，劳务派遣单位才是用人单位。如果工人直接与建筑公司签订协议，可能会被认定为与建筑公司建立了劳动关系，从而引发一系列劳动纠纷，如工资支付、社会保险缴纳等。
2. 权益保障风险：由于建筑公司并非法律上的用人单位，其可能无法全面履行用人单位的义务，如提供劳动保护、支付加班费等。这将对工人的权益造成不利影响。

四、实际操作中的注意事项

1. 明确协议内容：工人与劳务公司签订的劳务协议应当明确双方的权利和义务，包括工作内容、工作地点、工作时间、劳动报酬、社会保险等。
2. 审查劳务派遣协议：工人有权要求劳务公司提供其与建筑公司签订的劳务派遣协议，以了解自己的用工情况和权益保障措施。
3. 及时维权：如果工人发现自己的权益受到侵害，如未按时支付工资、未缴纳社会保险等，应当及时向劳务公司或相关部门反映情况，并依法维护自己的合法权益。

五、特殊情况下的处理

如果劳务公司未与工人签订劳务协议，或者建筑公司直接与工人签订了劳务协议并实际用工，工人可以采取以下措施：

1. 与劳务公司协商：要求劳务公司尽快签订劳务协议，并明确双方的权利和义务。
2. 向劳动监察部门投诉：如果劳务公司拒绝签订协议或未履行用人单位的义务，工人可以向当地劳动监察部门投诉，要求其依法处理。
3. 申请劳动仲裁或提起诉讼：在协商和投诉无果的情况下，工人可以依法申请劳动仲裁或提起诉讼，维护自己的合法权益。

总结来看，工人的劳务协议应当与劳务公司签订。这是基于劳务派遣的基本法律关系和《劳动合同法》的相关规定。工人应当了解自己的用工情况和权益保障措施，并在必要时依法维护自己的合法权益。如果有任何疑问或需要进一步的法律帮助，可以直接向我咨询。