结论：工人是否可以起诉你，取决于多种因素，包括你与工人之间的法律关系、未签合同的具体情况以及工人主张的权益等。以下从不同角度为你详细分析。

一、法律关系角度

1. 如果你与工人之间是劳动关系
   • 法律责任：根据《劳动合同法》等相关规定，用人单位自用工之日起即与劳动者建立劳动关系，应当订立书面劳动合同。若未签订，用人单位可能面临向劳动者每月支付二倍工资等法律责任。在此情况下，工人作为劳动者，若认为自身权益受到侵害，如未获得劳动报酬、未享受劳动保护等，可以以你为被告提起劳动仲裁或诉讼，要求你承担相应责任。
   • 举例：假设你雇佣了一名工人从事长期稳定的工作，但未签订劳动合同，且未按时支付工资。工人可以依据《劳动合同法》等相关规定，向劳动仲裁机构申请仲裁，要求你支付拖欠的工资及未签合同的双倍工资差额等。若对仲裁结果不服，还可以向法院提起诉讼。
2. 如果你与工人之间是劳务关系
   • 法律责任：劳务关系中，双方一般通过口头或书面协议约定权利义务。若未签订书面协议，但实际形成了劳务关系，工人提供了劳务，你应当支付相应的劳务报酬。若你未支付，工人可以以你为被告提起民事诉讼，要求你支付劳务报酬及可能产生的其他损失。
   • 举例：你临时雇佣了一名工人进行一次性的装修工作，双方未签订书面协议。工作完成后，你未支付劳务报酬。工人可以依据《民法典》中关于合同的相关规定，向法院提起诉讼，要求你支付劳务报酬及逾期支付的利息等。

二、未签合同的具体情况角度

1. 完全未签订任何形式的协议
   • 法律后果：无论是劳动关系还是劳务关系，若完全未签订任何形式的协议，在发生纠纷时，工人可能需要提供其他证据来证明双方之间存在事实上的法律关系以及你未履行相应义务的事实。这些证据可能包括工作记录、工资支付记录、证人证言等。若工人能够提供充分证据，仍然可以起诉你并要求你承担相应责任。
   • 举例：工人提供了在你处工作的照片、工作服、与你的聊天记录等证据，证明双方之间存在事实上的劳动关系或劳务关系，以及你未支付报酬的事实。法院在审理案件时，会结合这些证据进行综合判断，若认定工人主张成立，会判决你承担相应责任。
2. 签订了部分协议或存在口头约定
   • 法律后果：若双方签订了部分协议或存在口头约定，但未完全履行或约定不明确，在发生纠纷时，工人可以依据协议内容或口头约定主张权利。若协议或约定存在瑕疵或不明确之处，法院会根据实际情况进行解释和认定，以保护工人的合法权益。
   • 举例：双方口头约定了劳务报酬的标准和支付时间，但未签订书面协议。在工作完成后，你未按照约定支付报酬。工人可以依据口头约定向法院提起诉讼，要求你支付报酬。法院在审理案件时，会结合双方的实际履行情况、行业惯例等因素进行综合判断，以确定你是否应当支付报酬及支付的金额。

三、工人主张的权益角度

1. 主张劳动报酬
   • 法律途径：若工人主张的是劳动报酬，在劳动关系中，工人可以先向劳动仲裁机构申请仲裁，对仲裁结果不服的，再向法院提起诉讼；在劳务关系中，工人可以直接向法院提起民事诉讼。
   • 计算公式（以劳动关系中未签合同的双倍工资差额为例）：
     • 计算公式：双倍工资差额 = 月工资 × 未签合同的月数（最多不超过11个月）
     • 举例：假设工人的月工资为5000元，未签合同的月数为6个月，则双倍工资差额 = 5000 × 6 = 30000元。
2. 主张其他权益
   • 法律途径：若工人主张的是其他权益，如劳动保护、社会保险等，在劳动关系中，同样可以先申请劳动仲裁，再提起诉讼；在劳务关系中，根据具体权益的性质和法律规定，选择相应的法律途径进行维权。
   • 举例：工人主张你未为其缴纳社会保险，在劳动关系中，工人可以向劳动监察部门投诉，要求你补缴社会保险；也可以申请劳动仲裁，要求你赔偿因未缴纳社会保险造成的损失。在劳务关系中，若双方约定了你应当为工人缴纳某种保险但未履行，工人可以依据约定向你主张权利。

建议：为了避免类似纠纷的发生，建议你尽快与工人签订书面协议，明确双方的权利义务。若已经发生纠纷，建议你积极与工人协商解决，若协商不成，及时寻求法律帮助，以维护自身的合法权益。如果你还有其他疑问或需要进一步的法律帮助，可以直接向我咨询。