结论：在旅行社不提签合同且游客不知道的情况下，责任归属需分情况讨论，主要取决于旅行社是否应当与游客签订合同以及游客是否因未签合同遭受了实际损失。
分析如下：
旅行社的合同义务：
- 根据《中华人民共和国民法典》及相关旅游法规，旅行社在提供旅游服务时，通常应当与游客签订书面旅游合同，明确双方的权利和义务。这是旅行社的法定义务，旨在保护游客的合法权益，确保旅游服务的透明度和可追溯性。
- 如果旅行社未履行这一义务，即未与游客签订合同，那么旅行社可能构成违约，需要承担相应的法律责任。
游客的知情权与损失：
- 游客作为消费者，有权了解旅游服务的具体内容、价格、行程安排等关键信息，这些信息通常应包含在旅游合同中。
- 如果游客因未签合同而遭受了实际损失（如行程变更未得到通知、服务质量不达标等），且这些损失与未签合同之间存在因果关系，那么游客有权要求旅行社承担赔偿责任。
责任归属的具体情况：
- 情况一：如果旅行社应当与游客签订合同但未签，且游客因此遭受了损失，那么旅行社应承担主要责任。游客可以要求旅行社赔偿因未签合同而导致的直接经济损失，如额外的交通费用、住宿费用等。
- 情况二：如果旅行社未与游客签订合同，但游客并未因此遭受实际损失（如旅游服务完全符合约定，游客未提出任何异议），那么虽然旅行社仍构成违约，但游客可能难以要求旅行社承担赔偿责任。不过，游客仍可以向相关部门投诉旅行社的违规行为，以促使其改正并避免类似情况再次发生。
- 情况三：如果游客在旅游过程中明知旅行社未与其签订合同，但未提出异议或继续接受服务，且未因此遭受损失，那么在这种情况下，游客可能难以主张旅行社承担责任。然而，这并不意味着旅行社的行为是合法的或可接受的，游客仍应警惕并要求旅行社签订合同以保护自身权益。
建议：
- 对于游客而言，在参加旅游活动前，应主动要求旅行社签订书面旅游合同，并仔细阅读合同条款，确保自己的权益得到充分保障。
- 如果旅行社拒绝签订合同或合同内容存在模糊、不公平之处，游客应谨慎考虑是否继续参加该旅游活动，并可以向相关部门投诉或寻求法律援助。
- 在旅游过程中，如果游客发现旅行社存在违约行为或未履行合同义务，应及时收集证据并保留相关凭证，以便在需要时维护自己的合法权益。
如有任何疑问或需要进一步的法律帮助，请直接向我咨询。