当然可以告公司。根据《中华人民共和国劳动合同法》的相关规定，用人单位应当与劳动者签订书面劳动合同。如果你作为公司的员工，负责财务兼行政人事的工作，但公司未与你签订劳动合同，这违反了法律的规定。

具体来说，你可以从以下几个角度考虑：

1. 法律义务：用人单位有义务与劳动者签订书面劳动合同，这是法律对用人单位的明确要求。如果公司未履行这一义务，你可以依法向劳动监察部门投诉，或者提起劳动仲裁，要求公司承担相应的法律责任。

2. 劳动者权益：未签订劳动合同可能导致你的劳动者权益受到侵害，如工资、福利、社保等可能无法得到充分保障。通过法律途径维护自己的权益，可以确保你获得应有的待遇。

3. 证据收集：在提起劳动仲裁或诉讼之前，建议你收集好相关证据，如工作记录、银行流水、聊天记录等，以证明你与公司之间的劳动关系以及公司未签订劳动合同的事实。

4. 法律后果：如果公司被认定未与劳动者签订劳动合同，根据法律规定，公司可能需要支付你双倍的工资作为赔偿，并可能面临其他法律处罚。

综上所述，如果你作为公司的员工，公司未与你签订劳动合同，你可以依法向公司主张自己的权益。如果你需要进一步的法律帮助或咨询，可以直接向我提问，我会为你提供专业的法律建议和支持。