结论：是否构成劳动关系，不能仅凭自己记干活时间且没有考勤奖罚规章制度就拒绝干活这一行为来判断，需要综合多方面因素来确定。

劳动关系判断的核心要素

1. 主体资格：劳动关系的双方主体具有特定性，即一方是符合劳动年龄条件、具有劳动能力的劳动者，另一方是符合法定条件的用人单位。如果双方都符合这些主体资格要求，这是构成劳动关系的基础条件之一。例如，一个具有完全民事行为能力、身体健康且达到法定劳动年龄的人，与一家依法注册成立的企业，就具备构成劳动关系的主体资格。
2. 从属性：劳动者在人格、经济和组织上从属于用人单位。
   • 人格从属性：劳动者需要接受用人单位的管理和指挥，按照用人单位的要求进行工作。比如，用人单位规定员工必须按时上下班、遵守工作纪律等，员工需要服从这些规定。如果自己记干活时间且没有考勤奖罚规章制度就拒绝干活，这可能违反了用人单位正常的管理秩序，但仅这一行为本身不能直接否定劳动关系的存在，关键在于用人单位是否有对工作时间等事项进行管理的意图和实际行动。
   • 经济从属性：劳动者主要依靠用人单位提供的劳动报酬来维持生活，其经济来源依赖于用人单位。例如，员工每月从用人单位领取固定的工资，这就是经济从属性的体现。
   • 组织从属性：劳动者的工作是用人单位生产经营活动的组成部分，被纳入用人单位的生产组织体系中。比如，工厂里的工人按照生产流程进行生产操作，其工作是工厂生产活动不可或缺的一部分。

关于考勤奖罚规章制度与劳动关系

考勤奖罚规章制度是用人单位管理员工的一种手段，但它并不是判断劳动关系的唯一依据。即使没有明确的考勤奖罚规章制度，只要双方存在实际的用工行为，且符合上述劳动关系的核心要素，仍然可能构成劳动关系。例如，一些小型企业可能没有完善的书面考勤制度，但员工每天按时到企业工作，接受企业的管理和安排，企业也按照约定支付劳动报酬，这种情况下双方依然构成劳动关系。

拒绝干活可能产生的法律后果

如果已经与用人单位建立了劳动关系，在没有合法理由的情况下拒绝干活，可能构成违反用人单位规章制度或劳动合同约定的行为。用人单位有权根据规章制度对员工进行相应的处理，如警告、扣发工资等；情节严重的，用人单位还可能解除与员工的劳动合同，且在这种情况下员工可能难以获得经济补偿。

建议

1. 收集证据：如果认为自己与用人单位存在劳动关系，但用人单位不认可，要注意收集能够证明双方存在实际用工关系的证据，如工作证、工资支付记录、工作安排记录等。
2. 协商沟通：与用人单位就工作时间、考勤等问题进行友好协商，争取达成双方都能接受的解决方案。
3. 申请仲裁或诉讼：如果协商无果，且双方对是否存在劳动关系存在争议，可以向劳动争议仲裁委员会申请仲裁，对仲裁结果不服的，还可以向人民法院提起诉讼。

如果你在劳动工伤方面还有其他问题，可以直接向我咨询。