结论：工厂在您达到退休年龄时立即让您走人，工厂是否有责任，这取决于多种因素，包括劳动合同的约定、工厂的规章制度以及相关法律法规的规定。下面我将从几个角度为您详细分析。
劳动合同的约定：
- 如果您与工厂签订的劳动合同中明确规定了退休年龄及退休后的相关事宜，如退休金的支付、工作交接等，那么工厂应当按照合同约定执行。如果工厂违反合同约定，提前解除劳动合同，那么工厂可能需要承担违约责任。
- 如果劳动合同中没有明确规定退休年龄或退休后的相关事宜，那么工厂的行为可能需要根据相关法律法规和工厂的规章制度来判断。
工厂的规章制度：
- 工厂可能有自己的规章制度，其中规定了员工的退休年龄和退休后的处理方式。如果工厂的规章制度符合法律法规的规定，并且您在入职时已经知晓并同意这些规定，那么工厂按照规章制度执行，通常不视为违法。
- 如果工厂的规章制度违反了法律法规的规定，或者您在入职时并不知晓这些规定，那么工厂的行为可能构成违法，您有权要求工厂承担相应的法律责任。
相关法律法规的规定：
- 根据《中华人民共和国劳动合同法》的相关规定，劳动者达到法定退休年龄的，劳动合同终止。这意味着，从法律层面讲，工厂在您达到退休年龄时终止劳动合同是合法的。
- 但是，如果工厂在终止劳动合同的过程中存在违法行为，如未提前通知、未支付经济补偿等，那么工厂仍然需要承担相应的法律责任。
- 此外，如果工厂在您达到退休年龄后，仍然希望您继续工作，但双方未就新的劳动合同达成一致，那么工厂不能单方面强制您离职，否则可能构成违法解除劳动合同。
建议：
- 如果您认为工厂的行为存在违法之处，或者您对工厂的处理方式有异议，建议您先与工厂进行协商，尝试通过友好沟通解决问题。
- 如果协商无果，您可以向当地的劳动监察部门投诉，或者申请劳动仲裁，以维护自己的合法权益。
- 在整个过程中，建议您保留好相关证据，如劳动合同、工资单、工作记录等，以便在需要时提供证明。
可能后果：
- 如果工厂的行为被认定为违法，那么工厂可能需要支付您经济补偿、赔偿金等费用，并可能面临劳动监察部门的处罚。
- 如果工厂的行为被认定为合法，但您认为工厂的处理方式不公平或不合理，您仍然可以通过法律途径表达自己的诉求，但可能无法获得经济上的赔偿。
总之，工厂在您达到退休年龄时立即让您走人，是否有责任取决于多种因素。如果您对此有疑问或需要进一步的法律帮助，请随时向我咨询。