结论前置：是的，从来不关心被继承人且有恶习、好逸恶劳的继承人，在遗产分配时是可以不分或少分遗产的。这一结论主要基于我国《民法典》中关于遗产分配的相关规定。
法律背景与解释：
法定继承中的遗产分配原则：
- 根据《民法典》第一千一百三十条的规定，同一顺序继承人继承遗产的份额，一般应当均等。但这一原则并非绝对，法律同时规定了例外情形。
不分或少分遗产的情形：
- 对被继承人尽了主要扶养义务或与被继承人共同生活的继承人：在分配遗产时，可以多分。这体现了法律对积极履行扶养义务继承人的鼓励和保护。
- 有扶养能力和有扶养条件的继承人，不尽扶养义务的：在分配遗产时，应当不分或者少分。这一规定直接回应了您问题中的情况，即从来不关心被继承人（即不尽扶养义务）的继承人，在遗产分配时是可以不分或少分的。
- 继承人协商同意的：虽然这一情形与您问题中的直接情况不完全吻合，但值得注意的是，继承人之间也可以协商确定遗产的分配方式，包括不分或少分给某些继承人。
“恶习好逸恶劳”对遗产分配的影响：
- 虽然“恶习好逸恶劳”并非法律条文中明确列出的不分或少分遗产的情形，但这一行为往往与不尽扶养义务紧密相连。一个好逸恶劳、有恶习的继承人，很可能无法或不愿对被继承人尽到扶养义务。因此，在司法实践中，法院可能会综合考虑继承人的行为表现、经济状况、与被继承人的关系等因素，判断其是否应不分或少分遗产。
法律建议：
- 收集证据：如果您作为其他继承人，认为某位继承人存在从来不关心被继承人且有恶习、好逸恶劳的情况，建议收集相关证据，如证人证言、照片、视频等，以证明其未尽扶养义务。
- 协商或诉讼：在遗产分配过程中，您可以首先尝试与其他继承人协商，达成一致的分配方案。如果协商不成，您可以向法院提起诉讼，由法院根据法律规定和实际情况作出判决。
可能的法律后果：
- 如果法院认定某位继承人确实存在未尽扶养义务的情况，那么该继承人在遗产分配时可能会被判决不分或少分遗产。
- 反之，如果法院认为某位继承人虽然存在某些不良行为，但并未影响其对被继承人的扶养义务，或者其不良行为与遗产分配无直接关联，那么该继承人可能仍然会按照法定继承的原则分配遗产。
综上所述，从来不关心被继承人且有恶习、好逸恶劳的继承人，在遗产分配时是可以不分或少分遗产的。但具体分配方式还需根据实际情况和法院的判决来确定。如果您有进一步的法律问题或需要更详细的法律建议，请直接向我咨询。