您好，针对您提出的“单位是否可以以残疾人身体素质不合格不予录用”的问题，我可以明确地告诉您，单位不可以仅因残疾人身体素质不合格而拒绝录用。以下是我为您详细解释的原因和相关法律依据：

一、法律依据

1. 《残疾人保障法》：该法明确规定，国家保障残疾人的劳动权利，并禁止基于残疾的就业歧视。用人单位在招用人员时，应当向劳动者提供平等的就业机会和公平的就业条件，不得实施就业歧视，包括不得歧视残疾人。

2. 《就业促进法》：此法也强调了平等就业的原则，禁止任何形式的就业歧视，确保所有劳动者都能享有平等的就业机会。

3. 《湖南省按比例安排残疾人就业规定》（若您所在地区为湖南省，此规定具有直接适用性；其他地区也有类似规定）：该规定明确指出，机关、事业单位招录工作人员，除特殊岗位外，不得额外设置限制残疾人报考的条件；残疾人能够胜任的岗位，在同等条件下鼓励优先录用残疾人。同时，用人单位应当为就业残疾人安排适合其身体状况的工作岗位，提供适合其身体状况的劳动条件和劳动保护。

二、具体分析

1. 平等就业权：残疾人作为劳动者，享有与其他劳动者平等的就业权利。单位不能仅因残疾人的身体素质而剥夺其就业机会，这违反了平等就业的原则。

2. 岗位适应性：单位在招聘时，应关注残疾人是否能够胜任所申请的岗位，而不是仅关注其身体素质。如果残疾人能够胜任岗位工作，单位就应当给予其平等的就业机会。

3. 合理便利：根据法律规定，单位有义务为残疾人提供适合其身体状况的工作岗位和劳动条件。这意味着，如果残疾人的身体素质在某些方面存在不足，单位应当通过提供合理便利（如调整工作岗位、提供辅助设备等）来帮助其胜任工作，而不是直接拒绝录用。

三、建议

1. 了解法律规定：作为求职者或残疾人权益保护者，您应当了解并熟悉相关法律规定，以便在遭遇就业歧视时能够维护自己的合法权益。

2. 与单位沟通：如果您在求职过程中遇到单位以身体素质不合格为由拒绝录用的情况，您可以尝试与单位沟通，了解其具体拒绝理由，并说明自己能够胜任岗位工作的情况。

3. 寻求法律援助：如果沟通无果，您可以向当地劳动监察部门或残疾人联合会寻求法律援助，他们将会为您提供必要的帮助和支持。

总之，单位不可以仅因残疾人身体素质不合格而拒绝录用。残疾人享有平等的就业权利，单位应当提供平等的就业机会和公平的就业条件。如果您在求职过程中遇到任何问题或需要进一步的帮助，请随时告诉我。