社区书记作为地方社区的管理者，并不具备直接开除劳务派遣人员的权力。劳务派遣人员与劳务派遣单位存在劳动关系，而与用工单位（如社区）则是劳务关系。因此，关于劳务派遣人员的去留问题，应遵循相关法律法规和劳务派遣合同的约定。

根据《中华人民共和国劳动合同法》及相关法规，劳务派遣单位与用工单位在劳务派遣过程中需遵守相关规定。如果劳务派遣人员在工作过程中存在违规或不符合岗位要求的情况，用工单位可以依据劳务派遣合同的约定，将其退回劳务派遣单位，但并不能直接开除。退回后，劳务派遣单位需根据合同约定和法律规定，对劳务派遣人员进行相应的处理。

此外，如果劳务派遣单位或用工单位违反了劳务派遣的相关规定，如未依法签订劳务派遣合同、未履行同工同酬义务等，将可能面临劳动行政部门的处罚，包括但不限于责令限期改正、罚款、吊销劳务派遣业务经营许可证等。

因此，社区书记在处理劳务派遣人员的问题时，应依法依规进行，不能随意开除劳务派遣人员。如需对劳务派遣人员进行管理或调整，应与劳务派遣单位进行协商，并按照劳务派遣合同的约定和相关法律法规进行处理。