服刑人员在会见时与家人发生争吵，不一定会被处罚，但具体是否会被处罚取决于争吵的具体情况和后果。以下是对此问题的详细分析：

一. 争吵未造成严重后果的情况

1. 口头争执无实际伤害：如果争吵仅仅是口头上的争执，没有造成任何实际伤害或损害，那么一般不会构成犯罪，也不会因此受到处罚。

2. 言语不当可能受行政处罚：但是，如果争吵过程中涉及侮辱、诽谤等言辞，根据《中华人民共和国治安管理处罚法》第四十二条的规定，可能会面临五日以下拘留或者五百元以下罚款的处罚。

二. 争吵升级为肢体冲突的情况

1. 造成轻伤或重伤：如果争吵升级为肢体冲突，并导致对方轻伤或重伤，那么可能构成故意伤害罪。根据《中华人民共和国刑法》第二百三十四条的规定，故意伤害他人身体的，处三年以下有期徒刑、拘役或者管制；致人重伤的，处三年以上十年以下有期徒刑。

2. 导致死亡：如果争吵导致对方死亡，则可能构成过失致人死亡罪或故意杀人罪，具体取决于行为人的主观意图和客观行为。

三. 会见期间的规定与要求

1. 会见自由但受限制：根据《中华人民共和国监狱法》第四十八条的规定，罪犯在监狱服刑期间可以会见亲属、监护人。虽然法律没有明确规定会见时说话是否受限制，但会见双方应当遵守监狱的相关规定，不得进行违法违规的交流。

2. 违反规定可能受处罚：如果服刑人员在会见期间违反监狱规定，如传递违禁品信息、策划犯罪活动等，或者实施威胁、侮辱司法工作人员、故意扰乱羁押场所秩序等行为，情节严重的，依法追究法律责任。

我的观点：服刑人员在会见时与家人发生争吵，虽然不一定会被处罚，但为了避免不必要的麻烦和后果，建议保持冷静和理性，遵守监狱的相关规定，避免争吵升级为肢体冲突或造成更严重的后果。如有进一步需要，您可以继续咨询我。