村干部在工作时间与村民赌博属于违法行为，应当根据具体情节依法处理。具体分析如下：

1. 违法性分析
   根据《中华人民共和国治安管理处罚法》第七十条，以营利为目的，为赌博提供条件或参与赌博赌资较大的，处五日以下拘留或五百元以下罚款；情节严重的，处十日以上十五日以下拘留，并处五百元以上三千元以下罚款。村干部作为国家公职人员（或基层自治组织管理人员），在工作时间参与赌博，不仅违反治安管理规定，还可能因“工作时间从事与职务无关活动”违反《公务员法》或《村民委员会组织法》中关于公职人员履职规范的规定，构成违纪行为。

2. 处理方式

   • 行政处罚：公安机关可依据《治安管理处罚法》对村干部及参与赌博的村民进行行政处罚，包括拘留、罚款等。
     
   • 纪律处分：若村干部属于党员，党组织可依据《中国共产党纪律处分条例》给予警告、撤职等党纪处分；若为非党员公职人员，可由乡镇政府或上级部门依据《公职人员政务处分法》给予警告、记过、撤职等政务处分。
     
   • 职务处理：根据《村民委员会组织法》，村民委员会成员有违法行为且情节严重的，村民会议或村民代表会议可依法罢免其职务。
     
   • 刑事责任：若赌博行为涉及聚众赌博、开设赌场或赌资巨大，可能构成《刑法》第三百零三条规定的赌博罪或开设赌场罪，需依法追究刑事责任。

3. 特殊情节考量

   • 工作时间赌博：该情节可能被认定为“情节严重”，加重行政处罚或纪律处分力度。
     
   • 利用职务便利：若村干部利用职务之便组织赌博（如提供场所、通风报信），可能涉嫌滥用职权罪或受贿罪（如收受赌客财物），需结合具体证据追究刑事责任。
     
   • 村民参与情节：普通村民参与赌博的，一般按《治安管理处罚法》处理；但若村民受村干部胁迫参与，可能减轻或免除处罚。

建议：若发现此类行为，村民可向当地公安机关举报赌博行为，同时向乡镇纪委或县级监察委员会反映村干部违纪问题。如有证据，可一并提交以协助调查。如有进一步疑问，可直接向我咨询具体法律程序。