结论：在您描述的情境下，您不可以拒绝被警察带走，配合执法是公民的义务。以下从多个角度为您详细分析：
一、法律义务角度
根据我国相关法律规定，公民有义务配合公安机关的执法活动。当警察依法执行职务，如进行调查、传唤等，公民应当予以配合。如果您拒绝被带走，可能构成阻碍执行职务的违法行为。根据《中华人民共和国治安管理处罚法》第五十条的规定，阻碍国家机关工作人员依法执行职务的，处警告或者二百元以下罚款；情节严重的，处五日以上十日以下拘留，可以并处五百元以下罚款。因此，从法律义务的角度来看，您应当配合警察的执法活动，不得拒绝被带走。
二、具体情境分析
如果您只是旁观，并未参与赌博：
- 即使您只是在一旁观看他人打麻将，并未实际参与赌博活动，但当警察依法进行调查或传唤时，您仍然有义务配合。警察可能需要对现场情况进行了解，或者需要您作为证人提供证言。
- 在这种情况下，如果您拒绝被带走，不仅可能面临上述的治安管理处罚，还可能影响警察对案件的调查和处理。
如果您确实未参与任何违法行为：
- 如果您能够证明自己确实未参与任何赌博或其他违法行为，警察在调查清楚后，会依法释放您。
- 但在此过程中，您仍然需要配合警察的执法活动，如提供身份信息、接受询问等。拒绝配合可能会导致调查时间延长，甚至可能引发不必要的误会和麻烦。
三、建议与注意事项
保持冷静，配合执法：
- 当警察要求您配合调查或传唤时，请保持冷静，不要惊慌失措或试图逃跑。
- 按照警察的要求提供身份信息、接受询问等，并如实陈述自己所知道的情况。
了解自己的权利：
- 在配合执法的过程中，您也有权了解自己的权利，如要求警察出示执法证件、了解传唤的原因和依据等。
- 如果您认为警察的执法行为存在不当或违法行为，可以在配合执法的同时，记录下相关情况，并在事后向相关部门投诉或举报。
寻求法律帮助：
- 如果您在配合执法的过程中遇到任何问题或困难，或者认为自己的合法权益受到了侵害，可以及时向我这样的专业律师寻求法律帮助。
最后，配合公安机关的执法活动是每个公民的义务。在遇到类似情况时，请保持冷静、配合执法，并了解自己的权利和义务。如果您有任何疑问或需要进一步的法律帮助，请随时向我咨询。