不能拒绝支付全部货款，但可以依法主张相应的权利。根据《民法典》第六百二十六条，买受人应当按照约定的数额支付价款。同时，根据第五百八十二条，履行不符合约定的，受损害方根据标的的性质以及损失的大小，可以合理选择请求对方承担修理、重作、更换、退货、减少价款或者报酬等违约责任。

货物存在轻微瑕疵，属于“履行不符合约定”。买方的救济方式应与其受到的损害相匹配。由于不影响主要使用，买方通常不能主张解除合同或拒收货物（即退货），更不能拒绝支付全部货款。其合理的选择是：1. 要求卖方修理或更换。2. 如果无法修理或更换，或者瑕疵轻微，可以要求减少价款（即折价）。

实务建议：买方应及时验货并就瑕疵问题向卖方提出书面异议，固定证据（如照片、视频、检测报告）。然后与卖方协商降价或补偿方案。如果卖方拒绝，买方可以在支付货款时扣除合理的折价部分，或支付后通过诉讼主张减少价款的违约责任。