在一家店铺里买了几件衣服，其中一条黑色的裤子，一条白色的裤子，付完款之后我突然发现拍错了，就跟卖家说发货的时候备注一下，两个都要黑色的，然后卖家已麻烦为由拒绝我了，让我退款，我就把拍错的裤子退款了，然后卖家让我全部退款，他说他不卖我了，他有这样的权利吗？我要怎么维护自己的权利？