clang_integration_test.cc

// NOTE: Assertions have been autogenerated by utils/update_cc_test_checks.py
// RUN: %clang -x c++ -std=c++11 -S -O2 -msse4.2 -o - %s | FileCheck -check-prefix=CHECK-SSE42 %s
// RUN: %clang -x c++ -std=c++11 -S -O2 -mavx2 -o - %s | FileCheck -check-prefix=CHECK-AVX2 %s
// RUN: %clang -x c++ -std=c++11 -S -O2 -DTEST_SIMD128 -mavx2 -o - %s | FileCheck -check-prefix=CHECK-AVX2-128 %s

#include "dimsum.h"
using namespace dimsum;

#if defined(TEST_SIMD128)
template <typename T>
using TestedSimd = Simd128<T>;
#else
template <typename T>
using TestedSimd = NativeSimd<T>;
#endif

// The extern "C" functions below doesn't create instantiations of Simd<>.
// Create them here to suppress compiler warnings about returning incomplete
// type.
TestedSimd<int8> simd_a0;
TestedSimd<int16> simd_a2;
TestedSimd<int32> simd_a3;
TestedSimd<int64> simd_a4;
TestedSimd<uint8> simd_a5;
TestedSimd<uint16> simd_a6;
TestedSimd<uint32> simd_a7;
TestedSimd<uint64> simd_a8;
TestedSimd<float> simd_a9;
TestedSimd<double> simd_a10;

extern "C" {

// CHECK-SSE42-LABEL: operatorADD_0:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    paddb %xmm1, %xmm0
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: operatorADD_0:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vpaddb %ymm0, %ymm1, %ymm0
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: operatorADD_0:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vpaddb %xmm0, %xmm1, %xmm0
// CHECK-AVX2-128-NEXT:    retq
TestedSimd<int8> operatorADD_0(TestedSimd<int8> a, TestedSimd<int8> b) {
  return a + b;
}

// CHECK-SSE42-LABEL: operatorADD_1:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    paddw %xmm1, %xmm0
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: operatorADD_1:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vpaddw %ymm0, %ymm1, %ymm0
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: operatorADD_1:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vpaddw %xmm0, %xmm1, %xmm0
// CHECK-AVX2-128-NEXT:    retq
TestedSimd<int16> operatorADD_1(TestedSimd<int16> a, TestedSimd<int16> b) {
  return a + b;
}

// CHECK-SSE42-LABEL: operatorADD_2:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    paddd %xmm1, %xmm0
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: operatorADD_2:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vpaddd %ymm0, %ymm1, %ymm0
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: operatorADD_2:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vpaddd %xmm0, %xmm1, %xmm0
// CHECK-AVX2-128-NEXT:    retq
TestedSimd<int32> operatorADD_2(TestedSimd<int32> a, TestedSimd<int32> b) {
  return a + b;
}

// CHECK-SSE42-LABEL: operatorADD_3:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    paddq %xmm1, %xmm0
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: operatorADD_3:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vpaddq %ymm0, %ymm1, %ymm0
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: operatorADD_3:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vpaddq %xmm0, %xmm1, %xmm0
// CHECK-AVX2-128-NEXT:    retq
TestedSimd<int64> operatorADD_3(TestedSimd<int64> a, TestedSimd<int64> b) {
  return a + b;
}

// CHECK-SSE42-LABEL: operatorADD_4:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    paddb %xmm1, %xmm0
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: operatorADD_4:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vpaddb %ymm0, %ymm1, %ymm0
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: operatorADD_4:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vpaddb %xmm0, %xmm1, %xmm0
// CHECK-AVX2-128-NEXT:    retq
TestedSimd<uint8> operatorADD_4(TestedSimd<uint8> a, TestedSimd<uint8> b) {
  return a + b;
}

// CHECK-SSE42-LABEL: operatorADD_5:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    paddw %xmm1, %xmm0
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: operatorADD_5:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vpaddw %ymm0, %ymm1, %ymm0
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: operatorADD_5:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vpaddw %xmm0, %xmm1, %xmm0
// CHECK-AVX2-128-NEXT:    retq
TestedSimd<uint16> operatorADD_5(TestedSimd<uint16> a, TestedSimd<uint16> b) {
  return a + b;
}

// CHECK-SSE42-LABEL: operatorADD_6:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    paddd %xmm1, %xmm0
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: operatorADD_6:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vpaddd %ymm0, %ymm1, %ymm0
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: operatorADD_6:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vpaddd %xmm0, %xmm1, %xmm0
// CHECK-AVX2-128-NEXT:    retq
TestedSimd<uint32> operatorADD_6(TestedSimd<uint32> a, TestedSimd<uint32> b) {
  return a + b;
}

// CHECK-SSE42-LABEL: operatorADD_7:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    paddq %xmm1, %xmm0
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: operatorADD_7:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vpaddq %ymm0, %ymm1, %ymm0
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: operatorADD_7:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vpaddq %xmm0, %xmm1, %xmm0
// CHECK-AVX2-128-NEXT:    retq
TestedSimd<uint64> operatorADD_7(TestedSimd<uint64> a, TestedSimd<uint64> b) {
  return a + b;
}

// CHECK-SSE42-LABEL: operatorADD_8:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    addps %xmm1, %xmm0
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: operatorADD_8:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vaddps %ymm1, %ymm0, %ymm0
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: operatorADD_8:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vaddps %xmm1, %xmm0, %xmm0
// CHECK-AVX2-128-NEXT:    retq
TestedSimd<float> operatorADD_8(TestedSimd<float> a, TestedSimd<float> b) {
  return a + b;
}

// CHECK-SSE42-LABEL: operatorADD_9:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    addpd %xmm1, %xmm0
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: operatorADD_9:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vaddpd %ymm1, %ymm0, %ymm0
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: operatorADD_9:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vaddpd %xmm1, %xmm0, %xmm0
// CHECK-AVX2-128-NEXT:    retq
TestedSimd<double> operatorADD_9(TestedSimd<double> a, TestedSimd<double> b) {
  return a + b;
}

// CHECK-SSE42-LABEL: operatorSUB_0:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    psubb %xmm1, %xmm0
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: operatorSUB_0:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vpsubb %ymm1, %ymm0, %ymm0
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: operatorSUB_0:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vpsubb %xmm1, %xmm0, %xmm0
// CHECK-AVX2-128-NEXT:    retq
TestedSimd<int8> operatorSUB_0(TestedSimd<int8> a, TestedSimd<int8> b) {
  return a - b;
}

// CHECK-SSE42-LABEL: operatorSUB_1:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    psubw %xmm1, %xmm0
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: operatorSUB_1:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vpsubw %ymm1, %ymm0, %ymm0
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: operatorSUB_1:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vpsubw %xmm1, %xmm0, %xmm0
// CHECK-AVX2-128-NEXT:    retq
TestedSimd<int16> operatorSUB_1(TestedSimd<int16> a, TestedSimd<int16> b) {
  return a - b;
}

// CHECK-SSE42-LABEL: operatorSUB_2:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    psubd %xmm1, %xmm0
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: operatorSUB_2:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vpsubd %ymm1, %ymm0, %ymm0
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: operatorSUB_2:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vpsubd %xmm1, %xmm0, %xmm0
// CHECK-AVX2-128-NEXT:    retq
TestedSimd<int32> operatorSUB_2(TestedSimd<int32> a, TestedSimd<int32> b) {
  return a - b;
}

// CHECK-SSE42-LABEL: operatorSUB_3:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    psubq %xmm1, %xmm0
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: operatorSUB_3:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vpsubq %ymm1, %ymm0, %ymm0
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: operatorSUB_3:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vpsubq %xmm1, %xmm0, %xmm0
// CHECK-AVX2-128-NEXT:    retq
TestedSimd<int64> operatorSUB_3(TestedSimd<int64> a, TestedSimd<int64> b) {
  return a - b;
}

// CHECK-SSE42-LABEL: operatorSUB_4:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    psubb %xmm1, %xmm0
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: operatorSUB_4:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vpsubb %ymm1, %ymm0, %ymm0
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: operatorSUB_4:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vpsubb %xmm1, %xmm0, %xmm0
// CHECK-AVX2-128-NEXT:    retq
TestedSimd<uint8> operatorSUB_4(TestedSimd<uint8> a, TestedSimd<uint8> b) {
  return a - b;
}

// CHECK-SSE42-LABEL: operatorSUB_5:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    psubw %xmm1, %xmm0
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: operatorSUB_5:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vpsubw %ymm1, %ymm0, %ymm0
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: operatorSUB_5:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vpsubw %xmm1, %xmm0, %xmm0
// CHECK-AVX2-128-NEXT:    retq
TestedSimd<uint16> operatorSUB_5(TestedSimd<uint16> a, TestedSimd<uint16> b) {
  return a - b;
}

// CHECK-SSE42-LABEL: operatorSUB_6:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    psubd %xmm1, %xmm0
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: operatorSUB_6:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vpsubd %ymm1, %ymm0, %ymm0
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: operatorSUB_6:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vpsubd %xmm1, %xmm0, %xmm0
// CHECK-AVX2-128-NEXT:    retq
TestedSimd<uint32> operatorSUB_6(TestedSimd<uint32> a, TestedSimd<uint32> b) {
  return a - b;
}

// CHECK-SSE42-LABEL: operatorSUB_7:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    psubq %xmm1, %xmm0
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: operatorSUB_7:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vpsubq %ymm1, %ymm0, %ymm0
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: operatorSUB_7:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vpsubq %xmm1, %xmm0, %xmm0
// CHECK-AVX2-128-NEXT:    retq
TestedSimd<uint64> operatorSUB_7(TestedSimd<uint64> a, TestedSimd<uint64> b) {
  return a - b;
}

// CHECK-SSE42-LABEL: operatorSUB_8:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    subps %xmm1, %xmm0
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: operatorSUB_8:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vsubps %ymm1, %ymm0, %ymm0
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: operatorSUB_8:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vsubps %xmm1, %xmm0, %xmm0
// CHECK-AVX2-128-NEXT:    retq
TestedSimd<float> operatorSUB_8(TestedSimd<float> a, TestedSimd<float> b) {
  return a - b;
}

// CHECK-SSE42-LABEL: operatorSUB_9:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    subpd %xmm1, %xmm0
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: operatorSUB_9:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vsubpd %ymm1, %ymm0, %ymm0
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: operatorSUB_9:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vsubpd %xmm1, %xmm0, %xmm0
// CHECK-AVX2-128-NEXT:    retq
TestedSimd<double> operatorSUB_9(TestedSimd<double> a, TestedSimd<double> b) {
  return a - b;
}

// CHECK-SSE42-LABEL: operatorMUL_0:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    pmovzxbw {{.*#+}} xmm3 = xmm0[0],zero,xmm0[1],zero,xmm0[2],zero,xmm0[3],zero,xmm0[4],zero,xmm0[5],zero,xmm0[6],zero,xmm0[7],zero
// CHECK-SSE42-NEXT:    punpckhbw {{.*#+}} xmm0 = xmm0[8,8,9,9,10,10,11,11,12,12,13,13,14,14,15,15]
// CHECK-SSE42-NEXT:    pmovzxbw {{.*#+}} xmm2 = xmm1[0],zero,xmm1[1],zero,xmm1[2],zero,xmm1[3],zero,xmm1[4],zero,xmm1[5],zero,xmm1[6],zero,xmm1[7],zero
// CHECK-SSE42-NEXT:    punpckhbw {{.*#+}} xmm1 = xmm1[8,8,9,9,10,10,11,11,12,12,13,13,14,14,15,15]
// CHECK-SSE42-NEXT:    pmullw %xmm0, %xmm1
// CHECK-SSE42-NEXT:    movdqa {{.*#+}} xmm0 = [255,255,255,255,255,255,255,255]
// CHECK-SSE42-NEXT:    pand %xmm0, %xmm1
// CHECK-SSE42-NEXT:    pmullw %xmm3, %xmm2
// CHECK-SSE42-NEXT:    pand %xmm0, %xmm2
// CHECK-SSE42-NEXT:    packuswb %xmm1, %xmm2
// CHECK-SSE42-NEXT:    movdqa %xmm2, %xmm0
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: operatorMUL_0:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vextracti128 $1, %ymm0, %xmm2
// CHECK-AVX2-NEXT:    vpmovsxbw %xmm2, %ymm2
// CHECK-AVX2-NEXT:    vextracti128 $1, %ymm1, %xmm3
// CHECK-AVX2-NEXT:    vpmovsxbw %xmm3, %ymm3
// CHECK-AVX2-NEXT:    vpmullw %ymm2, %ymm3, %ymm2
// CHECK-AVX2-NEXT:    vextracti128 $1, %ymm2, %xmm3
// CHECK-AVX2-NEXT:    vmovdqa {{.*#+}} xmm4 = <0,2,4,6,8,10,12,14,u,u,u,u,u,u,u,u>
// CHECK-AVX2-NEXT:    vpshufb %xmm4, %xmm3, %xmm3
// CHECK-AVX2-NEXT:    vpshufb %xmm4, %xmm2, %xmm2
// CHECK-AVX2-NEXT:    vpunpcklqdq {{.*#+}} xmm2 = xmm2[0],xmm3[0]
// CHECK-AVX2-NEXT:    vpmovsxbw %xmm0, %ymm0
// CHECK-AVX2-NEXT:    vpmovsxbw %xmm1, %ymm1
// CHECK-AVX2-NEXT:    vpmullw %ymm0, %ymm1, %ymm0
// CHECK-AVX2-NEXT:    vextracti128 $1, %ymm0, %xmm1
// CHECK-AVX2-NEXT:    vpshufb %xmm4, %xmm1, %xmm1
// CHECK-AVX2-NEXT:    vpshufb %xmm4, %xmm0, %xmm0
// CHECK-AVX2-NEXT:    vpunpcklqdq {{.*#+}} xmm0 = xmm0[0],xmm1[0]
// CHECK-AVX2-NEXT:    vinserti128 $1, %xmm2, %ymm0, %ymm0
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: operatorMUL_0:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vpmovsxbw %xmm0, %ymm0
// CHECK-AVX2-128-NEXT:    vpmovsxbw %xmm1, %ymm1
// CHECK-AVX2-128-NEXT:    vpmullw %ymm0, %ymm1, %ymm0
// CHECK-AVX2-128-NEXT:    vextracti128 $1, %ymm0, %xmm1
// CHECK-AVX2-128-NEXT:    vmovdqa {{.*#+}} xmm2 = <0,2,4,6,8,10,12,14,u,u,u,u,u,u,u,u>
// CHECK-AVX2-128-NEXT:    vpshufb %xmm2, %xmm1, %xmm1
// CHECK-AVX2-128-NEXT:    vpshufb %xmm2, %xmm0, %xmm0
// CHECK-AVX2-128-NEXT:    vpunpcklqdq {{.*#+}} xmm0 = xmm0[0],xmm1[0]
// CHECK-AVX2-128-NEXT:    vzeroupper
// CHECK-AVX2-128-NEXT:    retq
TestedSimd<int8> operatorMUL_0(TestedSimd<int8> a, TestedSimd<int8> b) {
  return a * b;
}

// CHECK-SSE42-LABEL: operatorMUL_1:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    pmullw %xmm1, %xmm0
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: operatorMUL_1:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vpmullw %ymm0, %ymm1, %ymm0
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: operatorMUL_1:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vpmullw %xmm0, %xmm1, %xmm0
// CHECK-AVX2-128-NEXT:    retq
TestedSimd<int16> operatorMUL_1(TestedSimd<int16> a, TestedSimd<int16> b) {
  return a * b;
}

// CHECK-SSE42-LABEL: operatorMUL_2:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    pmulld %xmm1, %xmm0
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: operatorMUL_2:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vpmulld %ymm0, %ymm1, %ymm0
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: operatorMUL_2:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vpmulld %xmm0, %xmm1, %xmm0
// CHECK-AVX2-128-NEXT:    retq
TestedSimd<int32> operatorMUL_2(TestedSimd<int32> a, TestedSimd<int32> b) {
  return a * b;
}

// CHECK-SSE42-LABEL: operatorMUL_3:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    movdqa %xmm1, %xmm2
// CHECK-SSE42-NEXT:    psrlq $32, %xmm2
// CHECK-SSE42-NEXT:    pmuludq %xmm0, %xmm2
// CHECK-SSE42-NEXT:    movdqa %xmm0, %xmm3
// CHECK-SSE42-NEXT:    psrlq $32, %xmm3
// CHECK-SSE42-NEXT:    pmuludq %xmm1, %xmm3
// CHECK-SSE42-NEXT:    paddq %xmm2, %xmm3
// CHECK-SSE42-NEXT:    psllq $32, %xmm3
// CHECK-SSE42-NEXT:    pmuludq %xmm1, %xmm0
// CHECK-SSE42-NEXT:    paddq %xmm3, %xmm0
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: operatorMUL_3:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vpsrlq $32, %ymm1, %ymm2
// CHECK-AVX2-NEXT:    vpmuludq %ymm0, %ymm2, %ymm2
// CHECK-AVX2-NEXT:    vpsrlq $32, %ymm0, %ymm3
// CHECK-AVX2-NEXT:    vpmuludq %ymm3, %ymm1, %ymm3
// CHECK-AVX2-NEXT:    vpaddq %ymm2, %ymm3, %ymm2
// CHECK-AVX2-NEXT:    vpsllq $32, %ymm2, %ymm2
// CHECK-AVX2-NEXT:    vpmuludq %ymm0, %ymm1, %ymm0
// CHECK-AVX2-NEXT:    vpaddq %ymm2, %ymm0, %ymm0
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: operatorMUL_3:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vpsrlq $32, %xmm1, %xmm2
// CHECK-AVX2-128-NEXT:    vpmuludq %xmm0, %xmm2, %xmm2
// CHECK-AVX2-128-NEXT:    vpsrlq $32, %xmm0, %xmm3
// CHECK-AVX2-128-NEXT:    vpmuludq %xmm3, %xmm1, %xmm3
// CHECK-AVX2-128-NEXT:    vpaddq %xmm2, %xmm3, %xmm2
// CHECK-AVX2-128-NEXT:    vpsllq $32, %xmm2, %xmm2
// CHECK-AVX2-128-NEXT:    vpmuludq %xmm0, %xmm1, %xmm0
// CHECK-AVX2-128-NEXT:    vpaddq %xmm2, %xmm0, %xmm0
// CHECK-AVX2-128-NEXT:    retq
TestedSimd<int64> operatorMUL_3(TestedSimd<int64> a, TestedSimd<int64> b) {
  return a * b;
}

// CHECK-SSE42-LABEL: operatorMUL_4:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    pmovzxbw {{.*#+}} xmm3 = xmm0[0],zero,xmm0[1],zero,xmm0[2],zero,xmm0[3],zero,xmm0[4],zero,xmm0[5],zero,xmm0[6],zero,xmm0[7],zero
// CHECK-SSE42-NEXT:    punpckhbw {{.*#+}} xmm0 = xmm0[8,8,9,9,10,10,11,11,12,12,13,13,14,14,15,15]
// CHECK-SSE42-NEXT:    pmovzxbw {{.*#+}} xmm2 = xmm1[0],zero,xmm1[1],zero,xmm1[2],zero,xmm1[3],zero,xmm1[4],zero,xmm1[5],zero,xmm1[6],zero,xmm1[7],zero
// CHECK-SSE42-NEXT:    punpckhbw {{.*#+}} xmm1 = xmm1[8,8,9,9,10,10,11,11,12,12,13,13,14,14,15,15]
// CHECK-SSE42-NEXT:    pmullw %xmm0, %xmm1
// CHECK-SSE42-NEXT:    movdqa {{.*#+}} xmm0 = [255,255,255,255,255,255,255,255]
// CHECK-SSE42-NEXT:    pand %xmm0, %xmm1
// CHECK-SSE42-NEXT:    pmullw %xmm3, %xmm2
// CHECK-SSE42-NEXT:    pand %xmm0, %xmm2
// CHECK-SSE42-NEXT:    packuswb %xmm1, %xmm2
// CHECK-SSE42-NEXT:    movdqa %xmm2, %xmm0
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: operatorMUL_4:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vextracti128 $1, %ymm0, %xmm2
// CHECK-AVX2-NEXT:    vpmovsxbw %xmm2, %ymm2
// CHECK-AVX2-NEXT:    vextracti128 $1, %ymm1, %xmm3
// CHECK-AVX2-NEXT:    vpmovsxbw %xmm3, %ymm3
// CHECK-AVX2-NEXT:    vpmullw %ymm2, %ymm3, %ymm2
// CHECK-AVX2-NEXT:    vextracti128 $1, %ymm2, %xmm3
// CHECK-AVX2-NEXT:    vmovdqa {{.*#+}} xmm4 = <0,2,4,6,8,10,12,14,u,u,u,u,u,u,u,u>
// CHECK-AVX2-NEXT:    vpshufb %xmm4, %xmm3, %xmm3
// CHECK-AVX2-NEXT:    vpshufb %xmm4, %xmm2, %xmm2
// CHECK-AVX2-NEXT:    vpunpcklqdq {{.*#+}} xmm2 = xmm2[0],xmm3[0]
// CHECK-AVX2-NEXT:    vpmovsxbw %xmm0, %ymm0
// CHECK-AVX2-NEXT:    vpmovsxbw %xmm1, %ymm1
// CHECK-AVX2-NEXT:    vpmullw %ymm0, %ymm1, %ymm0
// CHECK-AVX2-NEXT:    vextracti128 $1, %ymm0, %xmm1
// CHECK-AVX2-NEXT:    vpshufb %xmm4, %xmm1, %xmm1
// CHECK-AVX2-NEXT:    vpshufb %xmm4, %xmm0, %xmm0
// CHECK-AVX2-NEXT:    vpunpcklqdq {{.*#+}} xmm0 = xmm0[0],xmm1[0]
// CHECK-AVX2-NEXT:    vinserti128 $1, %xmm2, %ymm0, %ymm0
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: operatorMUL_4:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vpmovsxbw %xmm0, %ymm0
// CHECK-AVX2-128-NEXT:    vpmovsxbw %xmm1, %ymm1
// CHECK-AVX2-128-NEXT:    vpmullw %ymm0, %ymm1, %ymm0
// CHECK-AVX2-128-NEXT:    vextracti128 $1, %ymm0, %xmm1
// CHECK-AVX2-128-NEXT:    vmovdqa {{.*#+}} xmm2 = <0,2,4,6,8,10,12,14,u,u,u,u,u,u,u,u>
// CHECK-AVX2-128-NEXT:    vpshufb %xmm2, %xmm1, %xmm1
// CHECK-AVX2-128-NEXT:    vpshufb %xmm2, %xmm0, %xmm0
// CHECK-AVX2-128-NEXT:    vpunpcklqdq {{.*#+}} xmm0 = xmm0[0],xmm1[0]
// CHECK-AVX2-128-NEXT:    vzeroupper
// CHECK-AVX2-128-NEXT:    retq
TestedSimd<uint8> operatorMUL_4(TestedSimd<uint8> a, TestedSimd<uint8> b) {
  return a * b;
}

// CHECK-SSE42-LABEL: operatorMUL_5:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    pmullw %xmm1, %xmm0
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: operatorMUL_5:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vpmullw %ymm0, %ymm1, %ymm0
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: operatorMUL_5:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vpmullw %xmm0, %xmm1, %xmm0
// CHECK-AVX2-128-NEXT:    retq
TestedSimd<uint16> operatorMUL_5(TestedSimd<uint16> a, TestedSimd<uint16> b) {
  return a * b;
}

// CHECK-SSE42-LABEL: operatorMUL_6:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    pmulld %xmm1, %xmm0
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: operatorMUL_6:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vpmulld %ymm0, %ymm1, %ymm0
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: operatorMUL_6:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vpmulld %xmm0, %xmm1, %xmm0
// CHECK-AVX2-128-NEXT:    retq
TestedSimd<uint32> operatorMUL_6(TestedSimd<uint32> a, TestedSimd<uint32> b) {
  return a * b;
}

// CHECK-SSE42-LABEL: operatorMUL_7:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    movdqa %xmm1, %xmm2
// CHECK-SSE42-NEXT:    psrlq $32, %xmm2
// CHECK-SSE42-NEXT:    pmuludq %xmm0, %xmm2
// CHECK-SSE42-NEXT:    movdqa %xmm0, %xmm3
// CHECK-SSE42-NEXT:    psrlq $32, %xmm3
// CHECK-SSE42-NEXT:    pmuludq %xmm1, %xmm3
// CHECK-SSE42-NEXT:    paddq %xmm2, %xmm3
// CHECK-SSE42-NEXT:    psllq $32, %xmm3
// CHECK-SSE42-NEXT:    pmuludq %xmm1, %xmm0
// CHECK-SSE42-NEXT:    paddq %xmm3, %xmm0
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: operatorMUL_7:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vpsrlq $32, %ymm1, %ymm2
// CHECK-AVX2-NEXT:    vpmuludq %ymm0, %ymm2, %ymm2
// CHECK-AVX2-NEXT:    vpsrlq $32, %ymm0, %ymm3
// CHECK-AVX2-NEXT:    vpmuludq %ymm3, %ymm1, %ymm3
// CHECK-AVX2-NEXT:    vpaddq %ymm2, %ymm3, %ymm2
// CHECK-AVX2-NEXT:    vpsllq $32, %ymm2, %ymm2
// CHECK-AVX2-NEXT:    vpmuludq %ymm0, %ymm1, %ymm0
// CHECK-AVX2-NEXT:    vpaddq %ymm2, %ymm0, %ymm0
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: operatorMUL_7:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vpsrlq $32, %xmm1, %xmm2
// CHECK-AVX2-128-NEXT:    vpmuludq %xmm0, %xmm2, %xmm2
// CHECK-AVX2-128-NEXT:    vpsrlq $32, %xmm0, %xmm3
// CHECK-AVX2-128-NEXT:    vpmuludq %xmm3, %xmm1, %xmm3
// CHECK-AVX2-128-NEXT:    vpaddq %xmm2, %xmm3, %xmm2
// CHECK-AVX2-128-NEXT:    vpsllq $32, %xmm2, %xmm2
// CHECK-AVX2-128-NEXT:    vpmuludq %xmm0, %xmm1, %xmm0
// CHECK-AVX2-128-NEXT:    vpaddq %xmm2, %xmm0, %xmm0
// CHECK-AVX2-128-NEXT:    retq
TestedSimd<uint64> operatorMUL_7(TestedSimd<uint64> a, TestedSimd<uint64> b) {
  return a * b;
}

// CHECK-SSE42-LABEL: operatorMUL_8:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    mulps %xmm1, %xmm0
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: operatorMUL_8:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vmulps %ymm1, %ymm0, %ymm0
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: operatorMUL_8:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vmulps %xmm1, %xmm0, %xmm0
// CHECK-AVX2-128-NEXT:    retq
TestedSimd<float> operatorMUL_8(TestedSimd<float> a, TestedSimd<float> b) {
  return a * b;
}

// CHECK-SSE42-LABEL: operatorMUL_9:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    mulpd %xmm1, %xmm0
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: operatorMUL_9:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vmulpd %ymm1, %ymm0, %ymm0
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: operatorMUL_9:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vmulpd %xmm1, %xmm0, %xmm0
// CHECK-AVX2-128-NEXT:    retq
TestedSimd<double> operatorMUL_9(TestedSimd<double> a, TestedSimd<double> b) {
  return a * b;
}

// CHECK-SSE42-LABEL: operatorAND_0:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    andps %xmm1, %xmm0
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: operatorAND_0:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vandps %ymm0, %ymm1, %ymm0
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: operatorAND_0:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vandps %xmm0, %xmm1, %xmm0
// CHECK-AVX2-128-NEXT:    retq
TestedSimd<int8> operatorAND_0(TestedSimd<int8> a, TestedSimd<int8> b) {
  return a & b;
}

// CHECK-SSE42-LABEL: operatorAND_1:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    andps %xmm1, %xmm0
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: operatorAND_1:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vandps %ymm0, %ymm1, %ymm0
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: operatorAND_1:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vandps %xmm0, %xmm1, %xmm0
// CHECK-AVX2-128-NEXT:    retq
TestedSimd<int16> operatorAND_1(TestedSimd<int16> a, TestedSimd<int16> b) {
  return a & b;
}

// CHECK-SSE42-LABEL: operatorAND_2:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    andps %xmm1, %xmm0
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: operatorAND_2:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vandps %ymm0, %ymm1, %ymm0
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: operatorAND_2:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vandps %xmm0, %xmm1, %xmm0
// CHECK-AVX2-128-NEXT:    retq
TestedSimd<int32> operatorAND_2(TestedSimd<int32> a, TestedSimd<int32> b) {
  return a & b;
}

// CHECK-SSE42-LABEL: operatorAND_3:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    andps %xmm1, %xmm0
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: operatorAND_3:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vandps %ymm0, %ymm1, %ymm0
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: operatorAND_3:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vandps %xmm0, %xmm1, %xmm0
// CHECK-AVX2-128-NEXT:    retq
TestedSimd<int64> operatorAND_3(TestedSimd<int64> a, TestedSimd<int64> b) {
  return a & b;
}

// CHECK-SSE42-LABEL: operatorAND_4:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    andps %xmm1, %xmm0
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: operatorAND_4:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vandps %ymm0, %ymm1, %ymm0
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: operatorAND_4:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vandps %xmm0, %xmm1, %xmm0
// CHECK-AVX2-128-NEXT:    retq
TestedSimd<uint8> operatorAND_4(TestedSimd<uint8> a, TestedSimd<uint8> b) {
  return a & b;
}

// CHECK-SSE42-LABEL: operatorAND_5:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    andps %xmm1, %xmm0
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: operatorAND_5:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vandps %ymm0, %ymm1, %ymm0
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: operatorAND_5:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vandps %xmm0, %xmm1, %xmm0
// CHECK-AVX2-128-NEXT:    retq
TestedSimd<uint16> operatorAND_5(TestedSimd<uint16> a, TestedSimd<uint16> b) {
  return a & b;
}

// CHECK-SSE42-LABEL: operatorAND_6:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    andps %xmm1, %xmm0
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: operatorAND_6:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vandps %ymm0, %ymm1, %ymm0
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: operatorAND_6:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vandps %xmm0, %xmm1, %xmm0
// CHECK-AVX2-128-NEXT:    retq
TestedSimd<uint32> operatorAND_6(TestedSimd<uint32> a, TestedSimd<uint32> b) {
  return a & b;
}

// CHECK-SSE42-LABEL: operatorAND_7:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    andps %xmm1, %xmm0
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: operatorAND_7:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vandps %ymm0, %ymm1, %ymm0
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: operatorAND_7:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vandps %xmm0, %xmm1, %xmm0
// CHECK-AVX2-128-NEXT:    retq
TestedSimd<uint64> operatorAND_7(TestedSimd<uint64> a, TestedSimd<uint64> b) {
  return a & b;
}

// CHECK-SSE42-LABEL: operatorXOR_0:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    xorps %xmm1, %xmm0
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: operatorXOR_0:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vxorps %ymm0, %ymm1, %ymm0
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: operatorXOR_0:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vxorps %xmm0, %xmm1, %xmm0
// CHECK-AVX2-128-NEXT:    retq
TestedSimd<int8> operatorXOR_0(TestedSimd<int8> a, TestedSimd<int8> b) {
  return a ^ b;
}

// CHECK-SSE42-LABEL: operatorXOR_1:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    xorps %xmm1, %xmm0
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: operatorXOR_1:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vxorps %ymm0, %ymm1, %ymm0
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: operatorXOR_1:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vxorps %xmm0, %xmm1, %xmm0
// CHECK-AVX2-128-NEXT:    retq
TestedSimd<int16> operatorXOR_1(TestedSimd<int16> a, TestedSimd<int16> b) {
  return a ^ b;
}

// CHECK-SSE42-LABEL: operatorXOR_2:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    xorps %xmm1, %xmm0
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: operatorXOR_2:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vxorps %ymm0, %ymm1, %ymm0
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: operatorXOR_2:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vxorps %xmm0, %xmm1, %xmm0
// CHECK-AVX2-128-NEXT:    retq
TestedSimd<int32> operatorXOR_2(TestedSimd<int32> a, TestedSimd<int32> b) {
  return a ^ b;
}

// CHECK-SSE42-LABEL: operatorXOR_3:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    xorps %xmm1, %xmm0
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: operatorXOR_3:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vxorps %ymm0, %ymm1, %ymm0
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: operatorXOR_3:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vxorps %xmm0, %xmm1, %xmm0
// CHECK-AVX2-128-NEXT:    retq
TestedSimd<int64> operatorXOR_3(TestedSimd<int64> a, TestedSimd<int64> b) {
  return a ^ b;
}

// CHECK-SSE42-LABEL: operatorXOR_4:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    xorps %xmm1, %xmm0
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: operatorXOR_4:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vxorps %ymm0, %ymm1, %ymm0
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: operatorXOR_4:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vxorps %xmm0, %xmm1, %xmm0
// CHECK-AVX2-128-NEXT:    retq
TestedSimd<uint8> operatorXOR_4(TestedSimd<uint8> a, TestedSimd<uint8> b) {
  return a ^ b;
}

// CHECK-SSE42-LABEL: operatorXOR_5:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    xorps %xmm1, %xmm0
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: operatorXOR_5:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vxorps %ymm0, %ymm1, %ymm0
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: operatorXOR_5:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vxorps %xmm0, %xmm1, %xmm0
// CHECK-AVX2-128-NEXT:    retq
TestedSimd<uint16> operatorXOR_5(TestedSimd<uint16> a, TestedSimd<uint16> b) {
  return a ^ b;
}

// CHECK-SSE42-LABEL: operatorXOR_6:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    xorps %xmm1, %xmm0
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: operatorXOR_6:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vxorps %ymm0, %ymm1, %ymm0
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: operatorXOR_6:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vxorps %xmm0, %xmm1, %xmm0
// CHECK-AVX2-128-NEXT:    retq
TestedSimd<uint32> operatorXOR_6(TestedSimd<uint32> a, TestedSimd<uint32> b) {
  return a ^ b;
}

// CHECK-SSE42-LABEL: operatorXOR_7:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    xorps %xmm1, %xmm0
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: operatorXOR_7:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vxorps %ymm0, %ymm1, %ymm0
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: operatorXOR_7:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vxorps %xmm0, %xmm1, %xmm0
// CHECK-AVX2-128-NEXT:    retq
TestedSimd<uint64> operatorXOR_7(TestedSimd<uint64> a, TestedSimd<uint64> b) {
  return a ^ b;
}

// CHECK-SSE42-LABEL: operatorOR_0:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    orps %xmm1, %xmm0
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: operatorOR_0:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vorps %ymm0, %ymm1, %ymm0
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: operatorOR_0:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vorps %xmm0, %xmm1, %xmm0
// CHECK-AVX2-128-NEXT:    retq
TestedSimd<int8> operatorOR_0(TestedSimd<int8> a, TestedSimd<int8> b) {
  return a | b;
}

// CHECK-SSE42-LABEL: operatorOR_1:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    orps %xmm1, %xmm0
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: operatorOR_1:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vorps %ymm0, %ymm1, %ymm0
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: operatorOR_1:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vorps %xmm0, %xmm1, %xmm0
// CHECK-AVX2-128-NEXT:    retq
TestedSimd<int16> operatorOR_1(TestedSimd<int16> a, TestedSimd<int16> b) {
  return a | b;
}

// CHECK-SSE42-LABEL: operatorOR_2:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    orps %xmm1, %xmm0
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: operatorOR_2:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vorps %ymm0, %ymm1, %ymm0
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: operatorOR_2:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vorps %xmm0, %xmm1, %xmm0
// CHECK-AVX2-128-NEXT:    retq
TestedSimd<int32> operatorOR_2(TestedSimd<int32> a, TestedSimd<int32> b) {
  return a | b;
}

// CHECK-SSE42-LABEL: operatorOR_3:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    orps %xmm1, %xmm0
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: operatorOR_3:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vorps %ymm0, %ymm1, %ymm0
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: operatorOR_3:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vorps %xmm0, %xmm1, %xmm0
// CHECK-AVX2-128-NEXT:    retq
TestedSimd<int64> operatorOR_3(TestedSimd<int64> a, TestedSimd<int64> b) {
  return a | b;
}

// CHECK-SSE42-LABEL: operatorOR_4:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    orps %xmm1, %xmm0
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: operatorOR_4:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vorps %ymm0, %ymm1, %ymm0
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: operatorOR_4:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vorps %xmm0, %xmm1, %xmm0
// CHECK-AVX2-128-NEXT:    retq
TestedSimd<uint8> operatorOR_4(TestedSimd<uint8> a, TestedSimd<uint8> b) {
  return a | b;
}

// CHECK-SSE42-LABEL: operatorOR_5:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    orps %xmm1, %xmm0
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: operatorOR_5:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vorps %ymm0, %ymm1, %ymm0
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: operatorOR_5:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vorps %xmm0, %xmm1, %xmm0
// CHECK-AVX2-128-NEXT:    retq
TestedSimd<uint16> operatorOR_5(TestedSimd<uint16> a, TestedSimd<uint16> b) {
  return a | b;
}

// CHECK-SSE42-LABEL: operatorOR_6:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    orps %xmm1, %xmm0
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: operatorOR_6:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vorps %ymm0, %ymm1, %ymm0
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: operatorOR_6:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vorps %xmm0, %xmm1, %xmm0
// CHECK-AVX2-128-NEXT:    retq
TestedSimd<uint32> operatorOR_6(TestedSimd<uint32> a, TestedSimd<uint32> b) {
  return a | b;
}

// CHECK-SSE42-LABEL: operatorOR_7:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    orps %xmm1, %xmm0
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: operatorOR_7:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vorps %ymm0, %ymm1, %ymm0
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: operatorOR_7:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vorps %xmm0, %xmm1, %xmm0
// CHECK-AVX2-128-NEXT:    retq
TestedSimd<uint64> operatorOR_7(TestedSimd<uint64> a, TestedSimd<uint64> b) {
  return a | b;
}

// CHECK-SSE42-LABEL: operatorSHL_0:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    movdqa %xmm0, %xmm2
// CHECK-SSE42-NEXT:    psllw $5, %xmm1
// CHECK-SSE42-NEXT:    movdqa %xmm0, %xmm3
// CHECK-SSE42-NEXT:    psllw $4, %xmm3
// CHECK-SSE42-NEXT:    pand {{.*}}(%rip), %xmm3
// CHECK-SSE42-NEXT:    movdqa %xmm1, %xmm0
// CHECK-SSE42-NEXT:    pblendvb %xmm0, %xmm3, %xmm2
// CHECK-SSE42-NEXT:    movdqa %xmm2, %xmm3
// CHECK-SSE42-NEXT:    psllw $2, %xmm3
// CHECK-SSE42-NEXT:    pand {{.*}}(%rip), %xmm3
// CHECK-SSE42-NEXT:    paddb %xmm1, %xmm1
// CHECK-SSE42-NEXT:    movdqa %xmm1, %xmm0
// CHECK-SSE42-NEXT:    pblendvb %xmm0, %xmm3, %xmm2
// CHECK-SSE42-NEXT:    movdqa %xmm2, %xmm3
// CHECK-SSE42-NEXT:    paddb %xmm2, %xmm3
// CHECK-SSE42-NEXT:    paddb %xmm1, %xmm1
// CHECK-SSE42-NEXT:    movdqa %xmm1, %xmm0
// CHECK-SSE42-NEXT:    pblendvb %xmm0, %xmm3, %xmm2
// CHECK-SSE42-NEXT:    movdqa %xmm2, %xmm0
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: operatorSHL_0:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vpsllw $5, %ymm1, %ymm1
// CHECK-AVX2-NEXT:    vpsllw $4, %ymm0, %ymm2
// CHECK-AVX2-NEXT:    vpand {{.*}}(%rip), %ymm2, %ymm2
// CHECK-AVX2-NEXT:    vpblendvb %ymm1, %ymm2, %ymm0, %ymm0
// CHECK-AVX2-NEXT:    vpsllw $2, %ymm0, %ymm2
// CHECK-AVX2-NEXT:    vpand {{.*}}(%rip), %ymm2, %ymm2
// CHECK-AVX2-NEXT:    vpaddb %ymm1, %ymm1, %ymm1
// CHECK-AVX2-NEXT:    vpblendvb %ymm1, %ymm2, %ymm0, %ymm0
// CHECK-AVX2-NEXT:    vpaddb %ymm0, %ymm0, %ymm2
// CHECK-AVX2-NEXT:    vpaddb %ymm1, %ymm1, %ymm1
// CHECK-AVX2-NEXT:    vpblendvb %ymm1, %ymm2, %ymm0, %ymm0
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: operatorSHL_0:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vpsllw $5, %xmm1, %xmm1
// CHECK-AVX2-128-NEXT:    vpsllw $4, %xmm0, %xmm2
// CHECK-AVX2-128-NEXT:    vpand {{.*}}(%rip), %xmm2, %xmm2
// CHECK-AVX2-128-NEXT:    vpblendvb %xmm1, %xmm2, %xmm0, %xmm0
// CHECK-AVX2-128-NEXT:    vpsllw $2, %xmm0, %xmm2
// CHECK-AVX2-128-NEXT:    vpand {{.*}}(%rip), %xmm2, %xmm2
// CHECK-AVX2-128-NEXT:    vpaddb %xmm1, %xmm1, %xmm1
// CHECK-AVX2-128-NEXT:    vpblendvb %xmm1, %xmm2, %xmm0, %xmm0
// CHECK-AVX2-128-NEXT:    vpaddb %xmm0, %xmm0, %xmm2
// CHECK-AVX2-128-NEXT:    vpaddb %xmm1, %xmm1, %xmm1
// CHECK-AVX2-128-NEXT:    vpblendvb %xmm1, %xmm2, %xmm0, %xmm0
// CHECK-AVX2-128-NEXT:    retq
TestedSimd<int8> operatorSHL_0(TestedSimd<int8> a, TestedSimd<int8> b) {
  return a << b;
}

// CHECK-SSE42-LABEL: operatorSHL_1:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    movdqa %xmm0, %xmm2
// CHECK-SSE42-NEXT:    movdqa %xmm1, %xmm0
// CHECK-SSE42-NEXT:    psllw $12, %xmm0
// CHECK-SSE42-NEXT:    psllw $4, %xmm1
// CHECK-SSE42-NEXT:    por %xmm0, %xmm1
// CHECK-SSE42-NEXT:    movdqa %xmm1, %xmm3
// CHECK-SSE42-NEXT:    movdqa %xmm2, %xmm4
// CHECK-SSE42-NEXT:    psllw $8, %xmm4
// CHECK-SSE42-NEXT:    movdqa %xmm1, %xmm0
// CHECK-SSE42-NEXT:    pblendvb %xmm0, %xmm4, %xmm2
// CHECK-SSE42-NEXT:    paddw %xmm1, %xmm3
// CHECK-SSE42-NEXT:    movdqa %xmm2, %xmm1
// CHECK-SSE42-NEXT:    psllw $4, %xmm1
// CHECK-SSE42-NEXT:    movdqa %xmm3, %xmm0
// CHECK-SSE42-NEXT:    pblendvb %xmm0, %xmm1, %xmm2
// CHECK-SSE42-NEXT:    movdqa %xmm2, %xmm1
// CHECK-SSE42-NEXT:    psllw $2, %xmm1
// CHECK-SSE42-NEXT:    paddw %xmm3, %xmm3
// CHECK-SSE42-NEXT:    movdqa %xmm3, %xmm0
// CHECK-SSE42-NEXT:    pblendvb %xmm0, %xmm1, %xmm2
// CHECK-SSE42-NEXT:    movdqa %xmm2, %xmm1
// CHECK-SSE42-NEXT:    psllw $1, %xmm1
// CHECK-SSE42-NEXT:    paddw %xmm3, %xmm3
// CHECK-SSE42-NEXT:    movdqa %xmm3, %xmm0
// CHECK-SSE42-NEXT:    pblendvb %xmm0, %xmm1, %xmm2
// CHECK-SSE42-NEXT:    movdqa %xmm2, %xmm0
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: operatorSHL_1:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vpxor %xmm2, %xmm2, %xmm2
// CHECK-AVX2-NEXT:    vpunpckhwd {{.*#+}} ymm3 = ymm1[4],ymm2[4],ymm1[5],ymm2[5],ymm1[6],ymm2[6],ymm1[7],ymm2[7],ymm1[12],ymm2[12],ymm1[13],ymm2[13],ymm1[14],ymm2[14],ymm1[15],ymm2[15]
// CHECK-AVX2-NEXT:    vpunpckhwd {{.*#+}} ymm4 = ymm2[4],ymm0[4],ymm2[5],ymm0[5],ymm2[6],ymm0[6],ymm2[7],ymm0[7],ymm2[12],ymm0[12],ymm2[13],ymm0[13],ymm2[14],ymm0[14],ymm2[15],ymm0[15]
// CHECK-AVX2-NEXT:    vpsllvd %ymm3, %ymm4, %ymm3
// CHECK-AVX2-NEXT:    vpsrld $16, %ymm3, %ymm3
// CHECK-AVX2-NEXT:    vpunpcklwd {{.*#+}} ymm1 = ymm1[0],ymm2[0],ymm1[1],ymm2[1],ymm1[2],ymm2[2],ymm1[3],ymm2[3],ymm1[8],ymm2[8],ymm1[9],ymm2[9],ymm1[10],ymm2[10],ymm1[11],ymm2[11]
// CHECK-AVX2-NEXT:    vpunpcklwd {{.*#+}} ymm0 = ymm2[0],ymm0[0],ymm2[1],ymm0[1],ymm2[2],ymm0[2],ymm2[3],ymm0[3],ymm2[8],ymm0[8],ymm2[9],ymm0[9],ymm2[10],ymm0[10],ymm2[11],ymm0[11]
// CHECK-AVX2-NEXT:    vpsllvd %ymm1, %ymm0, %ymm0
// CHECK-AVX2-NEXT:    vpsrld $16, %ymm0, %ymm0
// CHECK-AVX2-NEXT:    vpackusdw %ymm3, %ymm0, %ymm0
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: operatorSHL_1:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vpmovzxwd {{.*#+}} ymm1 = xmm1[0],zero,xmm1[1],zero,xmm1[2],zero,xmm1[3],zero,xmm1[4],zero,xmm1[5],zero,xmm1[6],zero,xmm1[7],zero
// CHECK-AVX2-128-NEXT:    vpmovzxwd {{.*#+}} ymm0 = xmm0[0],zero,xmm0[1],zero,xmm0[2],zero,xmm0[3],zero,xmm0[4],zero,xmm0[5],zero,xmm0[6],zero,xmm0[7],zero
// CHECK-AVX2-128-NEXT:    vpsllvd %ymm1, %ymm0, %ymm0
// CHECK-AVX2-128-NEXT:    vpshufb {{.*#+}} ymm0 = ymm0[0,1,4,5,8,9,12,13,8,9,12,13,12,13,14,15,16,17,20,21,24,25,28,29,24,25,28,29,28,29,30,31]
// CHECK-AVX2-128-NEXT:    vpermq {{.*#+}} ymm0 = ymm0[0,2,2,3]
// CHECK-AVX2-128-NEXT:    # kill: def $xmm0 killed $xmm0 killed $ymm0
// CHECK-AVX2-128-NEXT:    vzeroupper
// CHECK-AVX2-128-NEXT:    retq
TestedSimd<int16> operatorSHL_1(TestedSimd<int16> a, TestedSimd<int16> b) {
  return a << b;
}

// CHECK-SSE42-LABEL: operatorSHL_2:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    pslld $23, %xmm1
// CHECK-SSE42-NEXT:    paddd {{.*}}(%rip), %xmm1
// CHECK-SSE42-NEXT:    cvttps2dq %xmm1, %xmm1
// CHECK-SSE42-NEXT:    pmulld %xmm1, %xmm0
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: operatorSHL_2:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vpsllvd %ymm1, %ymm0, %ymm0
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: operatorSHL_2:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vpsllvd %xmm1, %xmm0, %xmm0
// CHECK-AVX2-128-NEXT:    retq
TestedSimd<int32> operatorSHL_2(TestedSimd<int32> a, TestedSimd<int32> b) {
  return a << b;
}

// CHECK-SSE42-LABEL: operatorSHL_3:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    movdqa %xmm0, %xmm2
// CHECK-SSE42-NEXT:    psllq %xmm1, %xmm2
// CHECK-SSE42-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[2,3,0,1]
// CHECK-SSE42-NEXT:    psllq %xmm1, %xmm0
// CHECK-SSE42-NEXT:    pblendw {{.*#+}} xmm0 = xmm2[0,1,2,3],xmm0[4,5,6,7]
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: operatorSHL_3:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vpsllvq %ymm1, %ymm0, %ymm0
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: operatorSHL_3:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vpsllvq %xmm1, %xmm0, %xmm0
// CHECK-AVX2-128-NEXT:    retq
TestedSimd<int64> operatorSHL_3(TestedSimd<int64> a, TestedSimd<int64> b) {
  return a << b;
}

// CHECK-SSE42-LABEL: operatorSHL_4:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    movdqa %xmm0, %xmm2
// CHECK-SSE42-NEXT:    psllw $5, %xmm1
// CHECK-SSE42-NEXT:    movdqa %xmm0, %xmm3
// CHECK-SSE42-NEXT:    psllw $4, %xmm3
// CHECK-SSE42-NEXT:    pand {{.*}}(%rip), %xmm3
// CHECK-SSE42-NEXT:    movdqa %xmm1, %xmm0
// CHECK-SSE42-NEXT:    pblendvb %xmm0, %xmm3, %xmm2
// CHECK-SSE42-NEXT:    movdqa %xmm2, %xmm3
// CHECK-SSE42-NEXT:    psllw $2, %xmm3
// CHECK-SSE42-NEXT:    pand {{.*}}(%rip), %xmm3
// CHECK-SSE42-NEXT:    paddb %xmm1, %xmm1
// CHECK-SSE42-NEXT:    movdqa %xmm1, %xmm0
// CHECK-SSE42-NEXT:    pblendvb %xmm0, %xmm3, %xmm2
// CHECK-SSE42-NEXT:    movdqa %xmm2, %xmm3
// CHECK-SSE42-NEXT:    paddb %xmm2, %xmm3
// CHECK-SSE42-NEXT:    paddb %xmm1, %xmm1
// CHECK-SSE42-NEXT:    movdqa %xmm1, %xmm0
// CHECK-SSE42-NEXT:    pblendvb %xmm0, %xmm3, %xmm2
// CHECK-SSE42-NEXT:    movdqa %xmm2, %xmm0
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: operatorSHL_4:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vpsllw $5, %ymm1, %ymm1
// CHECK-AVX2-NEXT:    vpsllw $4, %ymm0, %ymm2
// CHECK-AVX2-NEXT:    vpand {{.*}}(%rip), %ymm2, %ymm2
// CHECK-AVX2-NEXT:    vpblendvb %ymm1, %ymm2, %ymm0, %ymm0
// CHECK-AVX2-NEXT:    vpsllw $2, %ymm0, %ymm2
// CHECK-AVX2-NEXT:    vpand {{.*}}(%rip), %ymm2, %ymm2
// CHECK-AVX2-NEXT:    vpaddb %ymm1, %ymm1, %ymm1
// CHECK-AVX2-NEXT:    vpblendvb %ymm1, %ymm2, %ymm0, %ymm0
// CHECK-AVX2-NEXT:    vpaddb %ymm0, %ymm0, %ymm2
// CHECK-AVX2-NEXT:    vpaddb %ymm1, %ymm1, %ymm1
// CHECK-AVX2-NEXT:    vpblendvb %ymm1, %ymm2, %ymm0, %ymm0
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: operatorSHL_4:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vpsllw $5, %xmm1, %xmm1
// CHECK-AVX2-128-NEXT:    vpsllw $4, %xmm0, %xmm2
// CHECK-AVX2-128-NEXT:    vpand {{.*}}(%rip), %xmm2, %xmm2
// CHECK-AVX2-128-NEXT:    vpblendvb %xmm1, %xmm2, %xmm0, %xmm0
// CHECK-AVX2-128-NEXT:    vpsllw $2, %xmm0, %xmm2
// CHECK-AVX2-128-NEXT:    vpand {{.*}}(%rip), %xmm2, %xmm2
// CHECK-AVX2-128-NEXT:    vpaddb %xmm1, %xmm1, %xmm1
// CHECK-AVX2-128-NEXT:    vpblendvb %xmm1, %xmm2, %xmm0, %xmm0
// CHECK-AVX2-128-NEXT:    vpaddb %xmm0, %xmm0, %xmm2
// CHECK-AVX2-128-NEXT:    vpaddb %xmm1, %xmm1, %xmm1
// CHECK-AVX2-128-NEXT:    vpblendvb %xmm1, %xmm2, %xmm0, %xmm0
// CHECK-AVX2-128-NEXT:    retq
TestedSimd<uint8> operatorSHL_4(TestedSimd<uint8> a, TestedSimd<uint8> b) {
  return a << b;
}

// CHECK-SSE42-LABEL: operatorSHL_5:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    movdqa %xmm0, %xmm2
// CHECK-SSE42-NEXT:    movdqa %xmm1, %xmm0
// CHECK-SSE42-NEXT:    psllw $12, %xmm0
// CHECK-SSE42-NEXT:    psllw $4, %xmm1
// CHECK-SSE42-NEXT:    por %xmm0, %xmm1
// CHECK-SSE42-NEXT:    movdqa %xmm1, %xmm3
// CHECK-SSE42-NEXT:    movdqa %xmm2, %xmm4
// CHECK-SSE42-NEXT:    psllw $8, %xmm4
// CHECK-SSE42-NEXT:    movdqa %xmm1, %xmm0
// CHECK-SSE42-NEXT:    pblendvb %xmm0, %xmm4, %xmm2
// CHECK-SSE42-NEXT:    paddw %xmm1, %xmm3
// CHECK-SSE42-NEXT:    movdqa %xmm2, %xmm1
// CHECK-SSE42-NEXT:    psllw $4, %xmm1
// CHECK-SSE42-NEXT:    movdqa %xmm3, %xmm0
// CHECK-SSE42-NEXT:    pblendvb %xmm0, %xmm1, %xmm2
// CHECK-SSE42-NEXT:    movdqa %xmm2, %xmm1
// CHECK-SSE42-NEXT:    psllw $2, %xmm1
// CHECK-SSE42-NEXT:    paddw %xmm3, %xmm3
// CHECK-SSE42-NEXT:    movdqa %xmm3, %xmm0
// CHECK-SSE42-NEXT:    pblendvb %xmm0, %xmm1, %xmm2
// CHECK-SSE42-NEXT:    movdqa %xmm2, %xmm1
// CHECK-SSE42-NEXT:    psllw $1, %xmm1
// CHECK-SSE42-NEXT:    paddw %xmm3, %xmm3
// CHECK-SSE42-NEXT:    movdqa %xmm3, %xmm0
// CHECK-SSE42-NEXT:    pblendvb %xmm0, %xmm1, %xmm2
// CHECK-SSE42-NEXT:    movdqa %xmm2, %xmm0
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: operatorSHL_5:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vpxor %xmm2, %xmm2, %xmm2
// CHECK-AVX2-NEXT:    vpunpckhwd {{.*#+}} ymm3 = ymm1[4],ymm2[4],ymm1[5],ymm2[5],ymm1[6],ymm2[6],ymm1[7],ymm2[7],ymm1[12],ymm2[12],ymm1[13],ymm2[13],ymm1[14],ymm2[14],ymm1[15],ymm2[15]
// CHECK-AVX2-NEXT:    vpunpckhwd {{.*#+}} ymm4 = ymm2[4],ymm0[4],ymm2[5],ymm0[5],ymm2[6],ymm0[6],ymm2[7],ymm0[7],ymm2[12],ymm0[12],ymm2[13],ymm0[13],ymm2[14],ymm0[14],ymm2[15],ymm0[15]
// CHECK-AVX2-NEXT:    vpsllvd %ymm3, %ymm4, %ymm3
// CHECK-AVX2-NEXT:    vpsrld $16, %ymm3, %ymm3
// CHECK-AVX2-NEXT:    vpunpcklwd {{.*#+}} ymm1 = ymm1[0],ymm2[0],ymm1[1],ymm2[1],ymm1[2],ymm2[2],ymm1[3],ymm2[3],ymm1[8],ymm2[8],ymm1[9],ymm2[9],ymm1[10],ymm2[10],ymm1[11],ymm2[11]
// CHECK-AVX2-NEXT:    vpunpcklwd {{.*#+}} ymm0 = ymm2[0],ymm0[0],ymm2[1],ymm0[1],ymm2[2],ymm0[2],ymm2[3],ymm0[3],ymm2[8],ymm0[8],ymm2[9],ymm0[9],ymm2[10],ymm0[10],ymm2[11],ymm0[11]
// CHECK-AVX2-NEXT:    vpsllvd %ymm1, %ymm0, %ymm0
// CHECK-AVX2-NEXT:    vpsrld $16, %ymm0, %ymm0
// CHECK-AVX2-NEXT:    vpackusdw %ymm3, %ymm0, %ymm0
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: operatorSHL_5:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vpmovzxwd {{.*#+}} ymm1 = xmm1[0],zero,xmm1[1],zero,xmm1[2],zero,xmm1[3],zero,xmm1[4],zero,xmm1[5],zero,xmm1[6],zero,xmm1[7],zero
// CHECK-AVX2-128-NEXT:    vpmovzxwd {{.*#+}} ymm0 = xmm0[0],zero,xmm0[1],zero,xmm0[2],zero,xmm0[3],zero,xmm0[4],zero,xmm0[5],zero,xmm0[6],zero,xmm0[7],zero
// CHECK-AVX2-128-NEXT:    vpsllvd %ymm1, %ymm0, %ymm0
// CHECK-AVX2-128-NEXT:    vpshufb {{.*#+}} ymm0 = ymm0[0,1,4,5,8,9,12,13,8,9,12,13,12,13,14,15,16,17,20,21,24,25,28,29,24,25,28,29,28,29,30,31]
// CHECK-AVX2-128-NEXT:    vpermq {{.*#+}} ymm0 = ymm0[0,2,2,3]
// CHECK-AVX2-128-NEXT:    # kill: def $xmm0 killed $xmm0 killed $ymm0
// CHECK-AVX2-128-NEXT:    vzeroupper
// CHECK-AVX2-128-NEXT:    retq
TestedSimd<uint16> operatorSHL_5(TestedSimd<uint16> a, TestedSimd<uint16> b) {
  return a << b;
}

// CHECK-SSE42-LABEL: operatorSHL_6:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    pslld $23, %xmm1
// CHECK-SSE42-NEXT:    paddd {{.*}}(%rip), %xmm1
// CHECK-SSE42-NEXT:    cvttps2dq %xmm1, %xmm1
// CHECK-SSE42-NEXT:    pmulld %xmm1, %xmm0
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: operatorSHL_6:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vpsllvd %ymm1, %ymm0, %ymm0
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: operatorSHL_6:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vpsllvd %xmm1, %xmm0, %xmm0
// CHECK-AVX2-128-NEXT:    retq
TestedSimd<uint32> operatorSHL_6(TestedSimd<uint32> a, TestedSimd<uint32> b) {
  return a << b;
}

// CHECK-SSE42-LABEL: operatorSHL_7:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    movdqa %xmm0, %xmm2
// CHECK-SSE42-NEXT:    psllq %xmm1, %xmm2
// CHECK-SSE42-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[2,3,0,1]
// CHECK-SSE42-NEXT:    psllq %xmm1, %xmm0
// CHECK-SSE42-NEXT:    pblendw {{.*#+}} xmm0 = xmm2[0,1,2,3],xmm0[4,5,6,7]
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: operatorSHL_7:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vpsllvq %ymm1, %ymm0, %ymm0
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: operatorSHL_7:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vpsllvq %xmm1, %xmm0, %xmm0
// CHECK-AVX2-128-NEXT:    retq
TestedSimd<uint64> operatorSHL_7(TestedSimd<uint64> a, TestedSimd<uint64> b) {
  return a << b;
}

// CHECK-SSE42-LABEL: operatorSHR_0:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    movdqa %xmm0, %xmm2
// CHECK-SSE42-NEXT:    psllw $5, %xmm1
// CHECK-SSE42-NEXT:    punpckhbw {{.*#+}} xmm0 = xmm0[8],xmm1[8],xmm0[9],xmm1[9],xmm0[10],xmm1[10],xmm0[11],xmm1[11],xmm0[12],xmm1[12],xmm0[13],xmm1[13],xmm0[14],xmm1[14],xmm0[15],xmm1[15]
// CHECK-SSE42-NEXT:    punpckhbw {{.*#+}} xmm3 = xmm3[8],xmm2[8],xmm3[9],xmm2[9],xmm3[10],xmm2[10],xmm3[11],xmm2[11],xmm3[12],xmm2[12],xmm3[13],xmm2[13],xmm3[14],xmm2[14],xmm3[15],xmm2[15]
// CHECK-SSE42-NEXT:    movdqa %xmm3, %xmm4
// CHECK-SSE42-NEXT:    psraw $4, %xmm4
// CHECK-SSE42-NEXT:    pblendvb %xmm0, %xmm4, %xmm3
// CHECK-SSE42-NEXT:    movdqa %xmm3, %xmm4
// CHECK-SSE42-NEXT:    psraw $2, %xmm4
// CHECK-SSE42-NEXT:    paddw %xmm0, %xmm0
// CHECK-SSE42-NEXT:    pblendvb %xmm0, %xmm4, %xmm3
// CHECK-SSE42-NEXT:    movdqa %xmm3, %xmm4
// CHECK-SSE42-NEXT:    psraw $1, %xmm4
// CHECK-SSE42-NEXT:    paddw %xmm0, %xmm0
// CHECK-SSE42-NEXT:    pblendvb %xmm0, %xmm4, %xmm3
// CHECK-SSE42-NEXT:    psrlw $8, %xmm3
// CHECK-SSE42-NEXT:    punpcklbw {{.*#+}} xmm0 = xmm0[0],xmm1[0],xmm0[1],xmm1[1],xmm0[2],xmm1[2],xmm0[3],xmm1[3],xmm0[4],xmm1[4],xmm0[5],xmm1[5],xmm0[6],xmm1[6],xmm0[7],xmm1[7]
// CHECK-SSE42-NEXT:    punpcklbw {{.*#+}} xmm1 = xmm1[0],xmm2[0],xmm1[1],xmm2[1],xmm1[2],xmm2[2],xmm1[3],xmm2[3],xmm1[4],xmm2[4],xmm1[5],xmm2[5],xmm1[6],xmm2[6],xmm1[7],xmm2[7]
// CHECK-SSE42-NEXT:    movdqa %xmm1, %xmm2
// CHECK-SSE42-NEXT:    psraw $4, %xmm2
// CHECK-SSE42-NEXT:    pblendvb %xmm0, %xmm2, %xmm1
// CHECK-SSE42-NEXT:    movdqa %xmm1, %xmm2
// CHECK-SSE42-NEXT:    psraw $2, %xmm2
// CHECK-SSE42-NEXT:    paddw %xmm0, %xmm0
// CHECK-SSE42-NEXT:    pblendvb %xmm0, %xmm2, %xmm1
// CHECK-SSE42-NEXT:    movdqa %xmm1, %xmm2
// CHECK-SSE42-NEXT:    psraw $1, %xmm2
// CHECK-SSE42-NEXT:    paddw %xmm0, %xmm0
// CHECK-SSE42-NEXT:    pblendvb %xmm0, %xmm2, %xmm1
// CHECK-SSE42-NEXT:    psrlw $8, %xmm1
// CHECK-SSE42-NEXT:    packuswb %xmm3, %xmm1
// CHECK-SSE42-NEXT:    movdqa %xmm1, %xmm0
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: operatorSHR_0:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vpsllw $5, %ymm1, %ymm1
// CHECK-AVX2-NEXT:    vpunpckhbw {{.*#+}} ymm2 = ymm0[8],ymm1[8],ymm0[9],ymm1[9],ymm0[10],ymm1[10],ymm0[11],ymm1[11],ymm0[12],ymm1[12],ymm0[13],ymm1[13],ymm0[14],ymm1[14],ymm0[15],ymm1[15],ymm0[24],ymm1[24],ymm0[25],ymm1[25],ymm0[26],ymm1[26],ymm0[27],ymm1[27],ymm0[28],ymm1[28],ymm0[29],ymm1[29],ymm0[30],ymm1[30],ymm0[31],ymm1[31]
// CHECK-AVX2-NEXT:    vpunpckhbw {{.*#+}} ymm3 = ymm0[8,8,9,9,10,10,11,11,12,12,13,13,14,14,15,15,24,24,25,25,26,26,27,27,28,28,29,29,30,30,31,31]
// CHECK-AVX2-NEXT:    vpsraw $4, %ymm3, %ymm4
// CHECK-AVX2-NEXT:    vpblendvb %ymm2, %ymm4, %ymm3, %ymm3
// CHECK-AVX2-NEXT:    vpsraw $2, %ymm3, %ymm4
// CHECK-AVX2-NEXT:    vpaddw %ymm2, %ymm2, %ymm2
// CHECK-AVX2-NEXT:    vpblendvb %ymm2, %ymm4, %ymm3, %ymm3
// CHECK-AVX2-NEXT:    vpsraw $1, %ymm3, %ymm4
// CHECK-AVX2-NEXT:    vpaddw %ymm2, %ymm2, %ymm2
// CHECK-AVX2-NEXT:    vpblendvb %ymm2, %ymm4, %ymm3, %ymm2
// CHECK-AVX2-NEXT:    vpsrlw $8, %ymm2, %ymm2
// CHECK-AVX2-NEXT:    vpunpcklbw {{.*#+}} ymm1 = ymm0[0],ymm1[0],ymm0[1],ymm1[1],ymm0[2],ymm1[2],ymm0[3],ymm1[3],ymm0[4],ymm1[4],ymm0[5],ymm1[5],ymm0[6],ymm1[6],ymm0[7],ymm1[7],ymm0[16],ymm1[16],ymm0[17],ymm1[17],ymm0[18],ymm1[18],ymm0[19],ymm1[19],ymm0[20],ymm1[20],ymm0[21],ymm1[21],ymm0[22],ymm1[22],ymm0[23],ymm1[23]
// CHECK-AVX2-NEXT:    vpunpcklbw {{.*#+}} ymm0 = ymm0[0,0,1,1,2,2,3,3,4,4,5,5,6,6,7,7,16,16,17,17,18,18,19,19,20,20,21,21,22,22,23,23]
// CHECK-AVX2-NEXT:    vpsraw $4, %ymm0, %ymm3
// CHECK-AVX2-NEXT:    vpblendvb %ymm1, %ymm3, %ymm0, %ymm0
// CHECK-AVX2-NEXT:    vpsraw $2, %ymm0, %ymm3
// CHECK-AVX2-NEXT:    vpaddw %ymm1, %ymm1, %ymm1
// CHECK-AVX2-NEXT:    vpblendvb %ymm1, %ymm3, %ymm0, %ymm0
// CHECK-AVX2-NEXT:    vpsraw $1, %ymm0, %ymm3
// CHECK-AVX2-NEXT:    vpaddw %ymm1, %ymm1, %ymm1
// CHECK-AVX2-NEXT:    vpblendvb %ymm1, %ymm3, %ymm0, %ymm0
// CHECK-AVX2-NEXT:    vpsrlw $8, %ymm0, %ymm0
// CHECK-AVX2-NEXT:    vpackuswb %ymm2, %ymm0, %ymm0
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: operatorSHR_0:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vpsllw $5, %xmm1, %xmm1
// CHECK-AVX2-128-NEXT:    vpunpckhbw {{.*#+}} xmm2 = xmm0[8],xmm1[8],xmm0[9],xmm1[9],xmm0[10],xmm1[10],xmm0[11],xmm1[11],xmm0[12],xmm1[12],xmm0[13],xmm1[13],xmm0[14],xmm1[14],xmm0[15],xmm1[15]
// CHECK-AVX2-128-NEXT:    vpunpckhbw {{.*#+}} xmm3 = xmm0[8,8,9,9,10,10,11,11,12,12,13,13,14,14,15,15]
// CHECK-AVX2-128-NEXT:    vpsraw $4, %xmm3, %xmm4
// CHECK-AVX2-128-NEXT:    vpblendvb %xmm2, %xmm4, %xmm3, %xmm3
// CHECK-AVX2-128-NEXT:    vpsraw $2, %xmm3, %xmm4
// CHECK-AVX2-128-NEXT:    vpaddw %xmm2, %xmm2, %xmm2
// CHECK-AVX2-128-NEXT:    vpblendvb %xmm2, %xmm4, %xmm3, %xmm3
// CHECK-AVX2-128-NEXT:    vpsraw $1, %xmm3, %xmm4
// CHECK-AVX2-128-NEXT:    vpaddw %xmm2, %xmm2, %xmm2
// CHECK-AVX2-128-NEXT:    vpblendvb %xmm2, %xmm4, %xmm3, %xmm2
// CHECK-AVX2-128-NEXT:    vpsrlw $8, %xmm2, %xmm2
// CHECK-AVX2-128-NEXT:    vpunpcklbw {{.*#+}} xmm1 = xmm0[0],xmm1[0],xmm0[1],xmm1[1],xmm0[2],xmm1[2],xmm0[3],xmm1[3],xmm0[4],xmm1[4],xmm0[5],xmm1[5],xmm0[6],xmm1[6],xmm0[7],xmm1[7]
// CHECK-AVX2-128-NEXT:    vpunpcklbw {{.*#+}} xmm0 = xmm0[0,0,1,1,2,2,3,3,4,4,5,5,6,6,7,7]
// CHECK-AVX2-128-NEXT:    vpsraw $4, %xmm0, %xmm3
// CHECK-AVX2-128-NEXT:    vpblendvb %xmm1, %xmm3, %xmm0, %xmm0
// CHECK-AVX2-128-NEXT:    vpsraw $2, %xmm0, %xmm3
// CHECK-AVX2-128-NEXT:    vpaddw %xmm1, %xmm1, %xmm1
// CHECK-AVX2-128-NEXT:    vpblendvb %xmm1, %xmm3, %xmm0, %xmm0
// CHECK-AVX2-128-NEXT:    vpsraw $1, %xmm0, %xmm3
// CHECK-AVX2-128-NEXT:    vpaddw %xmm1, %xmm1, %xmm1
// CHECK-AVX2-128-NEXT:    vpblendvb %xmm1, %xmm3, %xmm0, %xmm0
// CHECK-AVX2-128-NEXT:    vpsrlw $8, %xmm0, %xmm0
// CHECK-AVX2-128-NEXT:    vpackuswb %xmm2, %xmm0, %xmm0
// CHECK-AVX2-128-NEXT:    retq
TestedSimd<int8> operatorSHR_0(TestedSimd<int8> a, TestedSimd<int8> b) {
  return a >> b;
}

// CHECK-SSE42-LABEL: operatorSHR_1:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    movdqa %xmm0, %xmm2
// CHECK-SSE42-NEXT:    movdqa %xmm1, %xmm0
// CHECK-SSE42-NEXT:    psllw $12, %xmm0
// CHECK-SSE42-NEXT:    psllw $4, %xmm1
// CHECK-SSE42-NEXT:    por %xmm0, %xmm1
// CHECK-SSE42-NEXT:    movdqa %xmm1, %xmm3
// CHECK-SSE42-NEXT:    movdqa %xmm2, %xmm4
// CHECK-SSE42-NEXT:    psraw $8, %xmm4
// CHECK-SSE42-NEXT:    movdqa %xmm1, %xmm0
// CHECK-SSE42-NEXT:    pblendvb %xmm0, %xmm4, %xmm2
// CHECK-SSE42-NEXT:    paddw %xmm1, %xmm3
// CHECK-SSE42-NEXT:    movdqa %xmm2, %xmm1
// CHECK-SSE42-NEXT:    psraw $4, %xmm1
// CHECK-SSE42-NEXT:    movdqa %xmm3, %xmm0
// CHECK-SSE42-NEXT:    pblendvb %xmm0, %xmm1, %xmm2
// CHECK-SSE42-NEXT:    movdqa %xmm2, %xmm1
// CHECK-SSE42-NEXT:    psraw $2, %xmm1
// CHECK-SSE42-NEXT:    paddw %xmm3, %xmm3
// CHECK-SSE42-NEXT:    movdqa %xmm3, %xmm0
// CHECK-SSE42-NEXT:    pblendvb %xmm0, %xmm1, %xmm2
// CHECK-SSE42-NEXT:    movdqa %xmm2, %xmm1
// CHECK-SSE42-NEXT:    psraw $1, %xmm1
// CHECK-SSE42-NEXT:    paddw %xmm3, %xmm3
// CHECK-SSE42-NEXT:    movdqa %xmm3, %xmm0
// CHECK-SSE42-NEXT:    pblendvb %xmm0, %xmm1, %xmm2
// CHECK-SSE42-NEXT:    movdqa %xmm2, %xmm0
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: operatorSHR_1:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vpxor %xmm2, %xmm2, %xmm2
// CHECK-AVX2-NEXT:    vpunpckhwd {{.*#+}} ymm3 = ymm1[4],ymm2[4],ymm1[5],ymm2[5],ymm1[6],ymm2[6],ymm1[7],ymm2[7],ymm1[12],ymm2[12],ymm1[13],ymm2[13],ymm1[14],ymm2[14],ymm1[15],ymm2[15]
// CHECK-AVX2-NEXT:    vpunpckhwd {{.*#+}} ymm4 = ymm2[4],ymm0[4],ymm2[5],ymm0[5],ymm2[6],ymm0[6],ymm2[7],ymm0[7],ymm2[12],ymm0[12],ymm2[13],ymm0[13],ymm2[14],ymm0[14],ymm2[15],ymm0[15]
// CHECK-AVX2-NEXT:    vpsravd %ymm3, %ymm4, %ymm3
// CHECK-AVX2-NEXT:    vpsrld $16, %ymm3, %ymm3
// CHECK-AVX2-NEXT:    vpunpcklwd {{.*#+}} ymm1 = ymm1[0],ymm2[0],ymm1[1],ymm2[1],ymm1[2],ymm2[2],ymm1[3],ymm2[3],ymm1[8],ymm2[8],ymm1[9],ymm2[9],ymm1[10],ymm2[10],ymm1[11],ymm2[11]
// CHECK-AVX2-NEXT:    vpunpcklwd {{.*#+}} ymm0 = ymm2[0],ymm0[0],ymm2[1],ymm0[1],ymm2[2],ymm0[2],ymm2[3],ymm0[3],ymm2[8],ymm0[8],ymm2[9],ymm0[9],ymm2[10],ymm0[10],ymm2[11],ymm0[11]
// CHECK-AVX2-NEXT:    vpsravd %ymm1, %ymm0, %ymm0
// CHECK-AVX2-NEXT:    vpsrld $16, %ymm0, %ymm0
// CHECK-AVX2-NEXT:    vpackusdw %ymm3, %ymm0, %ymm0
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: operatorSHR_1:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vpmovzxwd {{.*#+}} ymm1 = xmm1[0],zero,xmm1[1],zero,xmm1[2],zero,xmm1[3],zero,xmm1[4],zero,xmm1[5],zero,xmm1[6],zero,xmm1[7],zero
// CHECK-AVX2-128-NEXT:    vpmovsxwd %xmm0, %ymm0
// CHECK-AVX2-128-NEXT:    vpsravd %ymm1, %ymm0, %ymm0
// CHECK-AVX2-128-NEXT:    vextracti128 $1, %ymm0, %xmm1
// CHECK-AVX2-128-NEXT:    vpackssdw %xmm1, %xmm0, %xmm0
// CHECK-AVX2-128-NEXT:    vzeroupper
// CHECK-AVX2-128-NEXT:    retq
TestedSimd<int16> operatorSHR_1(TestedSimd<int16> a, TestedSimd<int16> b) {
  return a >> b;
}

// CHECK-SSE42-LABEL: operatorSHR_2:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    movdqa %xmm1, %xmm2
// CHECK-SSE42-NEXT:    psrldq {{.*#+}} xmm2 = xmm2[12,13,14,15],zero,zero,zero,zero,zero,zero,zero,zero,zero,zero,zero,zero
// CHECK-SSE42-NEXT:    movdqa %xmm0, %xmm3
// CHECK-SSE42-NEXT:    psrad %xmm2, %xmm3
// CHECK-SSE42-NEXT:    movdqa %xmm1, %xmm2
// CHECK-SSE42-NEXT:    psrlq $32, %xmm2
// CHECK-SSE42-NEXT:    movdqa %xmm0, %xmm4
// CHECK-SSE42-NEXT:    psrad %xmm2, %xmm4
// CHECK-SSE42-NEXT:    pblendw {{.*#+}} xmm4 = xmm4[0,1,2,3],xmm3[4,5,6,7]
// CHECK-SSE42-NEXT:    pxor %xmm2, %xmm2
// CHECK-SSE42-NEXT:    pmovzxdq {{.*#+}} xmm3 = xmm1[0],zero,xmm1[1],zero
// CHECK-SSE42-NEXT:    punpckhdq {{.*#+}} xmm1 = xmm1[2],xmm2[2],xmm1[3],xmm2[3]
// CHECK-SSE42-NEXT:    movdqa %xmm0, %xmm2
// CHECK-SSE42-NEXT:    psrad %xmm1, %xmm2
// CHECK-SSE42-NEXT:    psrad %xmm3, %xmm0
// CHECK-SSE42-NEXT:    pblendw {{.*#+}} xmm0 = xmm0[0,1,2,3],xmm2[4,5,6,7]
// CHECK-SSE42-NEXT:    pblendw {{.*#+}} xmm0 = xmm0[0,1],xmm4[2,3],xmm0[4,5],xmm4[6,7]
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: operatorSHR_2:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vpsravd %ymm1, %ymm0, %ymm0
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: operatorSHR_2:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vpsravd %xmm1, %xmm0, %xmm0
// CHECK-AVX2-128-NEXT:    retq
TestedSimd<int32> operatorSHR_2(TestedSimd<int32> a, TestedSimd<int32> b) {
  return a >> b;
}

// CHECK-SSE42-LABEL: operatorSHR_3:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    movdqa {{.*#+}} xmm2 = [9223372036854775808,9223372036854775808]
// CHECK-SSE42-NEXT:    movdqa %xmm2, %xmm3
// CHECK-SSE42-NEXT:    psrlq %xmm1, %xmm3
// CHECK-SSE42-NEXT:    movdqa %xmm0, %xmm4
// CHECK-SSE42-NEXT:    psrlq %xmm1, %xmm4
// CHECK-SSE42-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[2,3,0,1]
// CHECK-SSE42-NEXT:    psrlq %xmm1, %xmm2
// CHECK-SSE42-NEXT:    psrlq %xmm1, %xmm0
// CHECK-SSE42-NEXT:    pblendw {{.*#+}} xmm2 = xmm3[0,1,2,3],xmm2[4,5,6,7]
// CHECK-SSE42-NEXT:    pblendw {{.*#+}} xmm0 = xmm4[0,1,2,3],xmm0[4,5,6,7]
// CHECK-SSE42-NEXT:    pxor %xmm2, %xmm0
// CHECK-SSE42-NEXT:    psubq %xmm2, %xmm0
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: operatorSHR_3:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vpbroadcastq {{.*#+}} ymm2 = [9223372036854775808,9223372036854775808,9223372036854775808,9223372036854775808]
// CHECK-AVX2-NEXT:    vpsrlvq %ymm1, %ymm2, %ymm3
// CHECK-AVX2-NEXT:    vpxor %ymm2, %ymm0, %ymm0
// CHECK-AVX2-NEXT:    vpsrlvq %ymm1, %ymm0, %ymm0
// CHECK-AVX2-NEXT:    vpsubq %ymm3, %ymm0, %ymm0
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: operatorSHR_3:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vmovdqa {{.*#+}} xmm2 = [9223372036854775808,9223372036854775808]
// CHECK-AVX2-128-NEXT:    vpsrlvq %xmm1, %xmm2, %xmm3
// CHECK-AVX2-128-NEXT:    vpxor %xmm2, %xmm0, %xmm0
// CHECK-AVX2-128-NEXT:    vpsrlvq %xmm1, %xmm0, %xmm0
// CHECK-AVX2-128-NEXT:    vpsubq %xmm3, %xmm0, %xmm0
// CHECK-AVX2-128-NEXT:    retq
TestedSimd<int64> operatorSHR_3(TestedSimd<int64> a, TestedSimd<int64> b) {
  return a >> b;
}

// CHECK-SSE42-LABEL: operatorSHR_4:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    movdqa %xmm0, %xmm2
// CHECK-SSE42-NEXT:    psllw $5, %xmm1
// CHECK-SSE42-NEXT:    movdqa %xmm0, %xmm3
// CHECK-SSE42-NEXT:    psrlw $4, %xmm3
// CHECK-SSE42-NEXT:    pand {{.*}}(%rip), %xmm3
// CHECK-SSE42-NEXT:    movdqa %xmm1, %xmm0
// CHECK-SSE42-NEXT:    pblendvb %xmm0, %xmm3, %xmm2
// CHECK-SSE42-NEXT:    movdqa %xmm2, %xmm3
// CHECK-SSE42-NEXT:    psrlw $2, %xmm3
// CHECK-SSE42-NEXT:    pand {{.*}}(%rip), %xmm3
// CHECK-SSE42-NEXT:    paddb %xmm1, %xmm1
// CHECK-SSE42-NEXT:    movdqa %xmm1, %xmm0
// CHECK-SSE42-NEXT:    pblendvb %xmm0, %xmm3, %xmm2
// CHECK-SSE42-NEXT:    movdqa %xmm2, %xmm3
// CHECK-SSE42-NEXT:    psrlw $1, %xmm3
// CHECK-SSE42-NEXT:    pand {{.*}}(%rip), %xmm3
// CHECK-SSE42-NEXT:    paddb %xmm1, %xmm1
// CHECK-SSE42-NEXT:    movdqa %xmm1, %xmm0
// CHECK-SSE42-NEXT:    pblendvb %xmm0, %xmm3, %xmm2
// CHECK-SSE42-NEXT:    movdqa %xmm2, %xmm0
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: operatorSHR_4:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vpsllw $5, %ymm1, %ymm1
// CHECK-AVX2-NEXT:    vpsrlw $4, %ymm0, %ymm2
// CHECK-AVX2-NEXT:    vpand {{.*}}(%rip), %ymm2, %ymm2
// CHECK-AVX2-NEXT:    vpblendvb %ymm1, %ymm2, %ymm0, %ymm0
// CHECK-AVX2-NEXT:    vpsrlw $2, %ymm0, %ymm2
// CHECK-AVX2-NEXT:    vpand {{.*}}(%rip), %ymm2, %ymm2
// CHECK-AVX2-NEXT:    vpaddb %ymm1, %ymm1, %ymm1
// CHECK-AVX2-NEXT:    vpblendvb %ymm1, %ymm2, %ymm0, %ymm0
// CHECK-AVX2-NEXT:    vpsrlw $1, %ymm0, %ymm2
// CHECK-AVX2-NEXT:    vpand {{.*}}(%rip), %ymm2, %ymm2
// CHECK-AVX2-NEXT:    vpaddb %ymm1, %ymm1, %ymm1
// CHECK-AVX2-NEXT:    vpblendvb %ymm1, %ymm2, %ymm0, %ymm0
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: operatorSHR_4:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vpsllw $5, %xmm1, %xmm1
// CHECK-AVX2-128-NEXT:    vpsrlw $4, %xmm0, %xmm2
// CHECK-AVX2-128-NEXT:    vpand {{.*}}(%rip), %xmm2, %xmm2
// CHECK-AVX2-128-NEXT:    vpblendvb %xmm1, %xmm2, %xmm0, %xmm0
// CHECK-AVX2-128-NEXT:    vpsrlw $2, %xmm0, %xmm2
// CHECK-AVX2-128-NEXT:    vpand {{.*}}(%rip), %xmm2, %xmm2
// CHECK-AVX2-128-NEXT:    vpaddb %xmm1, %xmm1, %xmm1
// CHECK-AVX2-128-NEXT:    vpblendvb %xmm1, %xmm2, %xmm0, %xmm0
// CHECK-AVX2-128-NEXT:    vpsrlw $1, %xmm0, %xmm2
// CHECK-AVX2-128-NEXT:    vpand {{.*}}(%rip), %xmm2, %xmm2
// CHECK-AVX2-128-NEXT:    vpaddb %xmm1, %xmm1, %xmm1
// CHECK-AVX2-128-NEXT:    vpblendvb %xmm1, %xmm2, %xmm0, %xmm0
// CHECK-AVX2-128-NEXT:    retq
TestedSimd<uint8> operatorSHR_4(TestedSimd<uint8> a, TestedSimd<uint8> b) {
  return a >> b;
}

// CHECK-SSE42-LABEL: operatorSHR_5:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    movdqa %xmm0, %xmm2
// CHECK-SSE42-NEXT:    movdqa %xmm1, %xmm0
// CHECK-SSE42-NEXT:    psllw $12, %xmm0
// CHECK-SSE42-NEXT:    psllw $4, %xmm1
// CHECK-SSE42-NEXT:    por %xmm0, %xmm1
// CHECK-SSE42-NEXT:    movdqa %xmm1, %xmm3
// CHECK-SSE42-NEXT:    movdqa %xmm2, %xmm4
// CHECK-SSE42-NEXT:    psrlw $8, %xmm4
// CHECK-SSE42-NEXT:    movdqa %xmm1, %xmm0
// CHECK-SSE42-NEXT:    pblendvb %xmm0, %xmm4, %xmm2
// CHECK-SSE42-NEXT:    paddw %xmm1, %xmm3
// CHECK-SSE42-NEXT:    movdqa %xmm2, %xmm1
// CHECK-SSE42-NEXT:    psrlw $4, %xmm1
// CHECK-SSE42-NEXT:    movdqa %xmm3, %xmm0
// CHECK-SSE42-NEXT:    pblendvb %xmm0, %xmm1, %xmm2
// CHECK-SSE42-NEXT:    movdqa %xmm2, %xmm1
// CHECK-SSE42-NEXT:    psrlw $2, %xmm1
// CHECK-SSE42-NEXT:    paddw %xmm3, %xmm3
// CHECK-SSE42-NEXT:    movdqa %xmm3, %xmm0
// CHECK-SSE42-NEXT:    pblendvb %xmm0, %xmm1, %xmm2
// CHECK-SSE42-NEXT:    movdqa %xmm2, %xmm1
// CHECK-SSE42-NEXT:    psrlw $1, %xmm1
// CHECK-SSE42-NEXT:    paddw %xmm3, %xmm3
// CHECK-SSE42-NEXT:    movdqa %xmm3, %xmm0
// CHECK-SSE42-NEXT:    pblendvb %xmm0, %xmm1, %xmm2
// CHECK-SSE42-NEXT:    movdqa %xmm2, %xmm0
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: operatorSHR_5:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vpxor %xmm2, %xmm2, %xmm2
// CHECK-AVX2-NEXT:    vpunpckhwd {{.*#+}} ymm3 = ymm1[4],ymm2[4],ymm1[5],ymm2[5],ymm1[6],ymm2[6],ymm1[7],ymm2[7],ymm1[12],ymm2[12],ymm1[13],ymm2[13],ymm1[14],ymm2[14],ymm1[15],ymm2[15]
// CHECK-AVX2-NEXT:    vpunpckhwd {{.*#+}} ymm4 = ymm2[4],ymm0[4],ymm2[5],ymm0[5],ymm2[6],ymm0[6],ymm2[7],ymm0[7],ymm2[12],ymm0[12],ymm2[13],ymm0[13],ymm2[14],ymm0[14],ymm2[15],ymm0[15]
// CHECK-AVX2-NEXT:    vpsrlvd %ymm3, %ymm4, %ymm3
// CHECK-AVX2-NEXT:    vpsrld $16, %ymm3, %ymm3
// CHECK-AVX2-NEXT:    vpunpcklwd {{.*#+}} ymm1 = ymm1[0],ymm2[0],ymm1[1],ymm2[1],ymm1[2],ymm2[2],ymm1[3],ymm2[3],ymm1[8],ymm2[8],ymm1[9],ymm2[9],ymm1[10],ymm2[10],ymm1[11],ymm2[11]
// CHECK-AVX2-NEXT:    vpunpcklwd {{.*#+}} ymm0 = ymm2[0],ymm0[0],ymm2[1],ymm0[1],ymm2[2],ymm0[2],ymm2[3],ymm0[3],ymm2[8],ymm0[8],ymm2[9],ymm0[9],ymm2[10],ymm0[10],ymm2[11],ymm0[11]
// CHECK-AVX2-NEXT:    vpsrlvd %ymm1, %ymm0, %ymm0
// CHECK-AVX2-NEXT:    vpsrld $16, %ymm0, %ymm0
// CHECK-AVX2-NEXT:    vpackusdw %ymm3, %ymm0, %ymm0
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: operatorSHR_5:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vpmovzxwd {{.*#+}} ymm1 = xmm1[0],zero,xmm1[1],zero,xmm1[2],zero,xmm1[3],zero,xmm1[4],zero,xmm1[5],zero,xmm1[6],zero,xmm1[7],zero
// CHECK-AVX2-128-NEXT:    vpmovzxwd {{.*#+}} ymm0 = xmm0[0],zero,xmm0[1],zero,xmm0[2],zero,xmm0[3],zero,xmm0[4],zero,xmm0[5],zero,xmm0[6],zero,xmm0[7],zero
// CHECK-AVX2-128-NEXT:    vpsrlvd %ymm1, %ymm0, %ymm0
// CHECK-AVX2-128-NEXT:    vpshufb {{.*#+}} ymm0 = ymm0[0,1,4,5,8,9,12,13,8,9,12,13,12,13,14,15,16,17,20,21,24,25,28,29,24,25,28,29,28,29,30,31]
// CHECK-AVX2-128-NEXT:    vpermq {{.*#+}} ymm0 = ymm0[0,2,2,3]
// CHECK-AVX2-128-NEXT:    # kill: def $xmm0 killed $xmm0 killed $ymm0
// CHECK-AVX2-128-NEXT:    vzeroupper
// CHECK-AVX2-128-NEXT:    retq
TestedSimd<uint16> operatorSHR_5(TestedSimd<uint16> a, TestedSimd<uint16> b) {
  return a >> b;
}

// CHECK-SSE42-LABEL: operatorSHR_6:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    movdqa %xmm1, %xmm2
// CHECK-SSE42-NEXT:    psrldq {{.*#+}} xmm2 = xmm2[12,13,14,15],zero,zero,zero,zero,zero,zero,zero,zero,zero,zero,zero,zero
// CHECK-SSE42-NEXT:    movdqa %xmm0, %xmm3
// CHECK-SSE42-NEXT:    psrld %xmm2, %xmm3
// CHECK-SSE42-NEXT:    movdqa %xmm1, %xmm2
// CHECK-SSE42-NEXT:    psrlq $32, %xmm2
// CHECK-SSE42-NEXT:    movdqa %xmm0, %xmm4
// CHECK-SSE42-NEXT:    psrld %xmm2, %xmm4
// CHECK-SSE42-NEXT:    pblendw {{.*#+}} xmm4 = xmm4[0,1,2,3],xmm3[4,5,6,7]
// CHECK-SSE42-NEXT:    pxor %xmm2, %xmm2
// CHECK-SSE42-NEXT:    pmovzxdq {{.*#+}} xmm3 = xmm1[0],zero,xmm1[1],zero
// CHECK-SSE42-NEXT:    punpckhdq {{.*#+}} xmm1 = xmm1[2],xmm2[2],xmm1[3],xmm2[3]
// CHECK-SSE42-NEXT:    movdqa %xmm0, %xmm2
// CHECK-SSE42-NEXT:    psrld %xmm1, %xmm2
// CHECK-SSE42-NEXT:    psrld %xmm3, %xmm0
// CHECK-SSE42-NEXT:    pblendw {{.*#+}} xmm0 = xmm0[0,1,2,3],xmm2[4,5,6,7]
// CHECK-SSE42-NEXT:    pblendw {{.*#+}} xmm0 = xmm0[0,1],xmm4[2,3],xmm0[4,5],xmm4[6,7]
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: operatorSHR_6:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vpsrlvd %ymm1, %ymm0, %ymm0
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: operatorSHR_6:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vpsrlvd %xmm1, %xmm0, %xmm0
// CHECK-AVX2-128-NEXT:    retq
TestedSimd<uint32> operatorSHR_6(TestedSimd<uint32> a, TestedSimd<uint32> b) {
  return a >> b;
}

// CHECK-SSE42-LABEL: operatorSHR_7:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    movdqa %xmm0, %xmm2
// CHECK-SSE42-NEXT:    psrlq %xmm1, %xmm2
// CHECK-SSE42-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[2,3,0,1]
// CHECK-SSE42-NEXT:    psrlq %xmm1, %xmm0
// CHECK-SSE42-NEXT:    pblendw {{.*#+}} xmm0 = xmm2[0,1,2,3],xmm0[4,5,6,7]
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: operatorSHR_7:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vpsrlvq %ymm1, %ymm0, %ymm0
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: operatorSHR_7:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vpsrlvq %xmm1, %xmm0, %xmm0
// CHECK-AVX2-128-NEXT:    retq
TestedSimd<uint64> operatorSHR_7(TestedSimd<uint64> a, TestedSimd<uint64> b) {
  return a >> b;
}

// CHECK-SSE42-LABEL: operatorSHL_8:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    movdqa %xmm0, %xmm1
// CHECK-SSE42-NEXT:    movd %edi, %xmm0
// CHECK-SSE42-NEXT:    pxor %xmm2, %xmm2
// CHECK-SSE42-NEXT:    pshufb %xmm2, %xmm0
// CHECK-SSE42-NEXT:    psllw $5, %xmm0
// CHECK-SSE42-NEXT:    movdqa %xmm0, %xmm2
// CHECK-SSE42-NEXT:    movdqa %xmm1, %xmm3
// CHECK-SSE42-NEXT:    psllw $4, %xmm3
// CHECK-SSE42-NEXT:    pand {{.*}}(%rip), %xmm3
// CHECK-SSE42-NEXT:    paddb %xmm0, %xmm2
// CHECK-SSE42-NEXT:    pblendvb %xmm0, %xmm3, %xmm1
// CHECK-SSE42-NEXT:    movdqa %xmm1, %xmm3
// CHECK-SSE42-NEXT:    psllw $2, %xmm3
// CHECK-SSE42-NEXT:    pand {{.*}}(%rip), %xmm3
// CHECK-SSE42-NEXT:    movdqa %xmm2, %xmm0
// CHECK-SSE42-NEXT:    pblendvb %xmm0, %xmm3, %xmm1
// CHECK-SSE42-NEXT:    movdqa %xmm1, %xmm3
// CHECK-SSE42-NEXT:    paddb %xmm1, %xmm3
// CHECK-SSE42-NEXT:    paddb %xmm2, %xmm2
// CHECK-SSE42-NEXT:    movdqa %xmm2, %xmm0
// CHECK-SSE42-NEXT:    pblendvb %xmm0, %xmm3, %xmm1
// CHECK-SSE42-NEXT:    movdqa %xmm1, %xmm0
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: operatorSHL_8:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vmovd %edi, %xmm1
// CHECK-AVX2-NEXT:    vpbroadcastb %xmm1, %ymm1
// CHECK-AVX2-NEXT:    vpsllw $5, %ymm1, %ymm1
// CHECK-AVX2-NEXT:    vpaddb %ymm1, %ymm1, %ymm2
// CHECK-AVX2-NEXT:    vpsllw $4, %ymm0, %ymm3
// CHECK-AVX2-NEXT:    vpand {{.*}}(%rip), %ymm3, %ymm3
// CHECK-AVX2-NEXT:    vpblendvb %ymm1, %ymm3, %ymm0, %ymm0
// CHECK-AVX2-NEXT:    vpsllw $2, %ymm0, %ymm1
// CHECK-AVX2-NEXT:    vpand {{.*}}(%rip), %ymm1, %ymm1
// CHECK-AVX2-NEXT:    vpblendvb %ymm2, %ymm1, %ymm0, %ymm0
// CHECK-AVX2-NEXT:    vpaddb %ymm0, %ymm0, %ymm1
// CHECK-AVX2-NEXT:    vpaddb %ymm2, %ymm2, %ymm2
// CHECK-AVX2-NEXT:    vpblendvb %ymm2, %ymm1, %ymm0, %ymm0
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: operatorSHL_8:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vmovd %edi, %xmm1
// CHECK-AVX2-128-NEXT:    vpbroadcastb %xmm1, %xmm1
// CHECK-AVX2-128-NEXT:    vpsllw $5, %xmm1, %xmm1
// CHECK-AVX2-128-NEXT:    vpsllw $4, %xmm0, %xmm2
// CHECK-AVX2-128-NEXT:    vpand {{.*}}(%rip), %xmm2, %xmm2
// CHECK-AVX2-128-NEXT:    vpaddb %xmm1, %xmm1, %xmm3
// CHECK-AVX2-128-NEXT:    vpblendvb %xmm1, %xmm2, %xmm0, %xmm0
// CHECK-AVX2-128-NEXT:    vpsllw $2, %xmm0, %xmm1
// CHECK-AVX2-128-NEXT:    vpand {{.*}}(%rip), %xmm1, %xmm1
// CHECK-AVX2-128-NEXT:    vpblendvb %xmm3, %xmm1, %xmm0, %xmm0
// CHECK-AVX2-128-NEXT:    vpaddb %xmm0, %xmm0, %xmm1
// CHECK-AVX2-128-NEXT:    vpaddb %xmm3, %xmm3, %xmm2
// CHECK-AVX2-128-NEXT:    vpblendvb %xmm2, %xmm1, %xmm0, %xmm0
// CHECK-AVX2-128-NEXT:    retq
TestedSimd<int8> operatorSHL_8(TestedSimd<int8> a, int b) {
  return a << b;
}

// CHECK-SSE42-LABEL: operatorSHL_9:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    movd %edi, %xmm1
// CHECK-SSE42-NEXT:    pmovzxwq {{.*#+}} xmm1 = xmm1[0],zero,zero,zero,xmm1[1],zero,zero,zero
// CHECK-SSE42-NEXT:    psllw %xmm1, %xmm0
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: operatorSHL_9:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vmovd %edi, %xmm1
// CHECK-AVX2-NEXT:    vpmovzxwq {{.*#+}} xmm1 = xmm1[0],zero,zero,zero,xmm1[1],zero,zero,zero
// CHECK-AVX2-NEXT:    vpsllw %xmm1, %ymm0, %ymm0
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: operatorSHL_9:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vmovd %edi, %xmm1
// CHECK-AVX2-128-NEXT:    vpmovzxwq {{.*#+}} xmm1 = xmm1[0],zero,zero,zero,xmm1[1],zero,zero,zero
// CHECK-AVX2-128-NEXT:    vpsllw %xmm1, %xmm0, %xmm0
// CHECK-AVX2-128-NEXT:    retq
TestedSimd<int16> operatorSHL_9(TestedSimd<int16> a, int b) {
  return a << b;
}

// CHECK-SSE42-LABEL: operatorSHL_10:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    movd %edi, %xmm1
// CHECK-SSE42-NEXT:    pslld %xmm1, %xmm0
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: operatorSHL_10:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vmovd %edi, %xmm1
// CHECK-AVX2-NEXT:    vpslld %xmm1, %ymm0, %ymm0
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: operatorSHL_10:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vmovd %edi, %xmm1
// CHECK-AVX2-128-NEXT:    vpslld %xmm1, %xmm0, %xmm0
// CHECK-AVX2-128-NEXT:    retq
TestedSimd<int32> operatorSHL_10(TestedSimd<int32> a, int b) {
  return a << b;
}

// CHECK-SSE42-LABEL: operatorSHL_11:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    movslq %edi, %rax
// CHECK-SSE42-NEXT:    movq %rax, %xmm1
// CHECK-SSE42-NEXT:    psllq %xmm1, %xmm0
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: operatorSHL_11:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    movslq %edi, %rax
// CHECK-AVX2-NEXT:    vmovq %rax, %xmm1
// CHECK-AVX2-NEXT:    vpsllq %xmm1, %ymm0, %ymm0
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: operatorSHL_11:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    movslq %edi, %rax
// CHECK-AVX2-128-NEXT:    vmovq %rax, %xmm1
// CHECK-AVX2-128-NEXT:    vpsllq %xmm1, %xmm0, %xmm0
// CHECK-AVX2-128-NEXT:    retq
TestedSimd<int64> operatorSHL_11(TestedSimd<int64> a, int b) {
  return a << b;
}

// CHECK-SSE42-LABEL: operatorSHL_12:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    movdqa %xmm0, %xmm1
// CHECK-SSE42-NEXT:    movd %edi, %xmm0
// CHECK-SSE42-NEXT:    pxor %xmm2, %xmm2
// CHECK-SSE42-NEXT:    pshufb %xmm2, %xmm0
// CHECK-SSE42-NEXT:    psllw $5, %xmm0
// CHECK-SSE42-NEXT:    movdqa %xmm0, %xmm2
// CHECK-SSE42-NEXT:    movdqa %xmm1, %xmm3
// CHECK-SSE42-NEXT:    psllw $4, %xmm3
// CHECK-SSE42-NEXT:    pand {{.*}}(%rip), %xmm3
// CHECK-SSE42-NEXT:    paddb %xmm0, %xmm2
// CHECK-SSE42-NEXT:    pblendvb %xmm0, %xmm3, %xmm1
// CHECK-SSE42-NEXT:    movdqa %xmm1, %xmm3
// CHECK-SSE42-NEXT:    psllw $2, %xmm3
// CHECK-SSE42-NEXT:    pand {{.*}}(%rip), %xmm3
// CHECK-SSE42-NEXT:    movdqa %xmm2, %xmm0
// CHECK-SSE42-NEXT:    pblendvb %xmm0, %xmm3, %xmm1
// CHECK-SSE42-NEXT:    movdqa %xmm1, %xmm3
// CHECK-SSE42-NEXT:    paddb %xmm1, %xmm3
// CHECK-SSE42-NEXT:    paddb %xmm2, %xmm2
// CHECK-SSE42-NEXT:    movdqa %xmm2, %xmm0
// CHECK-SSE42-NEXT:    pblendvb %xmm0, %xmm3, %xmm1
// CHECK-SSE42-NEXT:    movdqa %xmm1, %xmm0
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: operatorSHL_12:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vmovd %edi, %xmm1
// CHECK-AVX2-NEXT:    vpbroadcastb %xmm1, %ymm1
// CHECK-AVX2-NEXT:    vpsllw $5, %ymm1, %ymm1
// CHECK-AVX2-NEXT:    vpaddb %ymm1, %ymm1, %ymm2
// CHECK-AVX2-NEXT:    vpsllw $4, %ymm0, %ymm3
// CHECK-AVX2-NEXT:    vpand {{.*}}(%rip), %ymm3, %ymm3
// CHECK-AVX2-NEXT:    vpblendvb %ymm1, %ymm3, %ymm0, %ymm0
// CHECK-AVX2-NEXT:    vpsllw $2, %ymm0, %ymm1
// CHECK-AVX2-NEXT:    vpand {{.*}}(%rip), %ymm1, %ymm1
// CHECK-AVX2-NEXT:    vpblendvb %ymm2, %ymm1, %ymm0, %ymm0
// CHECK-AVX2-NEXT:    vpaddb %ymm0, %ymm0, %ymm1
// CHECK-AVX2-NEXT:    vpaddb %ymm2, %ymm2, %ymm2
// CHECK-AVX2-NEXT:    vpblendvb %ymm2, %ymm1, %ymm0, %ymm0
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: operatorSHL_12:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vmovd %edi, %xmm1
// CHECK-AVX2-128-NEXT:    vpbroadcastb %xmm1, %xmm1
// CHECK-AVX2-128-NEXT:    vpsllw $5, %xmm1, %xmm1
// CHECK-AVX2-128-NEXT:    vpsllw $4, %xmm0, %xmm2
// CHECK-AVX2-128-NEXT:    vpand {{.*}}(%rip), %xmm2, %xmm2
// CHECK-AVX2-128-NEXT:    vpaddb %xmm1, %xmm1, %xmm3
// CHECK-AVX2-128-NEXT:    vpblendvb %xmm1, %xmm2, %xmm0, %xmm0
// CHECK-AVX2-128-NEXT:    vpsllw $2, %xmm0, %xmm1
// CHECK-AVX2-128-NEXT:    vpand {{.*}}(%rip), %xmm1, %xmm1
// CHECK-AVX2-128-NEXT:    vpblendvb %xmm3, %xmm1, %xmm0, %xmm0
// CHECK-AVX2-128-NEXT:    vpaddb %xmm0, %xmm0, %xmm1
// CHECK-AVX2-128-NEXT:    vpaddb %xmm3, %xmm3, %xmm2
// CHECK-AVX2-128-NEXT:    vpblendvb %xmm2, %xmm1, %xmm0, %xmm0
// CHECK-AVX2-128-NEXT:    retq
TestedSimd<uint8> operatorSHL_12(TestedSimd<uint8> a, int b) {
  return a << b;
}

// CHECK-SSE42-LABEL: operatorSHL_13:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    movd %edi, %xmm1
// CHECK-SSE42-NEXT:    pmovzxwq {{.*#+}} xmm1 = xmm1[0],zero,zero,zero,xmm1[1],zero,zero,zero
// CHECK-SSE42-NEXT:    psllw %xmm1, %xmm0
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: operatorSHL_13:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vmovd %edi, %xmm1
// CHECK-AVX2-NEXT:    vpmovzxwq {{.*#+}} xmm1 = xmm1[0],zero,zero,zero,xmm1[1],zero,zero,zero
// CHECK-AVX2-NEXT:    vpsllw %xmm1, %ymm0, %ymm0
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: operatorSHL_13:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vmovd %edi, %xmm1
// CHECK-AVX2-128-NEXT:    vpmovzxwq {{.*#+}} xmm1 = xmm1[0],zero,zero,zero,xmm1[1],zero,zero,zero
// CHECK-AVX2-128-NEXT:    vpsllw %xmm1, %xmm0, %xmm0
// CHECK-AVX2-128-NEXT:    retq
TestedSimd<uint16> operatorSHL_13(TestedSimd<uint16> a, int b) {
  return a << b;
}

// CHECK-SSE42-LABEL: operatorSHL_14:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    movd %edi, %xmm1
// CHECK-SSE42-NEXT:    pslld %xmm1, %xmm0
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: operatorSHL_14:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vmovd %edi, %xmm1
// CHECK-AVX2-NEXT:    vpslld %xmm1, %ymm0, %ymm0
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: operatorSHL_14:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vmovd %edi, %xmm1
// CHECK-AVX2-128-NEXT:    vpslld %xmm1, %xmm0, %xmm0
// CHECK-AVX2-128-NEXT:    retq
TestedSimd<uint32> operatorSHL_14(TestedSimd<uint32> a, int b) {
  return a << b;
}

// CHECK-SSE42-LABEL: operatorSHL_15:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    movslq %edi, %rax
// CHECK-SSE42-NEXT:    movq %rax, %xmm1
// CHECK-SSE42-NEXT:    psllq %xmm1, %xmm0
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: operatorSHL_15:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    movslq %edi, %rax
// CHECK-AVX2-NEXT:    vmovq %rax, %xmm1
// CHECK-AVX2-NEXT:    vpsllq %xmm1, %ymm0, %ymm0
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: operatorSHL_15:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    movslq %edi, %rax
// CHECK-AVX2-128-NEXT:    vmovq %rax, %xmm1
// CHECK-AVX2-128-NEXT:    vpsllq %xmm1, %xmm0, %xmm0
// CHECK-AVX2-128-NEXT:    retq
TestedSimd<uint64> operatorSHL_15(TestedSimd<uint64> a, int b) {
  return a << b;
}

// CHECK-SSE42-LABEL: operatorSHR_8:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    movdqa %xmm0, %xmm1
// CHECK-SSE42-NEXT:    movd %edi, %xmm3
// CHECK-SSE42-NEXT:    pxor %xmm0, %xmm0
// CHECK-SSE42-NEXT:    pshufb %xmm0, %xmm3
// CHECK-SSE42-NEXT:    psllw $5, %xmm3
// CHECK-SSE42-NEXT:    punpckhbw {{.*#+}} xmm0 = xmm0[8],xmm3[8],xmm0[9],xmm3[9],xmm0[10],xmm3[10],xmm0[11],xmm3[11],xmm0[12],xmm3[12],xmm0[13],xmm3[13],xmm0[14],xmm3[14],xmm0[15],xmm3[15]
// CHECK-SSE42-NEXT:    punpckhbw {{.*#+}} xmm2 = xmm2[8],xmm1[8],xmm2[9],xmm1[9],xmm2[10],xmm1[10],xmm2[11],xmm1[11],xmm2[12],xmm1[12],xmm2[13],xmm1[13],xmm2[14],xmm1[14],xmm2[15],xmm1[15]
// CHECK-SSE42-NEXT:    movdqa %xmm2, %xmm4
// CHECK-SSE42-NEXT:    psraw $4, %xmm4
// CHECK-SSE42-NEXT:    pblendvb %xmm0, %xmm4, %xmm2
// CHECK-SSE42-NEXT:    movdqa %xmm2, %xmm4
// CHECK-SSE42-NEXT:    psraw $2, %xmm4
// CHECK-SSE42-NEXT:    paddw %xmm0, %xmm0
// CHECK-SSE42-NEXT:    pblendvb %xmm0, %xmm4, %xmm2
// CHECK-SSE42-NEXT:    movdqa %xmm2, %xmm4
// CHECK-SSE42-NEXT:    psraw $1, %xmm4
// CHECK-SSE42-NEXT:    paddw %xmm0, %xmm0
// CHECK-SSE42-NEXT:    pblendvb %xmm0, %xmm4, %xmm2
// CHECK-SSE42-NEXT:    psrlw $8, %xmm2
// CHECK-SSE42-NEXT:    punpcklbw {{.*#+}} xmm0 = xmm0[0],xmm3[0],xmm0[1],xmm3[1],xmm0[2],xmm3[2],xmm0[3],xmm3[3],xmm0[4],xmm3[4],xmm0[5],xmm3[5],xmm0[6],xmm3[6],xmm0[7],xmm3[7]
// CHECK-SSE42-NEXT:    punpcklbw {{.*#+}} xmm1 = xmm1[0,0,1,1,2,2,3,3,4,4,5,5,6,6,7,7]
// CHECK-SSE42-NEXT:    movdqa %xmm1, %xmm3
// CHECK-SSE42-NEXT:    psraw $4, %xmm3
// CHECK-SSE42-NEXT:    pblendvb %xmm0, %xmm3, %xmm1
// CHECK-SSE42-NEXT:    movdqa %xmm1, %xmm3
// CHECK-SSE42-NEXT:    psraw $2, %xmm3
// CHECK-SSE42-NEXT:    paddw %xmm0, %xmm0
// CHECK-SSE42-NEXT:    pblendvb %xmm0, %xmm3, %xmm1
// CHECK-SSE42-NEXT:    movdqa %xmm1, %xmm3
// CHECK-SSE42-NEXT:    psraw $1, %xmm3
// CHECK-SSE42-NEXT:    paddw %xmm0, %xmm0
// CHECK-SSE42-NEXT:    pblendvb %xmm0, %xmm3, %xmm1
// CHECK-SSE42-NEXT:    psrlw $8, %xmm1
// CHECK-SSE42-NEXT:    packuswb %xmm2, %xmm1
// CHECK-SSE42-NEXT:    movdqa %xmm1, %xmm0
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: operatorSHR_8:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vmovd %edi, %xmm1
// CHECK-AVX2-NEXT:    vpbroadcastb %xmm1, %ymm1
// CHECK-AVX2-NEXT:    vpsllw $5, %ymm1, %ymm1
// CHECK-AVX2-NEXT:    vpunpckhbw {{.*#+}} ymm2 = ymm0[8],ymm1[8],ymm0[9],ymm1[9],ymm0[10],ymm1[10],ymm0[11],ymm1[11],ymm0[12],ymm1[12],ymm0[13],ymm1[13],ymm0[14],ymm1[14],ymm0[15],ymm1[15],ymm0[24],ymm1[24],ymm0[25],ymm1[25],ymm0[26],ymm1[26],ymm0[27],ymm1[27],ymm0[28],ymm1[28],ymm0[29],ymm1[29],ymm0[30],ymm1[30],ymm0[31],ymm1[31]
// CHECK-AVX2-NEXT:    vpunpckhbw {{.*#+}} ymm3 = ymm0[8,8,9,9,10,10,11,11,12,12,13,13,14,14,15,15,24,24,25,25,26,26,27,27,28,28,29,29,30,30,31,31]
// CHECK-AVX2-NEXT:    vpsraw $4, %ymm3, %ymm4
// CHECK-AVX2-NEXT:    vpblendvb %ymm2, %ymm4, %ymm3, %ymm3
// CHECK-AVX2-NEXT:    vpsraw $2, %ymm3, %ymm4
// CHECK-AVX2-NEXT:    vpaddw %ymm2, %ymm2, %ymm2
// CHECK-AVX2-NEXT:    vpblendvb %ymm2, %ymm4, %ymm3, %ymm3
// CHECK-AVX2-NEXT:    vpsraw $1, %ymm3, %ymm4
// CHECK-AVX2-NEXT:    vpaddw %ymm2, %ymm2, %ymm2
// CHECK-AVX2-NEXT:    vpblendvb %ymm2, %ymm4, %ymm3, %ymm2
// CHECK-AVX2-NEXT:    vpsrlw $8, %ymm2, %ymm2
// CHECK-AVX2-NEXT:    vpunpcklbw {{.*#+}} ymm1 = ymm0[0],ymm1[0],ymm0[1],ymm1[1],ymm0[2],ymm1[2],ymm0[3],ymm1[3],ymm0[4],ymm1[4],ymm0[5],ymm1[5],ymm0[6],ymm1[6],ymm0[7],ymm1[7],ymm0[16],ymm1[16],ymm0[17],ymm1[17],ymm0[18],ymm1[18],ymm0[19],ymm1[19],ymm0[20],ymm1[20],ymm0[21],ymm1[21],ymm0[22],ymm1[22],ymm0[23],ymm1[23]
// CHECK-AVX2-NEXT:    vpunpcklbw {{.*#+}} ymm0 = ymm0[0,0,1,1,2,2,3,3,4,4,5,5,6,6,7,7,16,16,17,17,18,18,19,19,20,20,21,21,22,22,23,23]
// CHECK-AVX2-NEXT:    vpsraw $4, %ymm0, %ymm3
// CHECK-AVX2-NEXT:    vpblendvb %ymm1, %ymm3, %ymm0, %ymm0
// CHECK-AVX2-NEXT:    vpsraw $2, %ymm0, %ymm3
// CHECK-AVX2-NEXT:    vpaddw %ymm1, %ymm1, %ymm1
// CHECK-AVX2-NEXT:    vpblendvb %ymm1, %ymm3, %ymm0, %ymm0
// CHECK-AVX2-NEXT:    vpsraw $1, %ymm0, %ymm3
// CHECK-AVX2-NEXT:    vpaddw %ymm1, %ymm1, %ymm1
// CHECK-AVX2-NEXT:    vpblendvb %ymm1, %ymm3, %ymm0, %ymm0
// CHECK-AVX2-NEXT:    vpsrlw $8, %ymm0, %ymm0
// CHECK-AVX2-NEXT:    vpackuswb %ymm2, %ymm0, %ymm0
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: operatorSHR_8:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vmovd %edi, %xmm1
// CHECK-AVX2-128-NEXT:    vpbroadcastb %xmm1, %xmm1
// CHECK-AVX2-128-NEXT:    vpsllw $5, %xmm1, %xmm1
// CHECK-AVX2-128-NEXT:    vpunpckhbw {{.*#+}} xmm2 = xmm0[8],xmm1[8],xmm0[9],xmm1[9],xmm0[10],xmm1[10],xmm0[11],xmm1[11],xmm0[12],xmm1[12],xmm0[13],xmm1[13],xmm0[14],xmm1[14],xmm0[15],xmm1[15]
// CHECK-AVX2-128-NEXT:    vpunpckhbw {{.*#+}} xmm3 = xmm0[8,8,9,9,10,10,11,11,12,12,13,13,14,14,15,15]
// CHECK-AVX2-128-NEXT:    vpsraw $4, %xmm3, %xmm4
// CHECK-AVX2-128-NEXT:    vpblendvb %xmm2, %xmm4, %xmm3, %xmm3
// CHECK-AVX2-128-NEXT:    vpsraw $2, %xmm3, %xmm4
// CHECK-AVX2-128-NEXT:    vpaddw %xmm2, %xmm2, %xmm2
// CHECK-AVX2-128-NEXT:    vpblendvb %xmm2, %xmm4, %xmm3, %xmm3
// CHECK-AVX2-128-NEXT:    vpsraw $1, %xmm3, %xmm4
// CHECK-AVX2-128-NEXT:    vpaddw %xmm2, %xmm2, %xmm2
// CHECK-AVX2-128-NEXT:    vpblendvb %xmm2, %xmm4, %xmm3, %xmm2
// CHECK-AVX2-128-NEXT:    vpsrlw $8, %xmm2, %xmm2
// CHECK-AVX2-128-NEXT:    vpunpcklbw {{.*#+}} xmm1 = xmm0[0],xmm1[0],xmm0[1],xmm1[1],xmm0[2],xmm1[2],xmm0[3],xmm1[3],xmm0[4],xmm1[4],xmm0[5],xmm1[5],xmm0[6],xmm1[6],xmm0[7],xmm1[7]
// CHECK-AVX2-128-NEXT:    vpunpcklbw {{.*#+}} xmm0 = xmm0[0,0,1,1,2,2,3,3,4,4,5,5,6,6,7,7]
// CHECK-AVX2-128-NEXT:    vpsraw $4, %xmm0, %xmm3
// CHECK-AVX2-128-NEXT:    vpblendvb %xmm1, %xmm3, %xmm0, %xmm0
// CHECK-AVX2-128-NEXT:    vpsraw $2, %xmm0, %xmm3
// CHECK-AVX2-128-NEXT:    vpaddw %xmm1, %xmm1, %xmm1
// CHECK-AVX2-128-NEXT:    vpblendvb %xmm1, %xmm3, %xmm0, %xmm0
// CHECK-AVX2-128-NEXT:    vpsraw $1, %xmm0, %xmm3
// CHECK-AVX2-128-NEXT:    vpaddw %xmm1, %xmm1, %xmm1
// CHECK-AVX2-128-NEXT:    vpblendvb %xmm1, %xmm3, %xmm0, %xmm0
// CHECK-AVX2-128-NEXT:    vpsrlw $8, %xmm0, %xmm0
// CHECK-AVX2-128-NEXT:    vpackuswb %xmm2, %xmm0, %xmm0
// CHECK-AVX2-128-NEXT:    retq
TestedSimd<int8> operatorSHR_8(TestedSimd<int8> a, int b) {
  return a >> b;
}

// CHECK-SSE42-LABEL: operatorSHR_9:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    movd %edi, %xmm1
// CHECK-SSE42-NEXT:    pmovzxwq {{.*#+}} xmm1 = xmm1[0],zero,zero,zero,xmm1[1],zero,zero,zero
// CHECK-SSE42-NEXT:    psraw %xmm1, %xmm0
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: operatorSHR_9:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vmovd %edi, %xmm1
// CHECK-AVX2-NEXT:    vpmovzxwq {{.*#+}} xmm1 = xmm1[0],zero,zero,zero,xmm1[1],zero,zero,zero
// CHECK-AVX2-NEXT:    vpsraw %xmm1, %ymm0, %ymm0
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: operatorSHR_9:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vmovd %edi, %xmm1
// CHECK-AVX2-128-NEXT:    vpmovzxwq {{.*#+}} xmm1 = xmm1[0],zero,zero,zero,xmm1[1],zero,zero,zero
// CHECK-AVX2-128-NEXT:    vpsraw %xmm1, %xmm0, %xmm0
// CHECK-AVX2-128-NEXT:    retq
TestedSimd<int16> operatorSHR_9(TestedSimd<int16> a, int b) {
  return a >> b;
}

// CHECK-SSE42-LABEL: operatorSHR_10:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    movd %edi, %xmm1
// CHECK-SSE42-NEXT:    psrad %xmm1, %xmm0
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: operatorSHR_10:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vmovd %edi, %xmm1
// CHECK-AVX2-NEXT:    vpsrad %xmm1, %ymm0, %ymm0
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: operatorSHR_10:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vmovd %edi, %xmm1
// CHECK-AVX2-128-NEXT:    vpsrad %xmm1, %xmm0, %xmm0
// CHECK-AVX2-128-NEXT:    retq
TestedSimd<int32> operatorSHR_10(TestedSimd<int32> a, int b) {
  return a >> b;
}

// CHECK-SSE42-LABEL: operatorSHR_11:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    movslq %edi, %rax
// CHECK-SSE42-NEXT:    movq %rax, %xmm1
// CHECK-SSE42-NEXT:    movdqa {{.*#+}} xmm2 = [9223372036854775808,9223372036854775808]
// CHECK-SSE42-NEXT:    psrlq %xmm1, %xmm2
// CHECK-SSE42-NEXT:    psrlq %xmm1, %xmm0
// CHECK-SSE42-NEXT:    pxor %xmm2, %xmm0
// CHECK-SSE42-NEXT:    psubq %xmm2, %xmm0
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: operatorSHR_11:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    movslq %edi, %rax
// CHECK-AVX2-NEXT:    vmovq %rax, %xmm1
// CHECK-AVX2-NEXT:    vpbroadcastq {{.*#+}} ymm2 = [9223372036854775808,9223372036854775808,9223372036854775808,9223372036854775808]
// CHECK-AVX2-NEXT:    vpsrlq %xmm1, %ymm2, %ymm2
// CHECK-AVX2-NEXT:    vpsrlq %xmm1, %ymm0, %ymm0
// CHECK-AVX2-NEXT:    vpxor %ymm2, %ymm0, %ymm0
// CHECK-AVX2-NEXT:    vpsubq %ymm2, %ymm0, %ymm0
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: operatorSHR_11:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    movslq %edi, %rax
// CHECK-AVX2-128-NEXT:    vmovq %rax, %xmm1
// CHECK-AVX2-128-NEXT:    vmovdqa {{.*#+}} xmm2 = [9223372036854775808,9223372036854775808]
// CHECK-AVX2-128-NEXT:    vpsrlq %xmm1, %xmm2, %xmm2
// CHECK-AVX2-128-NEXT:    vpsrlq %xmm1, %xmm0, %xmm0
// CHECK-AVX2-128-NEXT:    vpxor %xmm2, %xmm0, %xmm0
// CHECK-AVX2-128-NEXT:    vpsubq %xmm2, %xmm0, %xmm0
// CHECK-AVX2-128-NEXT:    retq
TestedSimd<int64> operatorSHR_11(TestedSimd<int64> a, int b) {
  return a >> b;
}

// CHECK-SSE42-LABEL: operatorSHR_12:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    movdqa %xmm0, %xmm1
// CHECK-SSE42-NEXT:    movd %edi, %xmm0
// CHECK-SSE42-NEXT:    pxor %xmm2, %xmm2
// CHECK-SSE42-NEXT:    pshufb %xmm2, %xmm0
// CHECK-SSE42-NEXT:    psllw $5, %xmm0
// CHECK-SSE42-NEXT:    movdqa %xmm0, %xmm2
// CHECK-SSE42-NEXT:    movdqa %xmm1, %xmm3
// CHECK-SSE42-NEXT:    psrlw $4, %xmm3
// CHECK-SSE42-NEXT:    pand {{.*}}(%rip), %xmm3
// CHECK-SSE42-NEXT:    paddb %xmm0, %xmm2
// CHECK-SSE42-NEXT:    pblendvb %xmm0, %xmm3, %xmm1
// CHECK-SSE42-NEXT:    movdqa %xmm1, %xmm3
// CHECK-SSE42-NEXT:    psrlw $2, %xmm3
// CHECK-SSE42-NEXT:    pand {{.*}}(%rip), %xmm3
// CHECK-SSE42-NEXT:    movdqa %xmm2, %xmm0
// CHECK-SSE42-NEXT:    pblendvb %xmm0, %xmm3, %xmm1
// CHECK-SSE42-NEXT:    movdqa %xmm1, %xmm3
// CHECK-SSE42-NEXT:    psrlw $1, %xmm3
// CHECK-SSE42-NEXT:    pand {{.*}}(%rip), %xmm3
// CHECK-SSE42-NEXT:    paddb %xmm2, %xmm2
// CHECK-SSE42-NEXT:    movdqa %xmm2, %xmm0
// CHECK-SSE42-NEXT:    pblendvb %xmm0, %xmm3, %xmm1
// CHECK-SSE42-NEXT:    movdqa %xmm1, %xmm0
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: operatorSHR_12:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vmovd %edi, %xmm1
// CHECK-AVX2-NEXT:    vpbroadcastb %xmm1, %ymm1
// CHECK-AVX2-NEXT:    vpsllw $5, %ymm1, %ymm1
// CHECK-AVX2-NEXT:    vpaddb %ymm1, %ymm1, %ymm2
// CHECK-AVX2-NEXT:    vpsrlw $4, %ymm0, %ymm3
// CHECK-AVX2-NEXT:    vpand {{.*}}(%rip), %ymm3, %ymm3
// CHECK-AVX2-NEXT:    vpblendvb %ymm1, %ymm3, %ymm0, %ymm0
// CHECK-AVX2-NEXT:    vpsrlw $2, %ymm0, %ymm1
// CHECK-AVX2-NEXT:    vpand {{.*}}(%rip), %ymm1, %ymm1
// CHECK-AVX2-NEXT:    vpblendvb %ymm2, %ymm1, %ymm0, %ymm0
// CHECK-AVX2-NEXT:    vpsrlw $1, %ymm0, %ymm1
// CHECK-AVX2-NEXT:    vpand {{.*}}(%rip), %ymm1, %ymm1
// CHECK-AVX2-NEXT:    vpaddb %ymm2, %ymm2, %ymm2
// CHECK-AVX2-NEXT:    vpblendvb %ymm2, %ymm1, %ymm0, %ymm0
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: operatorSHR_12:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vmovd %edi, %xmm1
// CHECK-AVX2-128-NEXT:    vpbroadcastb %xmm1, %xmm1
// CHECK-AVX2-128-NEXT:    vpsllw $5, %xmm1, %xmm1
// CHECK-AVX2-128-NEXT:    vpsrlw $4, %xmm0, %xmm2
// CHECK-AVX2-128-NEXT:    vpand {{.*}}(%rip), %xmm2, %xmm2
// CHECK-AVX2-128-NEXT:    vpaddb %xmm1, %xmm1, %xmm3
// CHECK-AVX2-128-NEXT:    vpblendvb %xmm1, %xmm2, %xmm0, %xmm0
// CHECK-AVX2-128-NEXT:    vpsrlw $2, %xmm0, %xmm1
// CHECK-AVX2-128-NEXT:    vpand {{.*}}(%rip), %xmm1, %xmm1
// CHECK-AVX2-128-NEXT:    vpblendvb %xmm3, %xmm1, %xmm0, %xmm0
// CHECK-AVX2-128-NEXT:    vpsrlw $1, %xmm0, %xmm1
// CHECK-AVX2-128-NEXT:    vpand {{.*}}(%rip), %xmm1, %xmm1
// CHECK-AVX2-128-NEXT:    vpaddb %xmm3, %xmm3, %xmm2
// CHECK-AVX2-128-NEXT:    vpblendvb %xmm2, %xmm1, %xmm0, %xmm0
// CHECK-AVX2-128-NEXT:    retq
TestedSimd<uint8> operatorSHR_12(TestedSimd<uint8> a, int b) {
  return a >> b;
}

// CHECK-SSE42-LABEL: operatorSHR_13:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    movd %edi, %xmm1
// CHECK-SSE42-NEXT:    pmovzxwq {{.*#+}} xmm1 = xmm1[0],zero,zero,zero,xmm1[1],zero,zero,zero
// CHECK-SSE42-NEXT:    psrlw %xmm1, %xmm0
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: operatorSHR_13:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vmovd %edi, %xmm1
// CHECK-AVX2-NEXT:    vpmovzxwq {{.*#+}} xmm1 = xmm1[0],zero,zero,zero,xmm1[1],zero,zero,zero
// CHECK-AVX2-NEXT:    vpsrlw %xmm1, %ymm0, %ymm0
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: operatorSHR_13:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vmovd %edi, %xmm1
// CHECK-AVX2-128-NEXT:    vpmovzxwq {{.*#+}} xmm1 = xmm1[0],zero,zero,zero,xmm1[1],zero,zero,zero
// CHECK-AVX2-128-NEXT:    vpsrlw %xmm1, %xmm0, %xmm0
// CHECK-AVX2-128-NEXT:    retq
TestedSimd<uint16> operatorSHR_13(TestedSimd<uint16> a, int b) {
  return a >> b;
}

// CHECK-SSE42-LABEL: operatorSHR_14:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    movd %edi, %xmm1
// CHECK-SSE42-NEXT:    psrld %xmm1, %xmm0
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: operatorSHR_14:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vmovd %edi, %xmm1
// CHECK-AVX2-NEXT:    vpsrld %xmm1, %ymm0, %ymm0
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: operatorSHR_14:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vmovd %edi, %xmm1
// CHECK-AVX2-128-NEXT:    vpsrld %xmm1, %xmm0, %xmm0
// CHECK-AVX2-128-NEXT:    retq
TestedSimd<uint32> operatorSHR_14(TestedSimd<uint32> a, int b) {
  return a >> b;
}

// CHECK-SSE42-LABEL: operatorSHR_15:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    movslq %edi, %rax
// CHECK-SSE42-NEXT:    movq %rax, %xmm1
// CHECK-SSE42-NEXT:    psrlq %xmm1, %xmm0
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: operatorSHR_15:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    movslq %edi, %rax
// CHECK-AVX2-NEXT:    vmovq %rax, %xmm1
// CHECK-AVX2-NEXT:    vpsrlq %xmm1, %ymm0, %ymm0
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: operatorSHR_15:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    movslq %edi, %rax
// CHECK-AVX2-128-NEXT:    vmovq %rax, %xmm1
// CHECK-AVX2-128-NEXT:    vpsrlq %xmm1, %xmm0, %xmm0
// CHECK-AVX2-128-NEXT:    retq
TestedSimd<uint64> operatorSHR_15(TestedSimd<uint64> a, int b) {
  return a >> b;
}

// CHECK-SSE42-LABEL: cmp_eq_0:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    pcmpeqb %xmm1, %xmm0
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: cmp_eq_0:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vpcmpeqb %ymm1, %ymm0, %ymm0
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: cmp_eq_0:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vpcmpeqb %xmm1, %xmm0, %xmm0
// CHECK-AVX2-128-NEXT:    retq
TestedSimd<uint8> cmp_eq_0(TestedSimd<int8> a, TestedSimd<int8> b) {
  return cmp_eq(a, b);
}

// CHECK-SSE42-LABEL: cmp_eq_1:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    pcmpeqw %xmm1, %xmm0
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: cmp_eq_1:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vpcmpeqw %ymm1, %ymm0, %ymm0
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: cmp_eq_1:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vpcmpeqw %xmm1, %xmm0, %xmm0
// CHECK-AVX2-128-NEXT:    retq
TestedSimd<uint16> cmp_eq_1(TestedSimd<int16> a, TestedSimd<int16> b) {
  return cmp_eq(a, b);
}

// CHECK-SSE42-LABEL: cmp_eq_2:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    pcmpeqd %xmm1, %xmm0
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: cmp_eq_2:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vpcmpeqd %ymm1, %ymm0, %ymm0
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: cmp_eq_2:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vpcmpeqd %xmm1, %xmm0, %xmm0
// CHECK-AVX2-128-NEXT:    retq
TestedSimd<uint32> cmp_eq_2(TestedSimd<int32> a, TestedSimd<int32> b) {
  return cmp_eq(a, b);
}

// CHECK-SSE42-LABEL: cmp_eq_3:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    pcmpeqq %xmm1, %xmm0
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: cmp_eq_3:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vpcmpeqq %ymm1, %ymm0, %ymm0
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: cmp_eq_3:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vpcmpeqq %xmm1, %xmm0, %xmm0
// CHECK-AVX2-128-NEXT:    retq
TestedSimd<uint64> cmp_eq_3(TestedSimd<int64> a, TestedSimd<int64> b) {
  return cmp_eq(a, b);
}

// CHECK-SSE42-LABEL: cmp_eq_4:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    pcmpeqb %xmm1, %xmm0
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: cmp_eq_4:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vpcmpeqb %ymm1, %ymm0, %ymm0
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: cmp_eq_4:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vpcmpeqb %xmm1, %xmm0, %xmm0
// CHECK-AVX2-128-NEXT:    retq
TestedSimd<uint8> cmp_eq_4(TestedSimd<uint8> a, TestedSimd<uint8> b) {
  return cmp_eq(a, b);
}

// CHECK-SSE42-LABEL: cmp_eq_5:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    pcmpeqw %xmm1, %xmm0
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: cmp_eq_5:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vpcmpeqw %ymm1, %ymm0, %ymm0
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: cmp_eq_5:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vpcmpeqw %xmm1, %xmm0, %xmm0
// CHECK-AVX2-128-NEXT:    retq
TestedSimd<uint16> cmp_eq_5(TestedSimd<uint16> a, TestedSimd<uint16> b) {
  return cmp_eq(a, b);
}

// CHECK-SSE42-LABEL: cmp_eq_6:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    pcmpeqd %xmm1, %xmm0
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: cmp_eq_6:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vpcmpeqd %ymm1, %ymm0, %ymm0
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: cmp_eq_6:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vpcmpeqd %xmm1, %xmm0, %xmm0
// CHECK-AVX2-128-NEXT:    retq
TestedSimd<uint32> cmp_eq_6(TestedSimd<uint32> a, TestedSimd<uint32> b) {
  return cmp_eq(a, b);
}

// CHECK-SSE42-LABEL: cmp_eq_7:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    pcmpeqq %xmm1, %xmm0
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: cmp_eq_7:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vpcmpeqq %ymm1, %ymm0, %ymm0
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: cmp_eq_7:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vpcmpeqq %xmm1, %xmm0, %xmm0
// CHECK-AVX2-128-NEXT:    retq
TestedSimd<uint64> cmp_eq_7(TestedSimd<uint64> a, TestedSimd<uint64> b) {
  return cmp_eq(a, b);
}

// CHECK-SSE42-LABEL: cmp_eq_8:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    cmpeqps %xmm1, %xmm0
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: cmp_eq_8:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vcmpeqps %ymm1, %ymm0, %ymm0
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: cmp_eq_8:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vcmpeqps %xmm1, %xmm0, %xmm0
// CHECK-AVX2-128-NEXT:    retq
TestedSimd<uint32> cmp_eq_8(TestedSimd<float> a, TestedSimd<float> b) {
  return cmp_eq(a, b);
}

// CHECK-SSE42-LABEL: cmp_eq_9:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    cmpeqpd %xmm1, %xmm0
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: cmp_eq_9:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vcmpeqpd %ymm1, %ymm0, %ymm0
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: cmp_eq_9:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vcmpeqpd %xmm1, %xmm0, %xmm0
// CHECK-AVX2-128-NEXT:    retq
TestedSimd<uint64> cmp_eq_9(TestedSimd<double> a, TestedSimd<double> b) {
  return cmp_eq(a, b);
}

// CHECK-SSE42-LABEL: cmp_ne_0:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    pcmpeqb %xmm1, %xmm0
// CHECK-SSE42-NEXT:    pcmpeqd %xmm1, %xmm1
// CHECK-SSE42-NEXT:    pxor %xmm1, %xmm0
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: cmp_ne_0:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vpcmpeqb %ymm1, %ymm0, %ymm0
// CHECK-AVX2-NEXT:    vpcmpeqd %ymm1, %ymm1, %ymm1
// CHECK-AVX2-NEXT:    vpxor %ymm1, %ymm0, %ymm0
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: cmp_ne_0:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vpcmpeqb %xmm1, %xmm0, %xmm0
// CHECK-AVX2-128-NEXT:    vpcmpeqd %xmm1, %xmm1, %xmm1
// CHECK-AVX2-128-NEXT:    vpxor %xmm1, %xmm0, %xmm0
// CHECK-AVX2-128-NEXT:    retq
TestedSimd<uint8> cmp_ne_0(TestedSimd<int8> a, TestedSimd<int8> b) {
  return cmp_ne(a, b);
}

// CHECK-SSE42-LABEL: cmp_ne_1:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    pcmpeqw %xmm1, %xmm0
// CHECK-SSE42-NEXT:    pcmpeqd %xmm1, %xmm1
// CHECK-SSE42-NEXT:    pxor %xmm1, %xmm0
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: cmp_ne_1:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vpcmpeqw %ymm1, %ymm0, %ymm0
// CHECK-AVX2-NEXT:    vpcmpeqd %ymm1, %ymm1, %ymm1
// CHECK-AVX2-NEXT:    vpxor %ymm1, %ymm0, %ymm0
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: cmp_ne_1:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vpcmpeqw %xmm1, %xmm0, %xmm0
// CHECK-AVX2-128-NEXT:    vpcmpeqd %xmm1, %xmm1, %xmm1
// CHECK-AVX2-128-NEXT:    vpxor %xmm1, %xmm0, %xmm0
// CHECK-AVX2-128-NEXT:    retq
TestedSimd<uint16> cmp_ne_1(TestedSimd<int16> a, TestedSimd<int16> b) {
  return cmp_ne(a, b);
}

// CHECK-SSE42-LABEL: cmp_ne_2:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    pcmpeqd %xmm1, %xmm0
// CHECK-SSE42-NEXT:    pcmpeqd %xmm1, %xmm1
// CHECK-SSE42-NEXT:    pxor %xmm1, %xmm0
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: cmp_ne_2:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vpcmpeqd %ymm1, %ymm0, %ymm0
// CHECK-AVX2-NEXT:    vpcmpeqd %ymm1, %ymm1, %ymm1
// CHECK-AVX2-NEXT:    vpxor %ymm1, %ymm0, %ymm0
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: cmp_ne_2:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vpcmpeqd %xmm1, %xmm0, %xmm0
// CHECK-AVX2-128-NEXT:    vpcmpeqd %xmm1, %xmm1, %xmm1
// CHECK-AVX2-128-NEXT:    vpxor %xmm1, %xmm0, %xmm0
// CHECK-AVX2-128-NEXT:    retq
TestedSimd<uint32> cmp_ne_2(TestedSimd<int32> a, TestedSimd<int32> b) {
  return cmp_ne(a, b);
}

// CHECK-SSE42-LABEL: cmp_ne_3:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    pcmpeqq %xmm1, %xmm0
// CHECK-SSE42-NEXT:    pcmpeqd %xmm1, %xmm1
// CHECK-SSE42-NEXT:    pxor %xmm1, %xmm0
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: cmp_ne_3:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vpcmpeqq %ymm1, %ymm0, %ymm0
// CHECK-AVX2-NEXT:    vpcmpeqd %ymm1, %ymm1, %ymm1
// CHECK-AVX2-NEXT:    vpxor %ymm1, %ymm0, %ymm0
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: cmp_ne_3:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vpcmpeqq %xmm1, %xmm0, %xmm0
// CHECK-AVX2-128-NEXT:    vpcmpeqd %xmm1, %xmm1, %xmm1
// CHECK-AVX2-128-NEXT:    vpxor %xmm1, %xmm0, %xmm0
// CHECK-AVX2-128-NEXT:    retq
TestedSimd<uint64> cmp_ne_3(TestedSimd<int64> a, TestedSimd<int64> b) {
  return cmp_ne(a, b);
}

// CHECK-SSE42-LABEL: cmp_ne_4:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    pcmpeqb %xmm1, %xmm0
// CHECK-SSE42-NEXT:    pcmpeqd %xmm1, %xmm1
// CHECK-SSE42-NEXT:    pxor %xmm1, %xmm0
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: cmp_ne_4:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vpcmpeqb %ymm1, %ymm0, %ymm0
// CHECK-AVX2-NEXT:    vpcmpeqd %ymm1, %ymm1, %ymm1
// CHECK-AVX2-NEXT:    vpxor %ymm1, %ymm0, %ymm0
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: cmp_ne_4:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vpcmpeqb %xmm1, %xmm0, %xmm0
// CHECK-AVX2-128-NEXT:    vpcmpeqd %xmm1, %xmm1, %xmm1
// CHECK-AVX2-128-NEXT:    vpxor %xmm1, %xmm0, %xmm0
// CHECK-AVX2-128-NEXT:    retq
TestedSimd<uint8> cmp_ne_4(TestedSimd<uint8> a, TestedSimd<uint8> b) {
  return cmp_ne(a, b);
}

// CHECK-SSE42-LABEL: cmp_ne_5:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    pcmpeqw %xmm1, %xmm0
// CHECK-SSE42-NEXT:    pcmpeqd %xmm1, %xmm1
// CHECK-SSE42-NEXT:    pxor %xmm1, %xmm0
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: cmp_ne_5:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vpcmpeqw %ymm1, %ymm0, %ymm0
// CHECK-AVX2-NEXT:    vpcmpeqd %ymm1, %ymm1, %ymm1
// CHECK-AVX2-NEXT:    vpxor %ymm1, %ymm0, %ymm0
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: cmp_ne_5:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vpcmpeqw %xmm1, %xmm0, %xmm0
// CHECK-AVX2-128-NEXT:    vpcmpeqd %xmm1, %xmm1, %xmm1
// CHECK-AVX2-128-NEXT:    vpxor %xmm1, %xmm0, %xmm0
// CHECK-AVX2-128-NEXT:    retq
TestedSimd<uint16> cmp_ne_5(TestedSimd<uint16> a, TestedSimd<uint16> b) {
  return cmp_ne(a, b);
}

// CHECK-SSE42-LABEL: cmp_ne_6:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    pcmpeqd %xmm1, %xmm0
// CHECK-SSE42-NEXT:    pcmpeqd %xmm1, %xmm1
// CHECK-SSE42-NEXT:    pxor %xmm1, %xmm0
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: cmp_ne_6:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vpcmpeqd %ymm1, %ymm0, %ymm0
// CHECK-AVX2-NEXT:    vpcmpeqd %ymm1, %ymm1, %ymm1
// CHECK-AVX2-NEXT:    vpxor %ymm1, %ymm0, %ymm0
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: cmp_ne_6:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vpcmpeqd %xmm1, %xmm0, %xmm0
// CHECK-AVX2-128-NEXT:    vpcmpeqd %xmm1, %xmm1, %xmm1
// CHECK-AVX2-128-NEXT:    vpxor %xmm1, %xmm0, %xmm0
// CHECK-AVX2-128-NEXT:    retq
TestedSimd<uint32> cmp_ne_6(TestedSimd<uint32> a, TestedSimd<uint32> b) {
  return cmp_ne(a, b);
}

// CHECK-SSE42-LABEL: cmp_ne_7:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    pcmpeqq %xmm1, %xmm0
// CHECK-SSE42-NEXT:    pcmpeqd %xmm1, %xmm1
// CHECK-SSE42-NEXT:    pxor %xmm1, %xmm0
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: cmp_ne_7:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vpcmpeqq %ymm1, %ymm0, %ymm0
// CHECK-AVX2-NEXT:    vpcmpeqd %ymm1, %ymm1, %ymm1
// CHECK-AVX2-NEXT:    vpxor %ymm1, %ymm0, %ymm0
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: cmp_ne_7:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vpcmpeqq %xmm1, %xmm0, %xmm0
// CHECK-AVX2-128-NEXT:    vpcmpeqd %xmm1, %xmm1, %xmm1
// CHECK-AVX2-128-NEXT:    vpxor %xmm1, %xmm0, %xmm0
// CHECK-AVX2-128-NEXT:    retq
TestedSimd<uint64> cmp_ne_7(TestedSimd<uint64> a, TestedSimd<uint64> b) {
  return cmp_ne(a, b);
}

// CHECK-SSE42-LABEL: cmp_ne_8:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    cmpneqps %xmm1, %xmm0
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: cmp_ne_8:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vcmpneqps %ymm1, %ymm0, %ymm0
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: cmp_ne_8:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vcmpneqps %xmm1, %xmm0, %xmm0
// CHECK-AVX2-128-NEXT:    retq
TestedSimd<uint32> cmp_ne_8(TestedSimd<float> a, TestedSimd<float> b) {
  return cmp_ne(a, b);
}

// CHECK-SSE42-LABEL: cmp_ne_9:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    cmpneqpd %xmm1, %xmm0
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: cmp_ne_9:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vcmpneqpd %ymm1, %ymm0, %ymm0
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: cmp_ne_9:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vcmpneqpd %xmm1, %xmm0, %xmm0
// CHECK-AVX2-128-NEXT:    retq
TestedSimd<uint64> cmp_ne_9(TestedSimd<double> a, TestedSimd<double> b) {
  return cmp_ne(a, b);
}

// CHECK-SSE42-LABEL: cmp_lt_0:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    pcmpgtb %xmm0, %xmm1
// CHECK-SSE42-NEXT:    movdqa %xmm1, %xmm0
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: cmp_lt_0:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vpcmpgtb %ymm0, %ymm1, %ymm0
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: cmp_lt_0:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vpcmpgtb %xmm0, %xmm1, %xmm0
// CHECK-AVX2-128-NEXT:    retq
TestedSimd<uint8> cmp_lt_0(TestedSimd<int8> a, TestedSimd<int8> b) {
  return cmp_lt(a, b);
}

// CHECK-SSE42-LABEL: cmp_lt_1:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    pcmpgtw %xmm0, %xmm1
// CHECK-SSE42-NEXT:    movdqa %xmm1, %xmm0
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: cmp_lt_1:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vpcmpgtw %ymm0, %ymm1, %ymm0
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: cmp_lt_1:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vpcmpgtw %xmm0, %xmm1, %xmm0
// CHECK-AVX2-128-NEXT:    retq
TestedSimd<uint16> cmp_lt_1(TestedSimd<int16> a, TestedSimd<int16> b) {
  return cmp_lt(a, b);
}

// CHECK-SSE42-LABEL: cmp_lt_2:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    pcmpgtd %xmm0, %xmm1
// CHECK-SSE42-NEXT:    movdqa %xmm1, %xmm0
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: cmp_lt_2:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vpcmpgtd %ymm0, %ymm1, %ymm0
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: cmp_lt_2:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vpcmpgtd %xmm0, %xmm1, %xmm0
// CHECK-AVX2-128-NEXT:    retq
TestedSimd<uint32> cmp_lt_2(TestedSimd<int32> a, TestedSimd<int32> b) {
  return cmp_lt(a, b);
}

// CHECK-SSE42-LABEL: cmp_lt_3:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    pcmpgtq %xmm0, %xmm1
// CHECK-SSE42-NEXT:    movdqa %xmm1, %xmm0
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: cmp_lt_3:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vpcmpgtq %ymm0, %ymm1, %ymm0
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: cmp_lt_3:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vpcmpgtq %xmm0, %xmm1, %xmm0
// CHECK-AVX2-128-NEXT:    retq
TestedSimd<uint64> cmp_lt_3(TestedSimd<int64> a, TestedSimd<int64> b) {
  return cmp_lt(a, b);
}

// CHECK-SSE42-LABEL: cmp_lt_4:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    pmaxub %xmm0, %xmm1
// CHECK-SSE42-NEXT:    pcmpeqb %xmm1, %xmm0
// CHECK-SSE42-NEXT:    pcmpeqd %xmm1, %xmm1
// CHECK-SSE42-NEXT:    pxor %xmm1, %xmm0
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: cmp_lt_4:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vpmaxub %ymm1, %ymm0, %ymm1
// CHECK-AVX2-NEXT:    vpcmpeqb %ymm1, %ymm0, %ymm0
// CHECK-AVX2-NEXT:    vpcmpeqd %ymm1, %ymm1, %ymm1
// CHECK-AVX2-NEXT:    vpxor %ymm1, %ymm0, %ymm0
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: cmp_lt_4:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vpmaxub %xmm1, %xmm0, %xmm1
// CHECK-AVX2-128-NEXT:    vpcmpeqb %xmm1, %xmm0, %xmm0
// CHECK-AVX2-128-NEXT:    vpcmpeqd %xmm1, %xmm1, %xmm1
// CHECK-AVX2-128-NEXT:    vpxor %xmm1, %xmm0, %xmm0
// CHECK-AVX2-128-NEXT:    retq
TestedSimd<uint8> cmp_lt_4(TestedSimd<uint8> a, TestedSimd<uint8> b) {
  return cmp_lt(a, b);
}

// CHECK-SSE42-LABEL: cmp_lt_5:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    pmaxuw %xmm0, %xmm1
// CHECK-SSE42-NEXT:    pcmpeqw %xmm1, %xmm0
// CHECK-SSE42-NEXT:    pcmpeqd %xmm1, %xmm1
// CHECK-SSE42-NEXT:    pxor %xmm1, %xmm0
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: cmp_lt_5:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vpmaxuw %ymm1, %ymm0, %ymm1
// CHECK-AVX2-NEXT:    vpcmpeqw %ymm1, %ymm0, %ymm0
// CHECK-AVX2-NEXT:    vpcmpeqd %ymm1, %ymm1, %ymm1
// CHECK-AVX2-NEXT:    vpxor %ymm1, %ymm0, %ymm0
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: cmp_lt_5:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vpmaxuw %xmm1, %xmm0, %xmm1
// CHECK-AVX2-128-NEXT:    vpcmpeqw %xmm1, %xmm0, %xmm0
// CHECK-AVX2-128-NEXT:    vpcmpeqd %xmm1, %xmm1, %xmm1
// CHECK-AVX2-128-NEXT:    vpxor %xmm1, %xmm0, %xmm0
// CHECK-AVX2-128-NEXT:    retq
TestedSimd<uint16> cmp_lt_5(TestedSimd<uint16> a, TestedSimd<uint16> b) {
  return cmp_lt(a, b);
}

// CHECK-SSE42-LABEL: cmp_lt_6:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    pmaxud %xmm0, %xmm1
// CHECK-SSE42-NEXT:    pcmpeqd %xmm1, %xmm0
// CHECK-SSE42-NEXT:    pcmpeqd %xmm1, %xmm1
// CHECK-SSE42-NEXT:    pxor %xmm1, %xmm0
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: cmp_lt_6:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vpmaxud %ymm1, %ymm0, %ymm1
// CHECK-AVX2-NEXT:    vpcmpeqd %ymm1, %ymm0, %ymm0
// CHECK-AVX2-NEXT:    vpcmpeqd %ymm1, %ymm1, %ymm1
// CHECK-AVX2-NEXT:    vpxor %ymm1, %ymm0, %ymm0
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: cmp_lt_6:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vpmaxud %xmm1, %xmm0, %xmm1
// CHECK-AVX2-128-NEXT:    vpcmpeqd %xmm1, %xmm0, %xmm0
// CHECK-AVX2-128-NEXT:    vpcmpeqd %xmm1, %xmm1, %xmm1
// CHECK-AVX2-128-NEXT:    vpxor %xmm1, %xmm0, %xmm0
// CHECK-AVX2-128-NEXT:    retq
TestedSimd<uint32> cmp_lt_6(TestedSimd<uint32> a, TestedSimd<uint32> b) {
  return cmp_lt(a, b);
}

// CHECK-SSE42-LABEL: cmp_lt_7:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    movdqa {{.*#+}} xmm2 = [9223372036854775808,9223372036854775808]
// CHECK-SSE42-NEXT:    pxor %xmm2, %xmm0
// CHECK-SSE42-NEXT:    pxor %xmm1, %xmm2
// CHECK-SSE42-NEXT:    pcmpgtq %xmm0, %xmm2
// CHECK-SSE42-NEXT:    movdqa %xmm2, %xmm0
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: cmp_lt_7:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vpbroadcastq {{.*#+}} ymm2 = [9223372036854775808,9223372036854775808,9223372036854775808,9223372036854775808]
// CHECK-AVX2-NEXT:    vpxor %ymm2, %ymm0, %ymm0
// CHECK-AVX2-NEXT:    vpxor %ymm2, %ymm1, %ymm1
// CHECK-AVX2-NEXT:    vpcmpgtq %ymm0, %ymm1, %ymm0
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: cmp_lt_7:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vmovdqa {{.*#+}} xmm2 = [9223372036854775808,9223372036854775808]
// CHECK-AVX2-128-NEXT:    vpxor %xmm2, %xmm0, %xmm0
// CHECK-AVX2-128-NEXT:    vpxor %xmm2, %xmm1, %xmm1
// CHECK-AVX2-128-NEXT:    vpcmpgtq %xmm0, %xmm1, %xmm0
// CHECK-AVX2-128-NEXT:    retq
TestedSimd<uint64> cmp_lt_7(TestedSimd<uint64> a, TestedSimd<uint64> b) {
  return cmp_lt(a, b);
}

// CHECK-SSE42-LABEL: cmp_lt_8:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    cmpltps %xmm1, %xmm0
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: cmp_lt_8:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vcmpltps %ymm1, %ymm0, %ymm0
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: cmp_lt_8:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vcmpltps %xmm1, %xmm0, %xmm0
// CHECK-AVX2-128-NEXT:    retq
TestedSimd<uint32> cmp_lt_8(TestedSimd<float> a, TestedSimd<float> b) {
  return cmp_lt(a, b);
}

// CHECK-SSE42-LABEL: cmp_lt_9:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    cmpltpd %xmm1, %xmm0
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: cmp_lt_9:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vcmpltpd %ymm1, %ymm0, %ymm0
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: cmp_lt_9:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vcmpltpd %xmm1, %xmm0, %xmm0
// CHECK-AVX2-128-NEXT:    retq
TestedSimd<uint64> cmp_lt_9(TestedSimd<double> a, TestedSimd<double> b) {
  return cmp_lt(a, b);
}

// CHECK-SSE42-LABEL: cmp_le_0:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    pcmpgtb %xmm1, %xmm0
// CHECK-SSE42-NEXT:    pcmpeqd %xmm1, %xmm1
// CHECK-SSE42-NEXT:    pxor %xmm1, %xmm0
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: cmp_le_0:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vpcmpgtb %ymm1, %ymm0, %ymm0
// CHECK-AVX2-NEXT:    vpcmpeqd %ymm1, %ymm1, %ymm1
// CHECK-AVX2-NEXT:    vpxor %ymm1, %ymm0, %ymm0
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: cmp_le_0:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vpcmpgtb %xmm1, %xmm0, %xmm0
// CHECK-AVX2-128-NEXT:    vpcmpeqd %xmm1, %xmm1, %xmm1
// CHECK-AVX2-128-NEXT:    vpxor %xmm1, %xmm0, %xmm0
// CHECK-AVX2-128-NEXT:    retq
TestedSimd<uint8> cmp_le_0(TestedSimd<int8> a, TestedSimd<int8> b) {
  return cmp_le(a, b);
}

// CHECK-SSE42-LABEL: cmp_le_1:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    pcmpgtw %xmm1, %xmm0
// CHECK-SSE42-NEXT:    pcmpeqd %xmm1, %xmm1
// CHECK-SSE42-NEXT:    pxor %xmm1, %xmm0
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: cmp_le_1:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vpcmpgtw %ymm1, %ymm0, %ymm0
// CHECK-AVX2-NEXT:    vpcmpeqd %ymm1, %ymm1, %ymm1
// CHECK-AVX2-NEXT:    vpxor %ymm1, %ymm0, %ymm0
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: cmp_le_1:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vpcmpgtw %xmm1, %xmm0, %xmm0
// CHECK-AVX2-128-NEXT:    vpcmpeqd %xmm1, %xmm1, %xmm1
// CHECK-AVX2-128-NEXT:    vpxor %xmm1, %xmm0, %xmm0
// CHECK-AVX2-128-NEXT:    retq
TestedSimd<uint16> cmp_le_1(TestedSimd<int16> a, TestedSimd<int16> b) {
  return cmp_le(a, b);
}

// CHECK-SSE42-LABEL: cmp_le_2:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    pcmpgtd %xmm1, %xmm0
// CHECK-SSE42-NEXT:    pcmpeqd %xmm1, %xmm1
// CHECK-SSE42-NEXT:    pxor %xmm1, %xmm0
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: cmp_le_2:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vpcmpgtd %ymm1, %ymm0, %ymm0
// CHECK-AVX2-NEXT:    vpcmpeqd %ymm1, %ymm1, %ymm1
// CHECK-AVX2-NEXT:    vpxor %ymm1, %ymm0, %ymm0
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: cmp_le_2:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vpcmpgtd %xmm1, %xmm0, %xmm0
// CHECK-AVX2-128-NEXT:    vpcmpeqd %xmm1, %xmm1, %xmm1
// CHECK-AVX2-128-NEXT:    vpxor %xmm1, %xmm0, %xmm0
// CHECK-AVX2-128-NEXT:    retq
TestedSimd<uint32> cmp_le_2(TestedSimd<int32> a, TestedSimd<int32> b) {
  return cmp_le(a, b);
}

// CHECK-SSE42-LABEL: cmp_le_3:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    pcmpgtq %xmm1, %xmm0
// CHECK-SSE42-NEXT:    pcmpeqd %xmm1, %xmm1
// CHECK-SSE42-NEXT:    pxor %xmm1, %xmm0
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: cmp_le_3:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vpcmpgtq %ymm1, %ymm0, %ymm0
// CHECK-AVX2-NEXT:    vpcmpeqd %ymm1, %ymm1, %ymm1
// CHECK-AVX2-NEXT:    vpxor %ymm1, %ymm0, %ymm0
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: cmp_le_3:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vpcmpgtq %xmm1, %xmm0, %xmm0
// CHECK-AVX2-128-NEXT:    vpcmpeqd %xmm1, %xmm1, %xmm1
// CHECK-AVX2-128-NEXT:    vpxor %xmm1, %xmm0, %xmm0
// CHECK-AVX2-128-NEXT:    retq
TestedSimd<uint64> cmp_le_3(TestedSimd<int64> a, TestedSimd<int64> b) {
  return cmp_le(a, b);
}

// CHECK-SSE42-LABEL: cmp_le_4:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    pminub %xmm0, %xmm1
// CHECK-SSE42-NEXT:    pcmpeqb %xmm1, %xmm0
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: cmp_le_4:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vpminub %ymm1, %ymm0, %ymm1
// CHECK-AVX2-NEXT:    vpcmpeqb %ymm1, %ymm0, %ymm0
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: cmp_le_4:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vpminub %xmm1, %xmm0, %xmm1
// CHECK-AVX2-128-NEXT:    vpcmpeqb %xmm1, %xmm0, %xmm0
// CHECK-AVX2-128-NEXT:    retq
TestedSimd<uint8> cmp_le_4(TestedSimd<uint8> a, TestedSimd<uint8> b) {
  return cmp_le(a, b);
}

// CHECK-SSE42-LABEL: cmp_le_5:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    pminuw %xmm0, %xmm1
// CHECK-SSE42-NEXT:    pcmpeqw %xmm1, %xmm0
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: cmp_le_5:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vpminuw %ymm1, %ymm0, %ymm1
// CHECK-AVX2-NEXT:    vpcmpeqw %ymm1, %ymm0, %ymm0
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: cmp_le_5:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vpminuw %xmm1, %xmm0, %xmm1
// CHECK-AVX2-128-NEXT:    vpcmpeqw %xmm1, %xmm0, %xmm0
// CHECK-AVX2-128-NEXT:    retq
TestedSimd<uint16> cmp_le_5(TestedSimd<uint16> a, TestedSimd<uint16> b) {
  return cmp_le(a, b);
}

// CHECK-SSE42-LABEL: cmp_le_6:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    pminud %xmm0, %xmm1
// CHECK-SSE42-NEXT:    pcmpeqd %xmm1, %xmm0
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: cmp_le_6:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vpminud %ymm1, %ymm0, %ymm1
// CHECK-AVX2-NEXT:    vpcmpeqd %ymm1, %ymm0, %ymm0
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: cmp_le_6:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vpminud %xmm1, %xmm0, %xmm1
// CHECK-AVX2-128-NEXT:    vpcmpeqd %xmm1, %xmm0, %xmm0
// CHECK-AVX2-128-NEXT:    retq
TestedSimd<uint32> cmp_le_6(TestedSimd<uint32> a, TestedSimd<uint32> b) {
  return cmp_le(a, b);
}

// CHECK-SSE42-LABEL: cmp_le_7:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    movdqa {{.*#+}} xmm2 = [9223372036854775808,9223372036854775808]
// CHECK-SSE42-NEXT:    pxor %xmm2, %xmm1
// CHECK-SSE42-NEXT:    pxor %xmm2, %xmm0
// CHECK-SSE42-NEXT:    pcmpgtq %xmm1, %xmm0
// CHECK-SSE42-NEXT:    pcmpeqd %xmm1, %xmm1
// CHECK-SSE42-NEXT:    pxor %xmm1, %xmm0
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: cmp_le_7:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vpbroadcastq {{.*#+}} ymm2 = [9223372036854775808,9223372036854775808,9223372036854775808,9223372036854775808]
// CHECK-AVX2-NEXT:    vpxor %ymm2, %ymm1, %ymm1
// CHECK-AVX2-NEXT:    vpxor %ymm2, %ymm0, %ymm0
// CHECK-AVX2-NEXT:    vpcmpgtq %ymm1, %ymm0, %ymm0
// CHECK-AVX2-NEXT:    vpcmpeqd %ymm1, %ymm1, %ymm1
// CHECK-AVX2-NEXT:    vpxor %ymm1, %ymm0, %ymm0
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: cmp_le_7:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vmovdqa {{.*#+}} xmm2 = [9223372036854775808,9223372036854775808]
// CHECK-AVX2-128-NEXT:    vpxor %xmm2, %xmm1, %xmm1
// CHECK-AVX2-128-NEXT:    vpxor %xmm2, %xmm0, %xmm0
// CHECK-AVX2-128-NEXT:    vpcmpgtq %xmm1, %xmm0, %xmm0
// CHECK-AVX2-128-NEXT:    vpcmpeqd %xmm1, %xmm1, %xmm1
// CHECK-AVX2-128-NEXT:    vpxor %xmm1, %xmm0, %xmm0
// CHECK-AVX2-128-NEXT:    retq
TestedSimd<uint64> cmp_le_7(TestedSimd<uint64> a, TestedSimd<uint64> b) {
  return cmp_le(a, b);
}

// CHECK-SSE42-LABEL: cmp_le_8:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    cmpleps %xmm1, %xmm0
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: cmp_le_8:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vcmpleps %ymm1, %ymm0, %ymm0
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: cmp_le_8:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vcmpleps %xmm1, %xmm0, %xmm0
// CHECK-AVX2-128-NEXT:    retq
TestedSimd<uint32> cmp_le_8(TestedSimd<float> a, TestedSimd<float> b) {
  return cmp_le(a, b);
}

// CHECK-SSE42-LABEL: cmp_le_9:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    cmplepd %xmm1, %xmm0
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: cmp_le_9:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vcmplepd %ymm1, %ymm0, %ymm0
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: cmp_le_9:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vcmplepd %xmm1, %xmm0, %xmm0
// CHECK-AVX2-128-NEXT:    retq
TestedSimd<uint64> cmp_le_9(TestedSimd<double> a, TestedSimd<double> b) {
  return cmp_le(a, b);
}

// CHECK-SSE42-LABEL: cmp_gt_0:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    pcmpgtb %xmm1, %xmm0
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: cmp_gt_0:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vpcmpgtb %ymm1, %ymm0, %ymm0
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: cmp_gt_0:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vpcmpgtb %xmm1, %xmm0, %xmm0
// CHECK-AVX2-128-NEXT:    retq
TestedSimd<uint8> cmp_gt_0(TestedSimd<int8> a, TestedSimd<int8> b) {
  return cmp_gt(a, b);
}

// CHECK-SSE42-LABEL: cmp_gt_1:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    pcmpgtw %xmm1, %xmm0
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: cmp_gt_1:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vpcmpgtw %ymm1, %ymm0, %ymm0
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: cmp_gt_1:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vpcmpgtw %xmm1, %xmm0, %xmm0
// CHECK-AVX2-128-NEXT:    retq
TestedSimd<uint16> cmp_gt_1(TestedSimd<int16> a, TestedSimd<int16> b) {
  return cmp_gt(a, b);
}

// CHECK-SSE42-LABEL: cmp_gt_2:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    pcmpgtd %xmm1, %xmm0
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: cmp_gt_2:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vpcmpgtd %ymm1, %ymm0, %ymm0
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: cmp_gt_2:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vpcmpgtd %xmm1, %xmm0, %xmm0
// CHECK-AVX2-128-NEXT:    retq
TestedSimd<uint32> cmp_gt_2(TestedSimd<int32> a, TestedSimd<int32> b) {
  return cmp_gt(a, b);
}

// CHECK-SSE42-LABEL: cmp_gt_3:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    pcmpgtq %xmm1, %xmm0
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: cmp_gt_3:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vpcmpgtq %ymm1, %ymm0, %ymm0
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: cmp_gt_3:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vpcmpgtq %xmm1, %xmm0, %xmm0
// CHECK-AVX2-128-NEXT:    retq
TestedSimd<uint64> cmp_gt_3(TestedSimd<int64> a, TestedSimd<int64> b) {
  return cmp_gt(a, b);
}

// CHECK-SSE42-LABEL: cmp_gt_4:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    pminub %xmm0, %xmm1
// CHECK-SSE42-NEXT:    pcmpeqb %xmm1, %xmm0
// CHECK-SSE42-NEXT:    pcmpeqd %xmm1, %xmm1
// CHECK-SSE42-NEXT:    pxor %xmm1, %xmm0
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: cmp_gt_4:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vpminub %ymm1, %ymm0, %ymm1
// CHECK-AVX2-NEXT:    vpcmpeqb %ymm1, %ymm0, %ymm0
// CHECK-AVX2-NEXT:    vpcmpeqd %ymm1, %ymm1, %ymm1
// CHECK-AVX2-NEXT:    vpxor %ymm1, %ymm0, %ymm0
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: cmp_gt_4:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vpminub %xmm1, %xmm0, %xmm1
// CHECK-AVX2-128-NEXT:    vpcmpeqb %xmm1, %xmm0, %xmm0
// CHECK-AVX2-128-NEXT:    vpcmpeqd %xmm1, %xmm1, %xmm1
// CHECK-AVX2-128-NEXT:    vpxor %xmm1, %xmm0, %xmm0
// CHECK-AVX2-128-NEXT:    retq
TestedSimd<uint8> cmp_gt_4(TestedSimd<uint8> a, TestedSimd<uint8> b) {
  return cmp_gt(a, b);
}

// CHECK-SSE42-LABEL: cmp_gt_5:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    pminuw %xmm0, %xmm1
// CHECK-SSE42-NEXT:    pcmpeqw %xmm1, %xmm0
// CHECK-SSE42-NEXT:    pcmpeqd %xmm1, %xmm1
// CHECK-SSE42-NEXT:    pxor %xmm1, %xmm0
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: cmp_gt_5:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vpminuw %ymm1, %ymm0, %ymm1
// CHECK-AVX2-NEXT:    vpcmpeqw %ymm1, %ymm0, %ymm0
// CHECK-AVX2-NEXT:    vpcmpeqd %ymm1, %ymm1, %ymm1
// CHECK-AVX2-NEXT:    vpxor %ymm1, %ymm0, %ymm0
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: cmp_gt_5:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vpminuw %xmm1, %xmm0, %xmm1
// CHECK-AVX2-128-NEXT:    vpcmpeqw %xmm1, %xmm0, %xmm0
// CHECK-AVX2-128-NEXT:    vpcmpeqd %xmm1, %xmm1, %xmm1
// CHECK-AVX2-128-NEXT:    vpxor %xmm1, %xmm0, %xmm0
// CHECK-AVX2-128-NEXT:    retq
TestedSimd<uint16> cmp_gt_5(TestedSimd<uint16> a, TestedSimd<uint16> b) {
  return cmp_gt(a, b);
}

// CHECK-SSE42-LABEL: cmp_gt_6:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    pminud %xmm0, %xmm1
// CHECK-SSE42-NEXT:    pcmpeqd %xmm1, %xmm0
// CHECK-SSE42-NEXT:    pcmpeqd %xmm1, %xmm1
// CHECK-SSE42-NEXT:    pxor %xmm1, %xmm0
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: cmp_gt_6:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vpminud %ymm1, %ymm0, %ymm1
// CHECK-AVX2-NEXT:    vpcmpeqd %ymm1, %ymm0, %ymm0
// CHECK-AVX2-NEXT:    vpcmpeqd %ymm1, %ymm1, %ymm1
// CHECK-AVX2-NEXT:    vpxor %ymm1, %ymm0, %ymm0
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: cmp_gt_6:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vpminud %xmm1, %xmm0, %xmm1
// CHECK-AVX2-128-NEXT:    vpcmpeqd %xmm1, %xmm0, %xmm0
// CHECK-AVX2-128-NEXT:    vpcmpeqd %xmm1, %xmm1, %xmm1
// CHECK-AVX2-128-NEXT:    vpxor %xmm1, %xmm0, %xmm0
// CHECK-AVX2-128-NEXT:    retq
TestedSimd<uint32> cmp_gt_6(TestedSimd<uint32> a, TestedSimd<uint32> b) {
  return cmp_gt(a, b);
}

// CHECK-SSE42-LABEL: cmp_gt_7:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    movdqa {{.*#+}} xmm2 = [9223372036854775808,9223372036854775808]
// CHECK-SSE42-NEXT:    pxor %xmm2, %xmm1
// CHECK-SSE42-NEXT:    pxor %xmm2, %xmm0
// CHECK-SSE42-NEXT:    pcmpgtq %xmm1, %xmm0
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: cmp_gt_7:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vpbroadcastq {{.*#+}} ymm2 = [9223372036854775808,9223372036854775808,9223372036854775808,9223372036854775808]
// CHECK-AVX2-NEXT:    vpxor %ymm2, %ymm1, %ymm1
// CHECK-AVX2-NEXT:    vpxor %ymm2, %ymm0, %ymm0
// CHECK-AVX2-NEXT:    vpcmpgtq %ymm1, %ymm0, %ymm0
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: cmp_gt_7:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vmovdqa {{.*#+}} xmm2 = [9223372036854775808,9223372036854775808]
// CHECK-AVX2-128-NEXT:    vpxor %xmm2, %xmm1, %xmm1
// CHECK-AVX2-128-NEXT:    vpxor %xmm2, %xmm0, %xmm0
// CHECK-AVX2-128-NEXT:    vpcmpgtq %xmm1, %xmm0, %xmm0
// CHECK-AVX2-128-NEXT:    retq
TestedSimd<uint64> cmp_gt_7(TestedSimd<uint64> a, TestedSimd<uint64> b) {
  return cmp_gt(a, b);
}

// CHECK-SSE42-LABEL: cmp_gt_8:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    cmpltps %xmm0, %xmm1
// CHECK-SSE42-NEXT:    movaps %xmm1, %xmm0
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: cmp_gt_8:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vcmpltps %ymm0, %ymm1, %ymm0
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: cmp_gt_8:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vcmpltps %xmm0, %xmm1, %xmm0
// CHECK-AVX2-128-NEXT:    retq
TestedSimd<uint32> cmp_gt_8(TestedSimd<float> a, TestedSimd<float> b) {
  return cmp_gt(a, b);
}

// CHECK-SSE42-LABEL: cmp_gt_9:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    cmpltpd %xmm0, %xmm1
// CHECK-SSE42-NEXT:    movapd %xmm1, %xmm0
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: cmp_gt_9:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vcmpltpd %ymm0, %ymm1, %ymm0
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: cmp_gt_9:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vcmpltpd %xmm0, %xmm1, %xmm0
// CHECK-AVX2-128-NEXT:    retq
TestedSimd<uint64> cmp_gt_9(TestedSimd<double> a, TestedSimd<double> b) {
  return cmp_gt(a, b);
}

// CHECK-SSE42-LABEL: cmp_ge_0:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    pcmpgtb %xmm0, %xmm1
// CHECK-SSE42-NEXT:    pcmpeqd %xmm0, %xmm0
// CHECK-SSE42-NEXT:    pxor %xmm1, %xmm0
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: cmp_ge_0:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vpcmpgtb %ymm0, %ymm1, %ymm0
// CHECK-AVX2-NEXT:    vpcmpeqd %ymm1, %ymm1, %ymm1
// CHECK-AVX2-NEXT:    vpxor %ymm1, %ymm0, %ymm0
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: cmp_ge_0:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vpcmpgtb %xmm0, %xmm1, %xmm0
// CHECK-AVX2-128-NEXT:    vpcmpeqd %xmm1, %xmm1, %xmm1
// CHECK-AVX2-128-NEXT:    vpxor %xmm1, %xmm0, %xmm0
// CHECK-AVX2-128-NEXT:    retq
TestedSimd<uint8> cmp_ge_0(TestedSimd<int8> a, TestedSimd<int8> b) {
  return cmp_ge(a, b);
}

// CHECK-SSE42-LABEL: cmp_ge_1:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    pcmpgtw %xmm0, %xmm1
// CHECK-SSE42-NEXT:    pcmpeqd %xmm0, %xmm0
// CHECK-SSE42-NEXT:    pxor %xmm1, %xmm0
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: cmp_ge_1:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vpcmpgtw %ymm0, %ymm1, %ymm0
// CHECK-AVX2-NEXT:    vpcmpeqd %ymm1, %ymm1, %ymm1
// CHECK-AVX2-NEXT:    vpxor %ymm1, %ymm0, %ymm0
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: cmp_ge_1:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vpcmpgtw %xmm0, %xmm1, %xmm0
// CHECK-AVX2-128-NEXT:    vpcmpeqd %xmm1, %xmm1, %xmm1
// CHECK-AVX2-128-NEXT:    vpxor %xmm1, %xmm0, %xmm0
// CHECK-AVX2-128-NEXT:    retq
TestedSimd<uint16> cmp_ge_1(TestedSimd<int16> a, TestedSimd<int16> b) {
  return cmp_ge(a, b);
}

// CHECK-SSE42-LABEL: cmp_ge_2:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    pcmpgtd %xmm0, %xmm1
// CHECK-SSE42-NEXT:    pcmpeqd %xmm0, %xmm0
// CHECK-SSE42-NEXT:    pxor %xmm1, %xmm0
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: cmp_ge_2:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vpcmpgtd %ymm0, %ymm1, %ymm0
// CHECK-AVX2-NEXT:    vpcmpeqd %ymm1, %ymm1, %ymm1
// CHECK-AVX2-NEXT:    vpxor %ymm1, %ymm0, %ymm0
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: cmp_ge_2:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vpcmpgtd %xmm0, %xmm1, %xmm0
// CHECK-AVX2-128-NEXT:    vpcmpeqd %xmm1, %xmm1, %xmm1
// CHECK-AVX2-128-NEXT:    vpxor %xmm1, %xmm0, %xmm0
// CHECK-AVX2-128-NEXT:    retq
TestedSimd<uint32> cmp_ge_2(TestedSimd<int32> a, TestedSimd<int32> b) {
  return cmp_ge(a, b);
}

// CHECK-SSE42-LABEL: cmp_ge_3:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    pcmpgtq %xmm0, %xmm1
// CHECK-SSE42-NEXT:    pcmpeqd %xmm0, %xmm0
// CHECK-SSE42-NEXT:    pxor %xmm1, %xmm0
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: cmp_ge_3:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vpcmpgtq %ymm0, %ymm1, %ymm0
// CHECK-AVX2-NEXT:    vpcmpeqd %ymm1, %ymm1, %ymm1
// CHECK-AVX2-NEXT:    vpxor %ymm1, %ymm0, %ymm0
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: cmp_ge_3:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vpcmpgtq %xmm0, %xmm1, %xmm0
// CHECK-AVX2-128-NEXT:    vpcmpeqd %xmm1, %xmm1, %xmm1
// CHECK-AVX2-128-NEXT:    vpxor %xmm1, %xmm0, %xmm0
// CHECK-AVX2-128-NEXT:    retq
TestedSimd<uint64> cmp_ge_3(TestedSimd<int64> a, TestedSimd<int64> b) {
  return cmp_ge(a, b);
}

// CHECK-SSE42-LABEL: cmp_ge_4:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    pmaxub %xmm0, %xmm1
// CHECK-SSE42-NEXT:    pcmpeqb %xmm1, %xmm0
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: cmp_ge_4:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vpmaxub %ymm1, %ymm0, %ymm1
// CHECK-AVX2-NEXT:    vpcmpeqb %ymm1, %ymm0, %ymm0
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: cmp_ge_4:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vpmaxub %xmm1, %xmm0, %xmm1
// CHECK-AVX2-128-NEXT:    vpcmpeqb %xmm1, %xmm0, %xmm0
// CHECK-AVX2-128-NEXT:    retq
TestedSimd<uint8> cmp_ge_4(TestedSimd<uint8> a, TestedSimd<uint8> b) {
  return cmp_ge(a, b);
}

// CHECK-SSE42-LABEL: cmp_ge_5:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    pmaxuw %xmm0, %xmm1
// CHECK-SSE42-NEXT:    pcmpeqw %xmm1, %xmm0
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: cmp_ge_5:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vpmaxuw %ymm1, %ymm0, %ymm1
// CHECK-AVX2-NEXT:    vpcmpeqw %ymm1, %ymm0, %ymm0
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: cmp_ge_5:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vpmaxuw %xmm1, %xmm0, %xmm1
// CHECK-AVX2-128-NEXT:    vpcmpeqw %xmm1, %xmm0, %xmm0
// CHECK-AVX2-128-NEXT:    retq
TestedSimd<uint16> cmp_ge_5(TestedSimd<uint16> a, TestedSimd<uint16> b) {
  return cmp_ge(a, b);
}

// CHECK-SSE42-LABEL: cmp_ge_6:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    pmaxud %xmm0, %xmm1
// CHECK-SSE42-NEXT:    pcmpeqd %xmm1, %xmm0
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: cmp_ge_6:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vpmaxud %ymm1, %ymm0, %ymm1
// CHECK-AVX2-NEXT:    vpcmpeqd %ymm1, %ymm0, %ymm0
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: cmp_ge_6:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vpmaxud %xmm1, %xmm0, %xmm1
// CHECK-AVX2-128-NEXT:    vpcmpeqd %xmm1, %xmm0, %xmm0
// CHECK-AVX2-128-NEXT:    retq
TestedSimd<uint32> cmp_ge_6(TestedSimd<uint32> a, TestedSimd<uint32> b) {
  return cmp_ge(a, b);
}

// CHECK-SSE42-LABEL: cmp_ge_7:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    movdqa {{.*#+}} xmm2 = [9223372036854775808,9223372036854775808]
// CHECK-SSE42-NEXT:    pxor %xmm2, %xmm0
// CHECK-SSE42-NEXT:    pxor %xmm1, %xmm2
// CHECK-SSE42-NEXT:    pcmpgtq %xmm0, %xmm2
// CHECK-SSE42-NEXT:    pcmpeqd %xmm0, %xmm0
// CHECK-SSE42-NEXT:    pxor %xmm2, %xmm0
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: cmp_ge_7:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vpbroadcastq {{.*#+}} ymm2 = [9223372036854775808,9223372036854775808,9223372036854775808,9223372036854775808]
// CHECK-AVX2-NEXT:    vpxor %ymm2, %ymm0, %ymm0
// CHECK-AVX2-NEXT:    vpxor %ymm2, %ymm1, %ymm1
// CHECK-AVX2-NEXT:    vpcmpgtq %ymm0, %ymm1, %ymm0
// CHECK-AVX2-NEXT:    vpcmpeqd %ymm1, %ymm1, %ymm1
// CHECK-AVX2-NEXT:    vpxor %ymm1, %ymm0, %ymm0
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: cmp_ge_7:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vmovdqa {{.*#+}} xmm2 = [9223372036854775808,9223372036854775808]
// CHECK-AVX2-128-NEXT:    vpxor %xmm2, %xmm0, %xmm0
// CHECK-AVX2-128-NEXT:    vpxor %xmm2, %xmm1, %xmm1
// CHECK-AVX2-128-NEXT:    vpcmpgtq %xmm0, %xmm1, %xmm0
// CHECK-AVX2-128-NEXT:    vpcmpeqd %xmm1, %xmm1, %xmm1
// CHECK-AVX2-128-NEXT:    vpxor %xmm1, %xmm0, %xmm0
// CHECK-AVX2-128-NEXT:    retq
TestedSimd<uint64> cmp_ge_7(TestedSimd<uint64> a, TestedSimd<uint64> b) {
  return cmp_ge(a, b);
}

// CHECK-SSE42-LABEL: cmp_ge_8:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    cmpleps %xmm0, %xmm1
// CHECK-SSE42-NEXT:    movaps %xmm1, %xmm0
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: cmp_ge_8:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vcmpleps %ymm0, %ymm1, %ymm0
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: cmp_ge_8:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vcmpleps %xmm0, %xmm1, %xmm0
// CHECK-AVX2-128-NEXT:    retq
TestedSimd<uint32> cmp_ge_8(TestedSimd<float> a, TestedSimd<float> b) {
  return cmp_ge(a, b);
}

// CHECK-SSE42-LABEL: cmp_ge_9:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    cmplepd %xmm0, %xmm1
// CHECK-SSE42-NEXT:    movapd %xmm1, %xmm0
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: cmp_ge_9:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vcmplepd %ymm0, %ymm1, %ymm0
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: cmp_ge_9:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vcmplepd %xmm0, %xmm1, %xmm0
// CHECK-AVX2-128-NEXT:    retq
TestedSimd<uint64> cmp_ge_9(TestedSimd<double> a, TestedSimd<double> b) {
  return cmp_ge(a, b);
}

// CHECK-SSE42-LABEL: operatorADDEQ_0:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    paddb (%rdi), %xmm0
// CHECK-SSE42-NEXT:    movdqa %xmm0, (%rdi)
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: operatorADDEQ_0:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vpaddb (%rdi), %ymm0, %ymm0
// CHECK-AVX2-NEXT:    vmovdqa %ymm0, (%rdi)
// CHECK-AVX2-NEXT:    vzeroupper
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: operatorADDEQ_0:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vpaddb (%rdi), %xmm0, %xmm0
// CHECK-AVX2-128-NEXT:    vmovdqa %xmm0, (%rdi)
// CHECK-AVX2-128-NEXT:    retq
void operatorADDEQ_0(TestedSimd<int8>& a, TestedSimd<int8> b) {
  a += b;
}

// CHECK-SSE42-LABEL: operatorADDEQ_1:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    paddw (%rdi), %xmm0
// CHECK-SSE42-NEXT:    movdqa %xmm0, (%rdi)
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: operatorADDEQ_1:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vpaddw (%rdi), %ymm0, %ymm0
// CHECK-AVX2-NEXT:    vmovdqa %ymm0, (%rdi)
// CHECK-AVX2-NEXT:    vzeroupper
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: operatorADDEQ_1:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vpaddw (%rdi), %xmm0, %xmm0
// CHECK-AVX2-128-NEXT:    vmovdqa %xmm0, (%rdi)
// CHECK-AVX2-128-NEXT:    retq
void operatorADDEQ_1(TestedSimd<int16>& a, TestedSimd<int16> b) {
  a += b;
}

// CHECK-SSE42-LABEL: operatorADDEQ_2:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    paddd (%rdi), %xmm0
// CHECK-SSE42-NEXT:    movdqa %xmm0, (%rdi)
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: operatorADDEQ_2:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vpaddd (%rdi), %ymm0, %ymm0
// CHECK-AVX2-NEXT:    vmovdqa %ymm0, (%rdi)
// CHECK-AVX2-NEXT:    vzeroupper
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: operatorADDEQ_2:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vpaddd (%rdi), %xmm0, %xmm0
// CHECK-AVX2-128-NEXT:    vmovdqa %xmm0, (%rdi)
// CHECK-AVX2-128-NEXT:    retq
void operatorADDEQ_2(TestedSimd<int32>& a, TestedSimd<int32> b) {
  a += b;
}

// CHECK-SSE42-LABEL: operatorADDEQ_3:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    paddq (%rdi), %xmm0
// CHECK-SSE42-NEXT:    movdqa %xmm0, (%rdi)
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: operatorADDEQ_3:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vpaddq (%rdi), %ymm0, %ymm0
// CHECK-AVX2-NEXT:    vmovdqa %ymm0, (%rdi)
// CHECK-AVX2-NEXT:    vzeroupper
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: operatorADDEQ_3:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vpaddq (%rdi), %xmm0, %xmm0
// CHECK-AVX2-128-NEXT:    vmovdqa %xmm0, (%rdi)
// CHECK-AVX2-128-NEXT:    retq
void operatorADDEQ_3(TestedSimd<int64>& a, TestedSimd<int64> b) {
  a += b;
}

// CHECK-SSE42-LABEL: operatorADDEQ_4:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    paddb (%rdi), %xmm0
// CHECK-SSE42-NEXT:    movdqa %xmm0, (%rdi)
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: operatorADDEQ_4:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vpaddb (%rdi), %ymm0, %ymm0
// CHECK-AVX2-NEXT:    vmovdqa %ymm0, (%rdi)
// CHECK-AVX2-NEXT:    vzeroupper
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: operatorADDEQ_4:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vpaddb (%rdi), %xmm0, %xmm0
// CHECK-AVX2-128-NEXT:    vmovdqa %xmm0, (%rdi)
// CHECK-AVX2-128-NEXT:    retq
void operatorADDEQ_4(TestedSimd<uint8>& a, TestedSimd<uint8> b) {
  a += b;
}

// CHECK-SSE42-LABEL: operatorADDEQ_5:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    paddw (%rdi), %xmm0
// CHECK-SSE42-NEXT:    movdqa %xmm0, (%rdi)
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: operatorADDEQ_5:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vpaddw (%rdi), %ymm0, %ymm0
// CHECK-AVX2-NEXT:    vmovdqa %ymm0, (%rdi)
// CHECK-AVX2-NEXT:    vzeroupper
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: operatorADDEQ_5:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vpaddw (%rdi), %xmm0, %xmm0
// CHECK-AVX2-128-NEXT:    vmovdqa %xmm0, (%rdi)
// CHECK-AVX2-128-NEXT:    retq
void operatorADDEQ_5(TestedSimd<uint16>& a, TestedSimd<uint16> b) {
  a += b;
}

// CHECK-SSE42-LABEL: operatorADDEQ_6:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    paddd (%rdi), %xmm0
// CHECK-SSE42-NEXT:    movdqa %xmm0, (%rdi)
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: operatorADDEQ_6:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vpaddd (%rdi), %ymm0, %ymm0
// CHECK-AVX2-NEXT:    vmovdqa %ymm0, (%rdi)
// CHECK-AVX2-NEXT:    vzeroupper
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: operatorADDEQ_6:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vpaddd (%rdi), %xmm0, %xmm0
// CHECK-AVX2-128-NEXT:    vmovdqa %xmm0, (%rdi)
// CHECK-AVX2-128-NEXT:    retq
void operatorADDEQ_6(TestedSimd<uint32>& a, TestedSimd<uint32> b) {
  a += b;
}

// CHECK-SSE42-LABEL: operatorADDEQ_7:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    paddq (%rdi), %xmm0
// CHECK-SSE42-NEXT:    movdqa %xmm0, (%rdi)
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: operatorADDEQ_7:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vpaddq (%rdi), %ymm0, %ymm0
// CHECK-AVX2-NEXT:    vmovdqa %ymm0, (%rdi)
// CHECK-AVX2-NEXT:    vzeroupper
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: operatorADDEQ_7:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vpaddq (%rdi), %xmm0, %xmm0
// CHECK-AVX2-128-NEXT:    vmovdqa %xmm0, (%rdi)
// CHECK-AVX2-128-NEXT:    retq
void operatorADDEQ_7(TestedSimd<uint64>& a, TestedSimd<uint64> b) {
  a += b;
}

// CHECK-SSE42-LABEL: operatorADDEQ_8:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    addps (%rdi), %xmm0
// CHECK-SSE42-NEXT:    movaps %xmm0, (%rdi)
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: operatorADDEQ_8:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vaddps (%rdi), %ymm0, %ymm0
// CHECK-AVX2-NEXT:    vmovaps %ymm0, (%rdi)
// CHECK-AVX2-NEXT:    vzeroupper
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: operatorADDEQ_8:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vaddps (%rdi), %xmm0, %xmm0
// CHECK-AVX2-128-NEXT:    vmovaps %xmm0, (%rdi)
// CHECK-AVX2-128-NEXT:    retq
void operatorADDEQ_8(TestedSimd<float>& a, TestedSimd<float> b) {
  a += b;
}

// CHECK-SSE42-LABEL: operatorADDEQ_9:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    addpd (%rdi), %xmm0
// CHECK-SSE42-NEXT:    movapd %xmm0, (%rdi)
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: operatorADDEQ_9:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vaddpd (%rdi), %ymm0, %ymm0
// CHECK-AVX2-NEXT:    vmovapd %ymm0, (%rdi)
// CHECK-AVX2-NEXT:    vzeroupper
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: operatorADDEQ_9:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vaddpd (%rdi), %xmm0, %xmm0
// CHECK-AVX2-128-NEXT:    vmovapd %xmm0, (%rdi)
// CHECK-AVX2-128-NEXT:    retq
void operatorADDEQ_9(TestedSimd<double>& a, TestedSimd<double> b) {
  a += b;
}

// CHECK-SSE42-LABEL: operatorSUBEQ_0:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    movdqa (%rdi), %xmm1
// CHECK-SSE42-NEXT:    psubb %xmm0, %xmm1
// CHECK-SSE42-NEXT:    movdqa %xmm1, (%rdi)
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: operatorSUBEQ_0:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vmovdqa (%rdi), %ymm1
// CHECK-AVX2-NEXT:    vpsubb %ymm0, %ymm1, %ymm0
// CHECK-AVX2-NEXT:    vmovdqa %ymm0, (%rdi)
// CHECK-AVX2-NEXT:    vzeroupper
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: operatorSUBEQ_0:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vmovdqa (%rdi), %xmm1
// CHECK-AVX2-128-NEXT:    vpsubb %xmm0, %xmm1, %xmm0
// CHECK-AVX2-128-NEXT:    vmovdqa %xmm0, (%rdi)
// CHECK-AVX2-128-NEXT:    retq
void operatorSUBEQ_0(TestedSimd<int8>& a, TestedSimd<int8> b) {
  a -= b;
}

// CHECK-SSE42-LABEL: operatorSUBEQ_1:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    movdqa (%rdi), %xmm1
// CHECK-SSE42-NEXT:    psubw %xmm0, %xmm1
// CHECK-SSE42-NEXT:    movdqa %xmm1, (%rdi)
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: operatorSUBEQ_1:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vmovdqa (%rdi), %ymm1
// CHECK-AVX2-NEXT:    vpsubw %ymm0, %ymm1, %ymm0
// CHECK-AVX2-NEXT:    vmovdqa %ymm0, (%rdi)
// CHECK-AVX2-NEXT:    vzeroupper
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: operatorSUBEQ_1:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vmovdqa (%rdi), %xmm1
// CHECK-AVX2-128-NEXT:    vpsubw %xmm0, %xmm1, %xmm0
// CHECK-AVX2-128-NEXT:    vmovdqa %xmm0, (%rdi)
// CHECK-AVX2-128-NEXT:    retq
void operatorSUBEQ_1(TestedSimd<int16>& a, TestedSimd<int16> b) {
  a -= b;
}

// CHECK-SSE42-LABEL: operatorSUBEQ_2:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    movdqa (%rdi), %xmm1
// CHECK-SSE42-NEXT:    psubd %xmm0, %xmm1
// CHECK-SSE42-NEXT:    movdqa %xmm1, (%rdi)
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: operatorSUBEQ_2:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vmovdqa (%rdi), %ymm1
// CHECK-AVX2-NEXT:    vpsubd %ymm0, %ymm1, %ymm0
// CHECK-AVX2-NEXT:    vmovdqa %ymm0, (%rdi)
// CHECK-AVX2-NEXT:    vzeroupper
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: operatorSUBEQ_2:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vmovdqa (%rdi), %xmm1
// CHECK-AVX2-128-NEXT:    vpsubd %xmm0, %xmm1, %xmm0
// CHECK-AVX2-128-NEXT:    vmovdqa %xmm0, (%rdi)
// CHECK-AVX2-128-NEXT:    retq
void operatorSUBEQ_2(TestedSimd<int32>& a, TestedSimd<int32> b) {
  a -= b;
}

// CHECK-SSE42-LABEL: operatorSUBEQ_3:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    movdqa (%rdi), %xmm1
// CHECK-SSE42-NEXT:    psubq %xmm0, %xmm1
// CHECK-SSE42-NEXT:    movdqa %xmm1, (%rdi)
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: operatorSUBEQ_3:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vmovdqa (%rdi), %ymm1
// CHECK-AVX2-NEXT:    vpsubq %ymm0, %ymm1, %ymm0
// CHECK-AVX2-NEXT:    vmovdqa %ymm0, (%rdi)
// CHECK-AVX2-NEXT:    vzeroupper
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: operatorSUBEQ_3:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vmovdqa (%rdi), %xmm1
// CHECK-AVX2-128-NEXT:    vpsubq %xmm0, %xmm1, %xmm0
// CHECK-AVX2-128-NEXT:    vmovdqa %xmm0, (%rdi)
// CHECK-AVX2-128-NEXT:    retq
void operatorSUBEQ_3(TestedSimd<int64>& a, TestedSimd<int64> b) {
  a -= b;
}

// CHECK-SSE42-LABEL: operatorSUBEQ_4:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    movdqa (%rdi), %xmm1
// CHECK-SSE42-NEXT:    psubb %xmm0, %xmm1
// CHECK-SSE42-NEXT:    movdqa %xmm1, (%rdi)
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: operatorSUBEQ_4:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vmovdqa (%rdi), %ymm1
// CHECK-AVX2-NEXT:    vpsubb %ymm0, %ymm1, %ymm0
// CHECK-AVX2-NEXT:    vmovdqa %ymm0, (%rdi)
// CHECK-AVX2-NEXT:    vzeroupper
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: operatorSUBEQ_4:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vmovdqa (%rdi), %xmm1
// CHECK-AVX2-128-NEXT:    vpsubb %xmm0, %xmm1, %xmm0
// CHECK-AVX2-128-NEXT:    vmovdqa %xmm0, (%rdi)
// CHECK-AVX2-128-NEXT:    retq
void operatorSUBEQ_4(TestedSimd<uint8>& a, TestedSimd<uint8> b) {
  a -= b;
}

// CHECK-SSE42-LABEL: operatorSUBEQ_5:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    movdqa (%rdi), %xmm1
// CHECK-SSE42-NEXT:    psubw %xmm0, %xmm1
// CHECK-SSE42-NEXT:    movdqa %xmm1, (%rdi)
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: operatorSUBEQ_5:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vmovdqa (%rdi), %ymm1
// CHECK-AVX2-NEXT:    vpsubw %ymm0, %ymm1, %ymm0
// CHECK-AVX2-NEXT:    vmovdqa %ymm0, (%rdi)
// CHECK-AVX2-NEXT:    vzeroupper
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: operatorSUBEQ_5:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vmovdqa (%rdi), %xmm1
// CHECK-AVX2-128-NEXT:    vpsubw %xmm0, %xmm1, %xmm0
// CHECK-AVX2-128-NEXT:    vmovdqa %xmm0, (%rdi)
// CHECK-AVX2-128-NEXT:    retq
void operatorSUBEQ_5(TestedSimd<uint16>& a, TestedSimd<uint16> b) {
  a -= b;
}

// CHECK-SSE42-LABEL: operatorSUBEQ_6:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    movdqa (%rdi), %xmm1
// CHECK-SSE42-NEXT:    psubd %xmm0, %xmm1
// CHECK-SSE42-NEXT:    movdqa %xmm1, (%rdi)
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: operatorSUBEQ_6:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vmovdqa (%rdi), %ymm1
// CHECK-AVX2-NEXT:    vpsubd %ymm0, %ymm1, %ymm0
// CHECK-AVX2-NEXT:    vmovdqa %ymm0, (%rdi)
// CHECK-AVX2-NEXT:    vzeroupper
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: operatorSUBEQ_6:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vmovdqa (%rdi), %xmm1
// CHECK-AVX2-128-NEXT:    vpsubd %xmm0, %xmm1, %xmm0
// CHECK-AVX2-128-NEXT:    vmovdqa %xmm0, (%rdi)
// CHECK-AVX2-128-NEXT:    retq
void operatorSUBEQ_6(TestedSimd<uint32>& a, TestedSimd<uint32> b) {
  a -= b;
}

// CHECK-SSE42-LABEL: operatorSUBEQ_7:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    movdqa (%rdi), %xmm1
// CHECK-SSE42-NEXT:    psubq %xmm0, %xmm1
// CHECK-SSE42-NEXT:    movdqa %xmm1, (%rdi)
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: operatorSUBEQ_7:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vmovdqa (%rdi), %ymm1
// CHECK-AVX2-NEXT:    vpsubq %ymm0, %ymm1, %ymm0
// CHECK-AVX2-NEXT:    vmovdqa %ymm0, (%rdi)
// CHECK-AVX2-NEXT:    vzeroupper
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: operatorSUBEQ_7:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vmovdqa (%rdi), %xmm1
// CHECK-AVX2-128-NEXT:    vpsubq %xmm0, %xmm1, %xmm0
// CHECK-AVX2-128-NEXT:    vmovdqa %xmm0, (%rdi)
// CHECK-AVX2-128-NEXT:    retq
void operatorSUBEQ_7(TestedSimd<uint64>& a, TestedSimd<uint64> b) {
  a -= b;
}

// CHECK-SSE42-LABEL: operatorSUBEQ_8:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    movaps (%rdi), %xmm1
// CHECK-SSE42-NEXT:    subps %xmm0, %xmm1
// CHECK-SSE42-NEXT:    movaps %xmm1, (%rdi)
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: operatorSUBEQ_8:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vmovaps (%rdi), %ymm1
// CHECK-AVX2-NEXT:    vsubps %ymm0, %ymm1, %ymm0
// CHECK-AVX2-NEXT:    vmovaps %ymm0, (%rdi)
// CHECK-AVX2-NEXT:    vzeroupper
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: operatorSUBEQ_8:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vmovaps (%rdi), %xmm1
// CHECK-AVX2-128-NEXT:    vsubps %xmm0, %xmm1, %xmm0
// CHECK-AVX2-128-NEXT:    vmovaps %xmm0, (%rdi)
// CHECK-AVX2-128-NEXT:    retq
void operatorSUBEQ_8(TestedSimd<float>& a, TestedSimd<float> b) {
  a -= b;
}

// CHECK-SSE42-LABEL: operatorSUBEQ_9:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    movapd (%rdi), %xmm1
// CHECK-SSE42-NEXT:    subpd %xmm0, %xmm1
// CHECK-SSE42-NEXT:    movapd %xmm1, (%rdi)
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: operatorSUBEQ_9:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vmovapd (%rdi), %ymm1
// CHECK-AVX2-NEXT:    vsubpd %ymm0, %ymm1, %ymm0
// CHECK-AVX2-NEXT:    vmovapd %ymm0, (%rdi)
// CHECK-AVX2-NEXT:    vzeroupper
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: operatorSUBEQ_9:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vmovapd (%rdi), %xmm1
// CHECK-AVX2-128-NEXT:    vsubpd %xmm0, %xmm1, %xmm0
// CHECK-AVX2-128-NEXT:    vmovapd %xmm0, (%rdi)
// CHECK-AVX2-128-NEXT:    retq
void operatorSUBEQ_9(TestedSimd<double>& a, TestedSimd<double> b) {
  a -= b;
}

// CHECK-SSE42-LABEL: operatorMULEQ_0:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    movdqa (%rdi), %xmm1
// CHECK-SSE42-NEXT:    pmovzxbw {{.*#+}} xmm2 = xmm0[0],zero,xmm0[1],zero,xmm0[2],zero,xmm0[3],zero,xmm0[4],zero,xmm0[5],zero,xmm0[6],zero,xmm0[7],zero
// CHECK-SSE42-NEXT:    punpckhbw {{.*#+}} xmm0 = xmm0[8,8,9,9,10,10,11,11,12,12,13,13,14,14,15,15]
// CHECK-SSE42-NEXT:    pmovzxbw {{.*#+}} xmm3 = xmm1[0],zero,xmm1[1],zero,xmm1[2],zero,xmm1[3],zero,xmm1[4],zero,xmm1[5],zero,xmm1[6],zero,xmm1[7],zero
// CHECK-SSE42-NEXT:    punpckhbw {{.*#+}} xmm1 = xmm1[8,8,9,9,10,10,11,11,12,12,13,13,14,14,15,15]
// CHECK-SSE42-NEXT:    pmullw %xmm0, %xmm1
// CHECK-SSE42-NEXT:    movdqa {{.*#+}} xmm0 = [255,255,255,255,255,255,255,255]
// CHECK-SSE42-NEXT:    pand %xmm0, %xmm1
// CHECK-SSE42-NEXT:    pmullw %xmm2, %xmm3
// CHECK-SSE42-NEXT:    pand %xmm0, %xmm3
// CHECK-SSE42-NEXT:    packuswb %xmm1, %xmm3
// CHECK-SSE42-NEXT:    movdqa %xmm3, (%rdi)
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: operatorMULEQ_0:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vmovdqa (%rdi), %ymm1
// CHECK-AVX2-NEXT:    vextracti128 $1, %ymm0, %xmm2
// CHECK-AVX2-NEXT:    vpmovsxbw %xmm2, %ymm2
// CHECK-AVX2-NEXT:    vextracti128 $1, %ymm1, %xmm3
// CHECK-AVX2-NEXT:    vpmovsxbw %xmm3, %ymm3
// CHECK-AVX2-NEXT:    vpmullw %ymm2, %ymm3, %ymm2
// CHECK-AVX2-NEXT:    vextracti128 $1, %ymm2, %xmm3
// CHECK-AVX2-NEXT:    vmovdqa {{.*#+}} xmm4 = <0,2,4,6,8,10,12,14,u,u,u,u,u,u,u,u>
// CHECK-AVX2-NEXT:    vpshufb %xmm4, %xmm3, %xmm3
// CHECK-AVX2-NEXT:    vpshufb %xmm4, %xmm2, %xmm2
// CHECK-AVX2-NEXT:    vpunpcklqdq {{.*#+}} xmm2 = xmm2[0],xmm3[0]
// CHECK-AVX2-NEXT:    vpmovsxbw %xmm0, %ymm0
// CHECK-AVX2-NEXT:    vpmovsxbw %xmm1, %ymm1
// CHECK-AVX2-NEXT:    vpmullw %ymm0, %ymm1, %ymm0
// CHECK-AVX2-NEXT:    vextracti128 $1, %ymm0, %xmm1
// CHECK-AVX2-NEXT:    vpshufb %xmm4, %xmm1, %xmm1
// CHECK-AVX2-NEXT:    vpshufb %xmm4, %xmm0, %xmm0
// CHECK-AVX2-NEXT:    vpunpcklqdq {{.*#+}} xmm0 = xmm0[0],xmm1[0]
// CHECK-AVX2-NEXT:    vinserti128 $1, %xmm2, %ymm0, %ymm0
// CHECK-AVX2-NEXT:    vmovdqa %ymm0, (%rdi)
// CHECK-AVX2-NEXT:    vzeroupper
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: operatorMULEQ_0:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vpmovsxbw %xmm0, %ymm0
// CHECK-AVX2-128-NEXT:    vpmovsxbw (%rdi), %ymm1
// CHECK-AVX2-128-NEXT:    vpmullw %ymm0, %ymm1, %ymm0
// CHECK-AVX2-128-NEXT:    vextracti128 $1, %ymm0, %xmm1
// CHECK-AVX2-128-NEXT:    vmovdqa {{.*#+}} xmm2 = <0,2,4,6,8,10,12,14,u,u,u,u,u,u,u,u>
// CHECK-AVX2-128-NEXT:    vpshufb %xmm2, %xmm1, %xmm1
// CHECK-AVX2-128-NEXT:    vpshufb %xmm2, %xmm0, %xmm0
// CHECK-AVX2-128-NEXT:    vpunpcklqdq {{.*#+}} xmm0 = xmm0[0],xmm1[0]
// CHECK-AVX2-128-NEXT:    vmovdqa %xmm0, (%rdi)
// CHECK-AVX2-128-NEXT:    vzeroupper
// CHECK-AVX2-128-NEXT:    retq
void operatorMULEQ_0(TestedSimd<int8>& a, TestedSimd<int8> b) {
  a *= b;
}

// CHECK-SSE42-LABEL: operatorMULEQ_1:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    pmullw (%rdi), %xmm0
// CHECK-SSE42-NEXT:    movdqa %xmm0, (%rdi)
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: operatorMULEQ_1:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vpmullw (%rdi), %ymm0, %ymm0
// CHECK-AVX2-NEXT:    vmovdqa %ymm0, (%rdi)
// CHECK-AVX2-NEXT:    vzeroupper
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: operatorMULEQ_1:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vpmullw (%rdi), %xmm0, %xmm0
// CHECK-AVX2-128-NEXT:    vmovdqa %xmm0, (%rdi)
// CHECK-AVX2-128-NEXT:    retq
void operatorMULEQ_1(TestedSimd<int16>& a, TestedSimd<int16> b) {
  a *= b;
}

// CHECK-SSE42-LABEL: operatorMULEQ_2:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    pmulld (%rdi), %xmm0
// CHECK-SSE42-NEXT:    movdqa %xmm0, (%rdi)
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: operatorMULEQ_2:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vpmulld (%rdi), %ymm0, %ymm0
// CHECK-AVX2-NEXT:    vmovdqa %ymm0, (%rdi)
// CHECK-AVX2-NEXT:    vzeroupper
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: operatorMULEQ_2:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vpmulld (%rdi), %xmm0, %xmm0
// CHECK-AVX2-128-NEXT:    vmovdqa %xmm0, (%rdi)
// CHECK-AVX2-128-NEXT:    retq
void operatorMULEQ_2(TestedSimd<int32>& a, TestedSimd<int32> b) {
  a *= b;
}

// CHECK-SSE42-LABEL: operatorMULEQ_3:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    movdqa (%rdi), %xmm1
// CHECK-SSE42-NEXT:    movdqa %xmm0, %xmm2
// CHECK-SSE42-NEXT:    psrlq $32, %xmm2
// CHECK-SSE42-NEXT:    pmuludq %xmm1, %xmm2
// CHECK-SSE42-NEXT:    movdqa %xmm1, %xmm3
// CHECK-SSE42-NEXT:    psrlq $32, %xmm3
// CHECK-SSE42-NEXT:    pmuludq %xmm0, %xmm3
// CHECK-SSE42-NEXT:    paddq %xmm2, %xmm3
// CHECK-SSE42-NEXT:    psllq $32, %xmm3
// CHECK-SSE42-NEXT:    pmuludq %xmm0, %xmm1
// CHECK-SSE42-NEXT:    paddq %xmm3, %xmm1
// CHECK-SSE42-NEXT:    movdqa %xmm1, (%rdi)
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: operatorMULEQ_3:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vmovdqa (%rdi), %ymm1
// CHECK-AVX2-NEXT:    vpsrlq $32, %ymm0, %ymm2
// CHECK-AVX2-NEXT:    vpmuludq %ymm2, %ymm1, %ymm2
// CHECK-AVX2-NEXT:    vpsrlq $32, %ymm1, %ymm3
// CHECK-AVX2-NEXT:    vpmuludq %ymm0, %ymm3, %ymm3
// CHECK-AVX2-NEXT:    vpaddq %ymm3, %ymm2, %ymm2
// CHECK-AVX2-NEXT:    vpsllq $32, %ymm2, %ymm2
// CHECK-AVX2-NEXT:    vpmuludq %ymm0, %ymm1, %ymm0
// CHECK-AVX2-NEXT:    vpaddq %ymm2, %ymm0, %ymm0
// CHECK-AVX2-NEXT:    vmovdqa %ymm0, (%rdi)
// CHECK-AVX2-NEXT:    vzeroupper
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: operatorMULEQ_3:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vmovdqa (%rdi), %xmm1
// CHECK-AVX2-128-NEXT:    vpsrlq $32, %xmm0, %xmm2
// CHECK-AVX2-128-NEXT:    vpmuludq %xmm2, %xmm1, %xmm2
// CHECK-AVX2-128-NEXT:    vpsrlq $32, %xmm1, %xmm3
// CHECK-AVX2-128-NEXT:    vpmuludq %xmm0, %xmm3, %xmm3
// CHECK-AVX2-128-NEXT:    vpaddq %xmm3, %xmm2, %xmm2
// CHECK-AVX2-128-NEXT:    vpsllq $32, %xmm2, %xmm2
// CHECK-AVX2-128-NEXT:    vpmuludq %xmm0, %xmm1, %xmm0
// CHECK-AVX2-128-NEXT:    vpaddq %xmm2, %xmm0, %xmm0
// CHECK-AVX2-128-NEXT:    vmovdqa %xmm0, (%rdi)
// CHECK-AVX2-128-NEXT:    retq
void operatorMULEQ_3(TestedSimd<int64>& a, TestedSimd<int64> b) {
  a *= b;
}

// CHECK-SSE42-LABEL: operatorMULEQ_4:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    movdqa (%rdi), %xmm1
// CHECK-SSE42-NEXT:    pmovzxbw {{.*#+}} xmm2 = xmm0[0],zero,xmm0[1],zero,xmm0[2],zero,xmm0[3],zero,xmm0[4],zero,xmm0[5],zero,xmm0[6],zero,xmm0[7],zero
// CHECK-SSE42-NEXT:    punpckhbw {{.*#+}} xmm0 = xmm0[8,8,9,9,10,10,11,11,12,12,13,13,14,14,15,15]
// CHECK-SSE42-NEXT:    pmovzxbw {{.*#+}} xmm3 = xmm1[0],zero,xmm1[1],zero,xmm1[2],zero,xmm1[3],zero,xmm1[4],zero,xmm1[5],zero,xmm1[6],zero,xmm1[7],zero
// CHECK-SSE42-NEXT:    punpckhbw {{.*#+}} xmm1 = xmm1[8,8,9,9,10,10,11,11,12,12,13,13,14,14,15,15]
// CHECK-SSE42-NEXT:    pmullw %xmm0, %xmm1
// CHECK-SSE42-NEXT:    movdqa {{.*#+}} xmm0 = [255,255,255,255,255,255,255,255]
// CHECK-SSE42-NEXT:    pand %xmm0, %xmm1
// CHECK-SSE42-NEXT:    pmullw %xmm2, %xmm3
// CHECK-SSE42-NEXT:    pand %xmm0, %xmm3
// CHECK-SSE42-NEXT:    packuswb %xmm1, %xmm3
// CHECK-SSE42-NEXT:    movdqa %xmm3, (%rdi)
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: operatorMULEQ_4:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vmovdqa (%rdi), %ymm1
// CHECK-AVX2-NEXT:    vextracti128 $1, %ymm0, %xmm2
// CHECK-AVX2-NEXT:    vpmovsxbw %xmm2, %ymm2
// CHECK-AVX2-NEXT:    vextracti128 $1, %ymm1, %xmm3
// CHECK-AVX2-NEXT:    vpmovsxbw %xmm3, %ymm3
// CHECK-AVX2-NEXT:    vpmullw %ymm2, %ymm3, %ymm2
// CHECK-AVX2-NEXT:    vextracti128 $1, %ymm2, %xmm3
// CHECK-AVX2-NEXT:    vmovdqa {{.*#+}} xmm4 = <0,2,4,6,8,10,12,14,u,u,u,u,u,u,u,u>
// CHECK-AVX2-NEXT:    vpshufb %xmm4, %xmm3, %xmm3
// CHECK-AVX2-NEXT:    vpshufb %xmm4, %xmm2, %xmm2
// CHECK-AVX2-NEXT:    vpunpcklqdq {{.*#+}} xmm2 = xmm2[0],xmm3[0]
// CHECK-AVX2-NEXT:    vpmovsxbw %xmm0, %ymm0
// CHECK-AVX2-NEXT:    vpmovsxbw %xmm1, %ymm1
// CHECK-AVX2-NEXT:    vpmullw %ymm0, %ymm1, %ymm0
// CHECK-AVX2-NEXT:    vextracti128 $1, %ymm0, %xmm1
// CHECK-AVX2-NEXT:    vpshufb %xmm4, %xmm1, %xmm1
// CHECK-AVX2-NEXT:    vpshufb %xmm4, %xmm0, %xmm0
// CHECK-AVX2-NEXT:    vpunpcklqdq {{.*#+}} xmm0 = xmm0[0],xmm1[0]
// CHECK-AVX2-NEXT:    vinserti128 $1, %xmm2, %ymm0, %ymm0
// CHECK-AVX2-NEXT:    vmovdqa %ymm0, (%rdi)
// CHECK-AVX2-NEXT:    vzeroupper
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: operatorMULEQ_4:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vpmovsxbw %xmm0, %ymm0
// CHECK-AVX2-128-NEXT:    vpmovsxbw (%rdi), %ymm1
// CHECK-AVX2-128-NEXT:    vpmullw %ymm0, %ymm1, %ymm0
// CHECK-AVX2-128-NEXT:    vextracti128 $1, %ymm0, %xmm1
// CHECK-AVX2-128-NEXT:    vmovdqa {{.*#+}} xmm2 = <0,2,4,6,8,10,12,14,u,u,u,u,u,u,u,u>
// CHECK-AVX2-128-NEXT:    vpshufb %xmm2, %xmm1, %xmm1
// CHECK-AVX2-128-NEXT:    vpshufb %xmm2, %xmm0, %xmm0
// CHECK-AVX2-128-NEXT:    vpunpcklqdq {{.*#+}} xmm0 = xmm0[0],xmm1[0]
// CHECK-AVX2-128-NEXT:    vmovdqa %xmm0, (%rdi)
// CHECK-AVX2-128-NEXT:    vzeroupper
// CHECK-AVX2-128-NEXT:    retq
void operatorMULEQ_4(TestedSimd<uint8>& a, TestedSimd<uint8> b) {
  a *= b;
}

// CHECK-SSE42-LABEL: operatorMULEQ_5:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    pmullw (%rdi), %xmm0
// CHECK-SSE42-NEXT:    movdqa %xmm0, (%rdi)
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: operatorMULEQ_5:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vpmullw (%rdi), %ymm0, %ymm0
// CHECK-AVX2-NEXT:    vmovdqa %ymm0, (%rdi)
// CHECK-AVX2-NEXT:    vzeroupper
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: operatorMULEQ_5:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vpmullw (%rdi), %xmm0, %xmm0
// CHECK-AVX2-128-NEXT:    vmovdqa %xmm0, (%rdi)
// CHECK-AVX2-128-NEXT:    retq
void operatorMULEQ_5(TestedSimd<uint16>& a, TestedSimd<uint16> b) {
  a *= b;
}

// CHECK-SSE42-LABEL: operatorMULEQ_6:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    pmulld (%rdi), %xmm0
// CHECK-SSE42-NEXT:    movdqa %xmm0, (%rdi)
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: operatorMULEQ_6:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vpmulld (%rdi), %ymm0, %ymm0
// CHECK-AVX2-NEXT:    vmovdqa %ymm0, (%rdi)
// CHECK-AVX2-NEXT:    vzeroupper
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: operatorMULEQ_6:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vpmulld (%rdi), %xmm0, %xmm0
// CHECK-AVX2-128-NEXT:    vmovdqa %xmm0, (%rdi)
// CHECK-AVX2-128-NEXT:    retq
void operatorMULEQ_6(TestedSimd<uint32>& a, TestedSimd<uint32> b) {
  a *= b;
}

// CHECK-SSE42-LABEL: operatorMULEQ_7:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    movdqa (%rdi), %xmm1
// CHECK-SSE42-NEXT:    movdqa %xmm0, %xmm2
// CHECK-SSE42-NEXT:    psrlq $32, %xmm2
// CHECK-SSE42-NEXT:    pmuludq %xmm1, %xmm2
// CHECK-SSE42-NEXT:    movdqa %xmm1, %xmm3
// CHECK-SSE42-NEXT:    psrlq $32, %xmm3
// CHECK-SSE42-NEXT:    pmuludq %xmm0, %xmm3
// CHECK-SSE42-NEXT:    paddq %xmm2, %xmm3
// CHECK-SSE42-NEXT:    psllq $32, %xmm3
// CHECK-SSE42-NEXT:    pmuludq %xmm0, %xmm1
// CHECK-SSE42-NEXT:    paddq %xmm3, %xmm1
// CHECK-SSE42-NEXT:    movdqa %xmm1, (%rdi)
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: operatorMULEQ_7:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vmovdqa (%rdi), %ymm1
// CHECK-AVX2-NEXT:    vpsrlq $32, %ymm0, %ymm2
// CHECK-AVX2-NEXT:    vpmuludq %ymm2, %ymm1, %ymm2
// CHECK-AVX2-NEXT:    vpsrlq $32, %ymm1, %ymm3
// CHECK-AVX2-NEXT:    vpmuludq %ymm0, %ymm3, %ymm3
// CHECK-AVX2-NEXT:    vpaddq %ymm3, %ymm2, %ymm2
// CHECK-AVX2-NEXT:    vpsllq $32, %ymm2, %ymm2
// CHECK-AVX2-NEXT:    vpmuludq %ymm0, %ymm1, %ymm0
// CHECK-AVX2-NEXT:    vpaddq %ymm2, %ymm0, %ymm0
// CHECK-AVX2-NEXT:    vmovdqa %ymm0, (%rdi)
// CHECK-AVX2-NEXT:    vzeroupper
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: operatorMULEQ_7:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vmovdqa (%rdi), %xmm1
// CHECK-AVX2-128-NEXT:    vpsrlq $32, %xmm0, %xmm2
// CHECK-AVX2-128-NEXT:    vpmuludq %xmm2, %xmm1, %xmm2
// CHECK-AVX2-128-NEXT:    vpsrlq $32, %xmm1, %xmm3
// CHECK-AVX2-128-NEXT:    vpmuludq %xmm0, %xmm3, %xmm3
// CHECK-AVX2-128-NEXT:    vpaddq %xmm3, %xmm2, %xmm2
// CHECK-AVX2-128-NEXT:    vpsllq $32, %xmm2, %xmm2
// CHECK-AVX2-128-NEXT:    vpmuludq %xmm0, %xmm1, %xmm0
// CHECK-AVX2-128-NEXT:    vpaddq %xmm2, %xmm0, %xmm0
// CHECK-AVX2-128-NEXT:    vmovdqa %xmm0, (%rdi)
// CHECK-AVX2-128-NEXT:    retq
void operatorMULEQ_7(TestedSimd<uint64>& a, TestedSimd<uint64> b) {
  a *= b;
}

// CHECK-SSE42-LABEL: operatorMULEQ_8:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    mulps (%rdi), %xmm0
// CHECK-SSE42-NEXT:    movaps %xmm0, (%rdi)
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: operatorMULEQ_8:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vmulps (%rdi), %ymm0, %ymm0
// CHECK-AVX2-NEXT:    vmovaps %ymm0, (%rdi)
// CHECK-AVX2-NEXT:    vzeroupper
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: operatorMULEQ_8:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vmulps (%rdi), %xmm0, %xmm0
// CHECK-AVX2-128-NEXT:    vmovaps %xmm0, (%rdi)
// CHECK-AVX2-128-NEXT:    retq
void operatorMULEQ_8(TestedSimd<float>& a, TestedSimd<float> b) {
  a *= b;
}

// CHECK-SSE42-LABEL: operatorMULEQ_9:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    mulpd (%rdi), %xmm0
// CHECK-SSE42-NEXT:    movapd %xmm0, (%rdi)
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: operatorMULEQ_9:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vmulpd (%rdi), %ymm0, %ymm0
// CHECK-AVX2-NEXT:    vmovapd %ymm0, (%rdi)
// CHECK-AVX2-NEXT:    vzeroupper
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: operatorMULEQ_9:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vmulpd (%rdi), %xmm0, %xmm0
// CHECK-AVX2-128-NEXT:    vmovapd %xmm0, (%rdi)
// CHECK-AVX2-128-NEXT:    retq
void operatorMULEQ_9(TestedSimd<double>& a, TestedSimd<double> b) {
  a *= b;
}

// CHECK-SSE42-LABEL: operatorSHLEQ_0:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    movdqa (%rdi), %xmm1
// CHECK-SSE42-NEXT:    psllw $5, %xmm0
// CHECK-SSE42-NEXT:    movdqa %xmm1, %xmm2
// CHECK-SSE42-NEXT:    psllw $4, %xmm2
// CHECK-SSE42-NEXT:    pand {{.*}}(%rip), %xmm2
// CHECK-SSE42-NEXT:    pblendvb %xmm0, %xmm2, %xmm1
// CHECK-SSE42-NEXT:    movdqa %xmm1, %xmm2
// CHECK-SSE42-NEXT:    psllw $2, %xmm2
// CHECK-SSE42-NEXT:    pand {{.*}}(%rip), %xmm2
// CHECK-SSE42-NEXT:    paddb %xmm0, %xmm0
// CHECK-SSE42-NEXT:    pblendvb %xmm0, %xmm2, %xmm1
// CHECK-SSE42-NEXT:    movdqa %xmm1, %xmm2
// CHECK-SSE42-NEXT:    paddb %xmm1, %xmm2
// CHECK-SSE42-NEXT:    paddb %xmm0, %xmm0
// CHECK-SSE42-NEXT:    pblendvb %xmm0, %xmm2, %xmm1
// CHECK-SSE42-NEXT:    movdqa %xmm1, (%rdi)
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: operatorSHLEQ_0:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vmovdqa (%rdi), %ymm1
// CHECK-AVX2-NEXT:    vpsllw $5, %ymm0, %ymm0
// CHECK-AVX2-NEXT:    vpsllw $4, %ymm1, %ymm2
// CHECK-AVX2-NEXT:    vpand {{.*}}(%rip), %ymm2, %ymm2
// CHECK-AVX2-NEXT:    vpblendvb %ymm0, %ymm2, %ymm1, %ymm1
// CHECK-AVX2-NEXT:    vpsllw $2, %ymm1, %ymm2
// CHECK-AVX2-NEXT:    vpand {{.*}}(%rip), %ymm2, %ymm2
// CHECK-AVX2-NEXT:    vpaddb %ymm0, %ymm0, %ymm0
// CHECK-AVX2-NEXT:    vpblendvb %ymm0, %ymm2, %ymm1, %ymm1
// CHECK-AVX2-NEXT:    vpaddb %ymm1, %ymm1, %ymm2
// CHECK-AVX2-NEXT:    vpaddb %ymm0, %ymm0, %ymm0
// CHECK-AVX2-NEXT:    vpblendvb %ymm0, %ymm2, %ymm1, %ymm0
// CHECK-AVX2-NEXT:    vmovdqa %ymm0, (%rdi)
// CHECK-AVX2-NEXT:    vzeroupper
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: operatorSHLEQ_0:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vmovdqa (%rdi), %xmm1
// CHECK-AVX2-128-NEXT:    vpsllw $5, %xmm0, %xmm0
// CHECK-AVX2-128-NEXT:    vpsllw $4, %xmm1, %xmm2
// CHECK-AVX2-128-NEXT:    vpand {{.*}}(%rip), %xmm2, %xmm2
// CHECK-AVX2-128-NEXT:    vpblendvb %xmm0, %xmm2, %xmm1, %xmm1
// CHECK-AVX2-128-NEXT:    vpsllw $2, %xmm1, %xmm2
// CHECK-AVX2-128-NEXT:    vpand {{.*}}(%rip), %xmm2, %xmm2
// CHECK-AVX2-128-NEXT:    vpaddb %xmm0, %xmm0, %xmm0
// CHECK-AVX2-128-NEXT:    vpblendvb %xmm0, %xmm2, %xmm1, %xmm1
// CHECK-AVX2-128-NEXT:    vpaddb %xmm1, %xmm1, %xmm2
// CHECK-AVX2-128-NEXT:    vpaddb %xmm0, %xmm0, %xmm0
// CHECK-AVX2-128-NEXT:    vpblendvb %xmm0, %xmm2, %xmm1, %xmm0
// CHECK-AVX2-128-NEXT:    vmovdqa %xmm0, (%rdi)
// CHECK-AVX2-128-NEXT:    retq
void operatorSHLEQ_0(TestedSimd<int8>& a, TestedSimd<int8> b) {
  a <<= b;
}

// CHECK-SSE42-LABEL: operatorSHLEQ_1:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    movdqa (%rdi), %xmm2
// CHECK-SSE42-NEXT:    movdqa %xmm0, %xmm1
// CHECK-SSE42-NEXT:    psllw $12, %xmm1
// CHECK-SSE42-NEXT:    psllw $4, %xmm0
// CHECK-SSE42-NEXT:    por %xmm1, %xmm0
// CHECK-SSE42-NEXT:    movdqa %xmm0, %xmm1
// CHECK-SSE42-NEXT:    paddw %xmm0, %xmm1
// CHECK-SSE42-NEXT:    movdqa %xmm2, %xmm3
// CHECK-SSE42-NEXT:    psllw $8, %xmm3
// CHECK-SSE42-NEXT:    pblendvb %xmm0, %xmm3, %xmm2
// CHECK-SSE42-NEXT:    movdqa %xmm2, %xmm3
// CHECK-SSE42-NEXT:    psllw $4, %xmm3
// CHECK-SSE42-NEXT:    movdqa %xmm1, %xmm0
// CHECK-SSE42-NEXT:    pblendvb %xmm0, %xmm3, %xmm2
// CHECK-SSE42-NEXT:    movdqa %xmm2, %xmm3
// CHECK-SSE42-NEXT:    psllw $2, %xmm3
// CHECK-SSE42-NEXT:    paddw %xmm1, %xmm1
// CHECK-SSE42-NEXT:    movdqa %xmm1, %xmm0
// CHECK-SSE42-NEXT:    pblendvb %xmm0, %xmm3, %xmm2
// CHECK-SSE42-NEXT:    movdqa %xmm2, %xmm3
// CHECK-SSE42-NEXT:    psllw $1, %xmm3
// CHECK-SSE42-NEXT:    paddw %xmm1, %xmm1
// CHECK-SSE42-NEXT:    movdqa %xmm1, %xmm0
// CHECK-SSE42-NEXT:    pblendvb %xmm0, %xmm3, %xmm2
// CHECK-SSE42-NEXT:    movdqa %xmm2, (%rdi)
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: operatorSHLEQ_1:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vmovdqa (%rdi), %ymm1
// CHECK-AVX2-NEXT:    vpxor %xmm2, %xmm2, %xmm2
// CHECK-AVX2-NEXT:    vpunpckhwd {{.*#+}} ymm3 = ymm0[4],ymm2[4],ymm0[5],ymm2[5],ymm0[6],ymm2[6],ymm0[7],ymm2[7],ymm0[12],ymm2[12],ymm0[13],ymm2[13],ymm0[14],ymm2[14],ymm0[15],ymm2[15]
// CHECK-AVX2-NEXT:    vpunpckhwd {{.*#+}} ymm4 = ymm2[4],ymm1[4],ymm2[5],ymm1[5],ymm2[6],ymm1[6],ymm2[7],ymm1[7],ymm2[12],ymm1[12],ymm2[13],ymm1[13],ymm2[14],ymm1[14],ymm2[15],ymm1[15]
// CHECK-AVX2-NEXT:    vpsllvd %ymm3, %ymm4, %ymm3
// CHECK-AVX2-NEXT:    vpsrld $16, %ymm3, %ymm3
// CHECK-AVX2-NEXT:    vpunpcklwd {{.*#+}} ymm0 = ymm0[0],ymm2[0],ymm0[1],ymm2[1],ymm0[2],ymm2[2],ymm0[3],ymm2[3],ymm0[8],ymm2[8],ymm0[9],ymm2[9],ymm0[10],ymm2[10],ymm0[11],ymm2[11]
// CHECK-AVX2-NEXT:    vpunpcklwd {{.*#+}} ymm1 = ymm2[0],ymm1[0],ymm2[1],ymm1[1],ymm2[2],ymm1[2],ymm2[3],ymm1[3],ymm2[8],ymm1[8],ymm2[9],ymm1[9],ymm2[10],ymm1[10],ymm2[11],ymm1[11]
// CHECK-AVX2-NEXT:    vpsllvd %ymm0, %ymm1, %ymm0
// CHECK-AVX2-NEXT:    vpsrld $16, %ymm0, %ymm0
// CHECK-AVX2-NEXT:    vpackusdw %ymm3, %ymm0, %ymm0
// CHECK-AVX2-NEXT:    vmovdqa %ymm0, (%rdi)
// CHECK-AVX2-NEXT:    vzeroupper
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: operatorSHLEQ_1:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vpmovzxwd {{.*#+}} ymm1 = mem[0],zero,mem[1],zero,mem[2],zero,mem[3],zero,mem[4],zero,mem[5],zero,mem[6],zero,mem[7],zero
// CHECK-AVX2-128-NEXT:    vpmovzxwd {{.*#+}} ymm0 = xmm0[0],zero,xmm0[1],zero,xmm0[2],zero,xmm0[3],zero,xmm0[4],zero,xmm0[5],zero,xmm0[6],zero,xmm0[7],zero
// CHECK-AVX2-128-NEXT:    vpsllvd %ymm0, %ymm1, %ymm0
// CHECK-AVX2-128-NEXT:    vpshufb {{.*#+}} ymm0 = ymm0[0,1,4,5,8,9,12,13,8,9,12,13,12,13,14,15,16,17,20,21,24,25,28,29,24,25,28,29,28,29,30,31]
// CHECK-AVX2-128-NEXT:    vpermq {{.*#+}} ymm0 = ymm0[0,2,2,3]
// CHECK-AVX2-128-NEXT:    vmovdqa %xmm0, (%rdi)
// CHECK-AVX2-128-NEXT:    vzeroupper
// CHECK-AVX2-128-NEXT:    retq
void operatorSHLEQ_1(TestedSimd<int16>& a, TestedSimd<int16> b) {
  a <<= b;
}

// CHECK-SSE42-LABEL: operatorSHLEQ_2:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    pslld $23, %xmm0
// CHECK-SSE42-NEXT:    paddd {{.*}}(%rip), %xmm0
// CHECK-SSE42-NEXT:    cvttps2dq %xmm0, %xmm0
// CHECK-SSE42-NEXT:    pmulld (%rdi), %xmm0
// CHECK-SSE42-NEXT:    movdqa %xmm0, (%rdi)
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: operatorSHLEQ_2:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vmovdqa (%rdi), %ymm1
// CHECK-AVX2-NEXT:    vpsllvd %ymm0, %ymm1, %ymm0
// CHECK-AVX2-NEXT:    vmovdqa %ymm0, (%rdi)
// CHECK-AVX2-NEXT:    vzeroupper
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: operatorSHLEQ_2:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vmovdqa (%rdi), %xmm1
// CHECK-AVX2-128-NEXT:    vpsllvd %xmm0, %xmm1, %xmm0
// CHECK-AVX2-128-NEXT:    vmovdqa %xmm0, (%rdi)
// CHECK-AVX2-128-NEXT:    retq
void operatorSHLEQ_2(TestedSimd<int32>& a, TestedSimd<int32> b) {
  a <<= b;
}

// CHECK-SSE42-LABEL: operatorSHLEQ_3:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    movdqa (%rdi), %xmm1
// CHECK-SSE42-NEXT:    pshufd {{.*#+}} xmm2 = xmm0[2,3,0,1]
// CHECK-SSE42-NEXT:    movdqa %xmm1, %xmm3
// CHECK-SSE42-NEXT:    psllq %xmm2, %xmm3
// CHECK-SSE42-NEXT:    psllq %xmm0, %xmm1
// CHECK-SSE42-NEXT:    pblendw {{.*#+}} xmm1 = xmm1[0,1,2,3],xmm3[4,5,6,7]
// CHECK-SSE42-NEXT:    movdqa %xmm1, (%rdi)
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: operatorSHLEQ_3:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vmovdqa (%rdi), %ymm1
// CHECK-AVX2-NEXT:    vpsllvq %ymm0, %ymm1, %ymm0
// CHECK-AVX2-NEXT:    vmovdqa %ymm0, (%rdi)
// CHECK-AVX2-NEXT:    vzeroupper
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: operatorSHLEQ_3:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vmovdqa (%rdi), %xmm1
// CHECK-AVX2-128-NEXT:    vpsllvq %xmm0, %xmm1, %xmm0
// CHECK-AVX2-128-NEXT:    vmovdqa %xmm0, (%rdi)
// CHECK-AVX2-128-NEXT:    retq
void operatorSHLEQ_3(TestedSimd<int64>& a, TestedSimd<int64> b) {
  a <<= b;
}

// CHECK-SSE42-LABEL: operatorSHLEQ_4:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    movdqa (%rdi), %xmm1
// CHECK-SSE42-NEXT:    psllw $5, %xmm0
// CHECK-SSE42-NEXT:    movdqa %xmm1, %xmm2
// CHECK-SSE42-NEXT:    psllw $4, %xmm2
// CHECK-SSE42-NEXT:    pand {{.*}}(%rip), %xmm2
// CHECK-SSE42-NEXT:    pblendvb %xmm0, %xmm2, %xmm1
// CHECK-SSE42-NEXT:    movdqa %xmm1, %xmm2
// CHECK-SSE42-NEXT:    psllw $2, %xmm2
// CHECK-SSE42-NEXT:    pand {{.*}}(%rip), %xmm2
// CHECK-SSE42-NEXT:    paddb %xmm0, %xmm0
// CHECK-SSE42-NEXT:    pblendvb %xmm0, %xmm2, %xmm1
// CHECK-SSE42-NEXT:    movdqa %xmm1, %xmm2
// CHECK-SSE42-NEXT:    paddb %xmm1, %xmm2
// CHECK-SSE42-NEXT:    paddb %xmm0, %xmm0
// CHECK-SSE42-NEXT:    pblendvb %xmm0, %xmm2, %xmm1
// CHECK-SSE42-NEXT:    movdqa %xmm1, (%rdi)
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: operatorSHLEQ_4:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vmovdqa (%rdi), %ymm1
// CHECK-AVX2-NEXT:    vpsllw $5, %ymm0, %ymm0
// CHECK-AVX2-NEXT:    vpsllw $4, %ymm1, %ymm2
// CHECK-AVX2-NEXT:    vpand {{.*}}(%rip), %ymm2, %ymm2
// CHECK-AVX2-NEXT:    vpblendvb %ymm0, %ymm2, %ymm1, %ymm1
// CHECK-AVX2-NEXT:    vpsllw $2, %ymm1, %ymm2
// CHECK-AVX2-NEXT:    vpand {{.*}}(%rip), %ymm2, %ymm2
// CHECK-AVX2-NEXT:    vpaddb %ymm0, %ymm0, %ymm0
// CHECK-AVX2-NEXT:    vpblendvb %ymm0, %ymm2, %ymm1, %ymm1
// CHECK-AVX2-NEXT:    vpaddb %ymm1, %ymm1, %ymm2
// CHECK-AVX2-NEXT:    vpaddb %ymm0, %ymm0, %ymm0
// CHECK-AVX2-NEXT:    vpblendvb %ymm0, %ymm2, %ymm1, %ymm0
// CHECK-AVX2-NEXT:    vmovdqa %ymm0, (%rdi)
// CHECK-AVX2-NEXT:    vzeroupper
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: operatorSHLEQ_4:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vmovdqa (%rdi), %xmm1
// CHECK-AVX2-128-NEXT:    vpsllw $5, %xmm0, %xmm0
// CHECK-AVX2-128-NEXT:    vpsllw $4, %xmm1, %xmm2
// CHECK-AVX2-128-NEXT:    vpand {{.*}}(%rip), %xmm2, %xmm2
// CHECK-AVX2-128-NEXT:    vpblendvb %xmm0, %xmm2, %xmm1, %xmm1
// CHECK-AVX2-128-NEXT:    vpsllw $2, %xmm1, %xmm2
// CHECK-AVX2-128-NEXT:    vpand {{.*}}(%rip), %xmm2, %xmm2
// CHECK-AVX2-128-NEXT:    vpaddb %xmm0, %xmm0, %xmm0
// CHECK-AVX2-128-NEXT:    vpblendvb %xmm0, %xmm2, %xmm1, %xmm1
// CHECK-AVX2-128-NEXT:    vpaddb %xmm1, %xmm1, %xmm2
// CHECK-AVX2-128-NEXT:    vpaddb %xmm0, %xmm0, %xmm0
// CHECK-AVX2-128-NEXT:    vpblendvb %xmm0, %xmm2, %xmm1, %xmm0
// CHECK-AVX2-128-NEXT:    vmovdqa %xmm0, (%rdi)
// CHECK-AVX2-128-NEXT:    retq
void operatorSHLEQ_4(TestedSimd<uint8>& a, TestedSimd<uint8> b) {
  a <<= b;
}

// CHECK-SSE42-LABEL: operatorSHLEQ_5:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    movdqa (%rdi), %xmm2
// CHECK-SSE42-NEXT:    movdqa %xmm0, %xmm1
// CHECK-SSE42-NEXT:    psllw $12, %xmm1
// CHECK-SSE42-NEXT:    psllw $4, %xmm0
// CHECK-SSE42-NEXT:    por %xmm1, %xmm0
// CHECK-SSE42-NEXT:    movdqa %xmm0, %xmm1
// CHECK-SSE42-NEXT:    paddw %xmm0, %xmm1
// CHECK-SSE42-NEXT:    movdqa %xmm2, %xmm3
// CHECK-SSE42-NEXT:    psllw $8, %xmm3
// CHECK-SSE42-NEXT:    pblendvb %xmm0, %xmm3, %xmm2
// CHECK-SSE42-NEXT:    movdqa %xmm2, %xmm3
// CHECK-SSE42-NEXT:    psllw $4, %xmm3
// CHECK-SSE42-NEXT:    movdqa %xmm1, %xmm0
// CHECK-SSE42-NEXT:    pblendvb %xmm0, %xmm3, %xmm2
// CHECK-SSE42-NEXT:    movdqa %xmm2, %xmm3
// CHECK-SSE42-NEXT:    psllw $2, %xmm3
// CHECK-SSE42-NEXT:    paddw %xmm1, %xmm1
// CHECK-SSE42-NEXT:    movdqa %xmm1, %xmm0
// CHECK-SSE42-NEXT:    pblendvb %xmm0, %xmm3, %xmm2
// CHECK-SSE42-NEXT:    movdqa %xmm2, %xmm3
// CHECK-SSE42-NEXT:    psllw $1, %xmm3
// CHECK-SSE42-NEXT:    paddw %xmm1, %xmm1
// CHECK-SSE42-NEXT:    movdqa %xmm1, %xmm0
// CHECK-SSE42-NEXT:    pblendvb %xmm0, %xmm3, %xmm2
// CHECK-SSE42-NEXT:    movdqa %xmm2, (%rdi)
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: operatorSHLEQ_5:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vmovdqa (%rdi), %ymm1
// CHECK-AVX2-NEXT:    vpxor %xmm2, %xmm2, %xmm2
// CHECK-AVX2-NEXT:    vpunpckhwd {{.*#+}} ymm3 = ymm0[4],ymm2[4],ymm0[5],ymm2[5],ymm0[6],ymm2[6],ymm0[7],ymm2[7],ymm0[12],ymm2[12],ymm0[13],ymm2[13],ymm0[14],ymm2[14],ymm0[15],ymm2[15]
// CHECK-AVX2-NEXT:    vpunpckhwd {{.*#+}} ymm4 = ymm2[4],ymm1[4],ymm2[5],ymm1[5],ymm2[6],ymm1[6],ymm2[7],ymm1[7],ymm2[12],ymm1[12],ymm2[13],ymm1[13],ymm2[14],ymm1[14],ymm2[15],ymm1[15]
// CHECK-AVX2-NEXT:    vpsllvd %ymm3, %ymm4, %ymm3
// CHECK-AVX2-NEXT:    vpsrld $16, %ymm3, %ymm3
// CHECK-AVX2-NEXT:    vpunpcklwd {{.*#+}} ymm0 = ymm0[0],ymm2[0],ymm0[1],ymm2[1],ymm0[2],ymm2[2],ymm0[3],ymm2[3],ymm0[8],ymm2[8],ymm0[9],ymm2[9],ymm0[10],ymm2[10],ymm0[11],ymm2[11]
// CHECK-AVX2-NEXT:    vpunpcklwd {{.*#+}} ymm1 = ymm2[0],ymm1[0],ymm2[1],ymm1[1],ymm2[2],ymm1[2],ymm2[3],ymm1[3],ymm2[8],ymm1[8],ymm2[9],ymm1[9],ymm2[10],ymm1[10],ymm2[11],ymm1[11]
// CHECK-AVX2-NEXT:    vpsllvd %ymm0, %ymm1, %ymm0
// CHECK-AVX2-NEXT:    vpsrld $16, %ymm0, %ymm0
// CHECK-AVX2-NEXT:    vpackusdw %ymm3, %ymm0, %ymm0
// CHECK-AVX2-NEXT:    vmovdqa %ymm0, (%rdi)
// CHECK-AVX2-NEXT:    vzeroupper
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: operatorSHLEQ_5:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vpmovzxwd {{.*#+}} ymm1 = mem[0],zero,mem[1],zero,mem[2],zero,mem[3],zero,mem[4],zero,mem[5],zero,mem[6],zero,mem[7],zero
// CHECK-AVX2-128-NEXT:    vpmovzxwd {{.*#+}} ymm0 = xmm0[0],zero,xmm0[1],zero,xmm0[2],zero,xmm0[3],zero,xmm0[4],zero,xmm0[5],zero,xmm0[6],zero,xmm0[7],zero
// CHECK-AVX2-128-NEXT:    vpsllvd %ymm0, %ymm1, %ymm0
// CHECK-AVX2-128-NEXT:    vpshufb {{.*#+}} ymm0 = ymm0[0,1,4,5,8,9,12,13,8,9,12,13,12,13,14,15,16,17,20,21,24,25,28,29,24,25,28,29,28,29,30,31]
// CHECK-AVX2-128-NEXT:    vpermq {{.*#+}} ymm0 = ymm0[0,2,2,3]
// CHECK-AVX2-128-NEXT:    vmovdqa %xmm0, (%rdi)
// CHECK-AVX2-128-NEXT:    vzeroupper
// CHECK-AVX2-128-NEXT:    retq
void operatorSHLEQ_5(TestedSimd<uint16>& a, TestedSimd<uint16> b) {
  a <<= b;
}

// CHECK-SSE42-LABEL: operatorSHLEQ_6:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    pslld $23, %xmm0
// CHECK-SSE42-NEXT:    paddd {{.*}}(%rip), %xmm0
// CHECK-SSE42-NEXT:    cvttps2dq %xmm0, %xmm0
// CHECK-SSE42-NEXT:    pmulld (%rdi), %xmm0
// CHECK-SSE42-NEXT:    movdqa %xmm0, (%rdi)
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: operatorSHLEQ_6:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vmovdqa (%rdi), %ymm1
// CHECK-AVX2-NEXT:    vpsllvd %ymm0, %ymm1, %ymm0
// CHECK-AVX2-NEXT:    vmovdqa %ymm0, (%rdi)
// CHECK-AVX2-NEXT:    vzeroupper
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: operatorSHLEQ_6:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vmovdqa (%rdi), %xmm1
// CHECK-AVX2-128-NEXT:    vpsllvd %xmm0, %xmm1, %xmm0
// CHECK-AVX2-128-NEXT:    vmovdqa %xmm0, (%rdi)
// CHECK-AVX2-128-NEXT:    retq
void operatorSHLEQ_6(TestedSimd<uint32>& a, TestedSimd<uint32> b) {
  a <<= b;
}

// CHECK-SSE42-LABEL: operatorSHLEQ_7:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    movdqa (%rdi), %xmm1
// CHECK-SSE42-NEXT:    pshufd {{.*#+}} xmm2 = xmm0[2,3,0,1]
// CHECK-SSE42-NEXT:    movdqa %xmm1, %xmm3
// CHECK-SSE42-NEXT:    psllq %xmm2, %xmm3
// CHECK-SSE42-NEXT:    psllq %xmm0, %xmm1
// CHECK-SSE42-NEXT:    pblendw {{.*#+}} xmm1 = xmm1[0,1,2,3],xmm3[4,5,6,7]
// CHECK-SSE42-NEXT:    movdqa %xmm1, (%rdi)
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: operatorSHLEQ_7:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vmovdqa (%rdi), %ymm1
// CHECK-AVX2-NEXT:    vpsllvq %ymm0, %ymm1, %ymm0
// CHECK-AVX2-NEXT:    vmovdqa %ymm0, (%rdi)
// CHECK-AVX2-NEXT:    vzeroupper
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: operatorSHLEQ_7:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vmovdqa (%rdi), %xmm1
// CHECK-AVX2-128-NEXT:    vpsllvq %xmm0, %xmm1, %xmm0
// CHECK-AVX2-128-NEXT:    vmovdqa %xmm0, (%rdi)
// CHECK-AVX2-128-NEXT:    retq
void operatorSHLEQ_7(TestedSimd<uint64>& a, TestedSimd<uint64> b) {
  a <<= b;
}

// CHECK-SSE42-LABEL: operatorSHREQ_0:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    movdqa %xmm0, %xmm1
// CHECK-SSE42-NEXT:    movdqa (%rdi), %xmm3
// CHECK-SSE42-NEXT:    psllw $5, %xmm1
// CHECK-SSE42-NEXT:    punpckhbw {{.*#+}} xmm0 = xmm0[8],xmm1[8],xmm0[9],xmm1[9],xmm0[10],xmm1[10],xmm0[11],xmm1[11],xmm0[12],xmm1[12],xmm0[13],xmm1[13],xmm0[14],xmm1[14],xmm0[15],xmm1[15]
// CHECK-SSE42-NEXT:    punpckhbw {{.*#+}} xmm2 = xmm2[8],xmm3[8],xmm2[9],xmm3[9],xmm2[10],xmm3[10],xmm2[11],xmm3[11],xmm2[12],xmm3[12],xmm2[13],xmm3[13],xmm2[14],xmm3[14],xmm2[15],xmm3[15]
// CHECK-SSE42-NEXT:    movdqa %xmm2, %xmm4
// CHECK-SSE42-NEXT:    psraw $4, %xmm4
// CHECK-SSE42-NEXT:    pblendvb %xmm0, %xmm4, %xmm2
// CHECK-SSE42-NEXT:    movdqa %xmm2, %xmm4
// CHECK-SSE42-NEXT:    psraw $2, %xmm4
// CHECK-SSE42-NEXT:    paddw %xmm0, %xmm0
// CHECK-SSE42-NEXT:    pblendvb %xmm0, %xmm4, %xmm2
// CHECK-SSE42-NEXT:    movdqa %xmm2, %xmm4
// CHECK-SSE42-NEXT:    psraw $1, %xmm4
// CHECK-SSE42-NEXT:    paddw %xmm0, %xmm0
// CHECK-SSE42-NEXT:    pblendvb %xmm0, %xmm4, %xmm2
// CHECK-SSE42-NEXT:    psrlw $8, %xmm2
// CHECK-SSE42-NEXT:    punpcklbw {{.*#+}} xmm0 = xmm0[0],xmm1[0],xmm0[1],xmm1[1],xmm0[2],xmm1[2],xmm0[3],xmm1[3],xmm0[4],xmm1[4],xmm0[5],xmm1[5],xmm0[6],xmm1[6],xmm0[7],xmm1[7]
// CHECK-SSE42-NEXT:    punpcklbw {{.*#+}} xmm1 = xmm1[0],xmm3[0],xmm1[1],xmm3[1],xmm1[2],xmm3[2],xmm1[3],xmm3[3],xmm1[4],xmm3[4],xmm1[5],xmm3[5],xmm1[6],xmm3[6],xmm1[7],xmm3[7]
// CHECK-SSE42-NEXT:    movdqa %xmm1, %xmm3
// CHECK-SSE42-NEXT:    psraw $4, %xmm3
// CHECK-SSE42-NEXT:    pblendvb %xmm0, %xmm3, %xmm1
// CHECK-SSE42-NEXT:    movdqa %xmm1, %xmm3
// CHECK-SSE42-NEXT:    psraw $2, %xmm3
// CHECK-SSE42-NEXT:    paddw %xmm0, %xmm0
// CHECK-SSE42-NEXT:    pblendvb %xmm0, %xmm3, %xmm1
// CHECK-SSE42-NEXT:    movdqa %xmm1, %xmm3
// CHECK-SSE42-NEXT:    psraw $1, %xmm3
// CHECK-SSE42-NEXT:    paddw %xmm0, %xmm0
// CHECK-SSE42-NEXT:    pblendvb %xmm0, %xmm3, %xmm1
// CHECK-SSE42-NEXT:    psrlw $8, %xmm1
// CHECK-SSE42-NEXT:    packuswb %xmm2, %xmm1
// CHECK-SSE42-NEXT:    movdqa %xmm1, (%rdi)
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: operatorSHREQ_0:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vmovdqa (%rdi), %ymm1
// CHECK-AVX2-NEXT:    vpsllw $5, %ymm0, %ymm0
// CHECK-AVX2-NEXT:    vpunpckhbw {{.*#+}} ymm2 = ymm0[8,8,9,9,10,10,11,11,12,12,13,13,14,14,15,15,24,24,25,25,26,26,27,27,28,28,29,29,30,30,31,31]
// CHECK-AVX2-NEXT:    vpunpckhbw {{.*#+}} ymm3 = ymm0[8],ymm1[8],ymm0[9],ymm1[9],ymm0[10],ymm1[10],ymm0[11],ymm1[11],ymm0[12],ymm1[12],ymm0[13],ymm1[13],ymm0[14],ymm1[14],ymm0[15],ymm1[15],ymm0[24],ymm1[24],ymm0[25],ymm1[25],ymm0[26],ymm1[26],ymm0[27],ymm1[27],ymm0[28],ymm1[28],ymm0[29],ymm1[29],ymm0[30],ymm1[30],ymm0[31],ymm1[31]
// CHECK-AVX2-NEXT:    vpsraw $4, %ymm3, %ymm4
// CHECK-AVX2-NEXT:    vpblendvb %ymm2, %ymm4, %ymm3, %ymm3
// CHECK-AVX2-NEXT:    vpsraw $2, %ymm3, %ymm4
// CHECK-AVX2-NEXT:    vpaddw %ymm2, %ymm2, %ymm2
// CHECK-AVX2-NEXT:    vpblendvb %ymm2, %ymm4, %ymm3, %ymm3
// CHECK-AVX2-NEXT:    vpsraw $1, %ymm3, %ymm4
// CHECK-AVX2-NEXT:    vpaddw %ymm2, %ymm2, %ymm2
// CHECK-AVX2-NEXT:    vpblendvb %ymm2, %ymm4, %ymm3, %ymm2
// CHECK-AVX2-NEXT:    vpsrlw $8, %ymm2, %ymm2
// CHECK-AVX2-NEXT:    vpunpcklbw {{.*#+}} ymm0 = ymm0[0,0,1,1,2,2,3,3,4,4,5,5,6,6,7,7,16,16,17,17,18,18,19,19,20,20,21,21,22,22,23,23]
// CHECK-AVX2-NEXT:    vpunpcklbw {{.*#+}} ymm1 = ymm0[0],ymm1[0],ymm0[1],ymm1[1],ymm0[2],ymm1[2],ymm0[3],ymm1[3],ymm0[4],ymm1[4],ymm0[5],ymm1[5],ymm0[6],ymm1[6],ymm0[7],ymm1[7],ymm0[16],ymm1[16],ymm0[17],ymm1[17],ymm0[18],ymm1[18],ymm0[19],ymm1[19],ymm0[20],ymm1[20],ymm0[21],ymm1[21],ymm0[22],ymm1[22],ymm0[23],ymm1[23]
// CHECK-AVX2-NEXT:    vpsraw $4, %ymm1, %ymm3
// CHECK-AVX2-NEXT:    vpblendvb %ymm0, %ymm3, %ymm1, %ymm1
// CHECK-AVX2-NEXT:    vpsraw $2, %ymm1, %ymm3
// CHECK-AVX2-NEXT:    vpaddw %ymm0, %ymm0, %ymm0
// CHECK-AVX2-NEXT:    vpblendvb %ymm0, %ymm3, %ymm1, %ymm1
// CHECK-AVX2-NEXT:    vpsraw $1, %ymm1, %ymm3
// CHECK-AVX2-NEXT:    vpaddw %ymm0, %ymm0, %ymm0
// CHECK-AVX2-NEXT:    vpblendvb %ymm0, %ymm3, %ymm1, %ymm0
// CHECK-AVX2-NEXT:    vpsrlw $8, %ymm0, %ymm0
// CHECK-AVX2-NEXT:    vpackuswb %ymm2, %ymm0, %ymm0
// CHECK-AVX2-NEXT:    vmovdqa %ymm0, (%rdi)
// CHECK-AVX2-NEXT:    vzeroupper
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: operatorSHREQ_0:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vmovdqa (%rdi), %xmm1
// CHECK-AVX2-128-NEXT:    vpsllw $5, %xmm0, %xmm0
// CHECK-AVX2-128-NEXT:    vpunpckhbw {{.*#+}} xmm2 = xmm0[8,8,9,9,10,10,11,11,12,12,13,13,14,14,15,15]
// CHECK-AVX2-128-NEXT:    vpunpckhbw {{.*#+}} xmm3 = xmm0[8],xmm1[8],xmm0[9],xmm1[9],xmm0[10],xmm1[10],xmm0[11],xmm1[11],xmm0[12],xmm1[12],xmm0[13],xmm1[13],xmm0[14],xmm1[14],xmm0[15],xmm1[15]
// CHECK-AVX2-128-NEXT:    vpsraw $4, %xmm3, %xmm4
// CHECK-AVX2-128-NEXT:    vpblendvb %xmm2, %xmm4, %xmm3, %xmm3
// CHECK-AVX2-128-NEXT:    vpsraw $2, %xmm3, %xmm4
// CHECK-AVX2-128-NEXT:    vpaddw %xmm2, %xmm2, %xmm2
// CHECK-AVX2-128-NEXT:    vpblendvb %xmm2, %xmm4, %xmm3, %xmm3
// CHECK-AVX2-128-NEXT:    vpsraw $1, %xmm3, %xmm4
// CHECK-AVX2-128-NEXT:    vpaddw %xmm2, %xmm2, %xmm2
// CHECK-AVX2-128-NEXT:    vpblendvb %xmm2, %xmm4, %xmm3, %xmm2
// CHECK-AVX2-128-NEXT:    vpsrlw $8, %xmm2, %xmm2
// CHECK-AVX2-128-NEXT:    vpunpcklbw {{.*#+}} xmm0 = xmm0[0,0,1,1,2,2,3,3,4,4,5,5,6,6,7,7]
// CHECK-AVX2-128-NEXT:    vpunpcklbw {{.*#+}} xmm1 = xmm0[0],xmm1[0],xmm0[1],xmm1[1],xmm0[2],xmm1[2],xmm0[3],xmm1[3],xmm0[4],xmm1[4],xmm0[5],xmm1[5],xmm0[6],xmm1[6],xmm0[7],xmm1[7]
// CHECK-AVX2-128-NEXT:    vpsraw $4, %xmm1, %xmm3
// CHECK-AVX2-128-NEXT:    vpblendvb %xmm0, %xmm3, %xmm1, %xmm1
// CHECK-AVX2-128-NEXT:    vpsraw $2, %xmm1, %xmm3
// CHECK-AVX2-128-NEXT:    vpaddw %xmm0, %xmm0, %xmm0
// CHECK-AVX2-128-NEXT:    vpblendvb %xmm0, %xmm3, %xmm1, %xmm1
// CHECK-AVX2-128-NEXT:    vpsraw $1, %xmm1, %xmm3
// CHECK-AVX2-128-NEXT:    vpaddw %xmm0, %xmm0, %xmm0
// CHECK-AVX2-128-NEXT:    vpblendvb %xmm0, %xmm3, %xmm1, %xmm0
// CHECK-AVX2-128-NEXT:    vpsrlw $8, %xmm0, %xmm0
// CHECK-AVX2-128-NEXT:    vpackuswb %xmm2, %xmm0, %xmm0
// CHECK-AVX2-128-NEXT:    vmovdqa %xmm0, (%rdi)
// CHECK-AVX2-128-NEXT:    retq
void operatorSHREQ_0(TestedSimd<int8>& a, TestedSimd<int8> b) {
  a >>= b;
}

// CHECK-SSE42-LABEL: operatorSHREQ_1:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    movdqa (%rdi), %xmm2
// CHECK-SSE42-NEXT:    movdqa %xmm0, %xmm1
// CHECK-SSE42-NEXT:    psllw $12, %xmm1
// CHECK-SSE42-NEXT:    psllw $4, %xmm0
// CHECK-SSE42-NEXT:    por %xmm1, %xmm0
// CHECK-SSE42-NEXT:    movdqa %xmm0, %xmm1
// CHECK-SSE42-NEXT:    paddw %xmm0, %xmm1
// CHECK-SSE42-NEXT:    movdqa %xmm2, %xmm3
// CHECK-SSE42-NEXT:    psraw $8, %xmm3
// CHECK-SSE42-NEXT:    pblendvb %xmm0, %xmm3, %xmm2
// CHECK-SSE42-NEXT:    movdqa %xmm2, %xmm3
// CHECK-SSE42-NEXT:    psraw $4, %xmm3
// CHECK-SSE42-NEXT:    movdqa %xmm1, %xmm0
// CHECK-SSE42-NEXT:    pblendvb %xmm0, %xmm3, %xmm2
// CHECK-SSE42-NEXT:    movdqa %xmm2, %xmm3
// CHECK-SSE42-NEXT:    psraw $2, %xmm3
// CHECK-SSE42-NEXT:    paddw %xmm1, %xmm1
// CHECK-SSE42-NEXT:    movdqa %xmm1, %xmm0
// CHECK-SSE42-NEXT:    pblendvb %xmm0, %xmm3, %xmm2
// CHECK-SSE42-NEXT:    movdqa %xmm2, %xmm3
// CHECK-SSE42-NEXT:    psraw $1, %xmm3
// CHECK-SSE42-NEXT:    paddw %xmm1, %xmm1
// CHECK-SSE42-NEXT:    movdqa %xmm1, %xmm0
// CHECK-SSE42-NEXT:    pblendvb %xmm0, %xmm3, %xmm2
// CHECK-SSE42-NEXT:    movdqa %xmm2, (%rdi)
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: operatorSHREQ_1:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vmovdqa (%rdi), %ymm1
// CHECK-AVX2-NEXT:    vpxor %xmm2, %xmm2, %xmm2
// CHECK-AVX2-NEXT:    vpunpckhwd {{.*#+}} ymm3 = ymm0[4],ymm2[4],ymm0[5],ymm2[5],ymm0[6],ymm2[6],ymm0[7],ymm2[7],ymm0[12],ymm2[12],ymm0[13],ymm2[13],ymm0[14],ymm2[14],ymm0[15],ymm2[15]
// CHECK-AVX2-NEXT:    vpunpckhwd {{.*#+}} ymm4 = ymm2[4],ymm1[4],ymm2[5],ymm1[5],ymm2[6],ymm1[6],ymm2[7],ymm1[7],ymm2[12],ymm1[12],ymm2[13],ymm1[13],ymm2[14],ymm1[14],ymm2[15],ymm1[15]
// CHECK-AVX2-NEXT:    vpsravd %ymm3, %ymm4, %ymm3
// CHECK-AVX2-NEXT:    vpsrld $16, %ymm3, %ymm3
// CHECK-AVX2-NEXT:    vpunpcklwd {{.*#+}} ymm0 = ymm0[0],ymm2[0],ymm0[1],ymm2[1],ymm0[2],ymm2[2],ymm0[3],ymm2[3],ymm0[8],ymm2[8],ymm0[9],ymm2[9],ymm0[10],ymm2[10],ymm0[11],ymm2[11]
// CHECK-AVX2-NEXT:    vpunpcklwd {{.*#+}} ymm1 = ymm2[0],ymm1[0],ymm2[1],ymm1[1],ymm2[2],ymm1[2],ymm2[3],ymm1[3],ymm2[8],ymm1[8],ymm2[9],ymm1[9],ymm2[10],ymm1[10],ymm2[11],ymm1[11]
// CHECK-AVX2-NEXT:    vpsravd %ymm0, %ymm1, %ymm0
// CHECK-AVX2-NEXT:    vpsrld $16, %ymm0, %ymm0
// CHECK-AVX2-NEXT:    vpackusdw %ymm3, %ymm0, %ymm0
// CHECK-AVX2-NEXT:    vmovdqa %ymm0, (%rdi)
// CHECK-AVX2-NEXT:    vzeroupper
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: operatorSHREQ_1:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vpmovzxwd {{.*#+}} ymm0 = xmm0[0],zero,xmm0[1],zero,xmm0[2],zero,xmm0[3],zero,xmm0[4],zero,xmm0[5],zero,xmm0[6],zero,xmm0[7],zero
// CHECK-AVX2-128-NEXT:    vpmovsxwd (%rdi), %ymm1
// CHECK-AVX2-128-NEXT:    vpsravd %ymm0, %ymm1, %ymm0
// CHECK-AVX2-128-NEXT:    vextracti128 $1, %ymm0, %xmm1
// CHECK-AVX2-128-NEXT:    vpackssdw %xmm1, %xmm0, %xmm0
// CHECK-AVX2-128-NEXT:    vmovdqa %xmm0, (%rdi)
// CHECK-AVX2-128-NEXT:    vzeroupper
// CHECK-AVX2-128-NEXT:    retq
void operatorSHREQ_1(TestedSimd<int16>& a, TestedSimd<int16> b) {
  a >>= b;
}

// CHECK-SSE42-LABEL: operatorSHREQ_2:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    movdqa (%rdi), %xmm1
// CHECK-SSE42-NEXT:    movdqa %xmm0, %xmm2
// CHECK-SSE42-NEXT:    psrldq {{.*#+}} xmm2 = xmm2[12,13,14,15],zero,zero,zero,zero,zero,zero,zero,zero,zero,zero,zero,zero
// CHECK-SSE42-NEXT:    movdqa %xmm1, %xmm3
// CHECK-SSE42-NEXT:    psrad %xmm2, %xmm3
// CHECK-SSE42-NEXT:    movdqa %xmm0, %xmm2
// CHECK-SSE42-NEXT:    psrlq $32, %xmm2
// CHECK-SSE42-NEXT:    movdqa %xmm1, %xmm4
// CHECK-SSE42-NEXT:    psrad %xmm2, %xmm4
// CHECK-SSE42-NEXT:    pblendw {{.*#+}} xmm4 = xmm4[0,1,2,3],xmm3[4,5,6,7]
// CHECK-SSE42-NEXT:    pxor %xmm2, %xmm2
// CHECK-SSE42-NEXT:    pmovzxdq {{.*#+}} xmm3 = xmm0[0],zero,xmm0[1],zero
// CHECK-SSE42-NEXT:    punpckhdq {{.*#+}} xmm0 = xmm0[2],xmm2[2],xmm0[3],xmm2[3]
// CHECK-SSE42-NEXT:    movdqa %xmm1, %xmm2
// CHECK-SSE42-NEXT:    psrad %xmm0, %xmm2
// CHECK-SSE42-NEXT:    psrad %xmm3, %xmm1
// CHECK-SSE42-NEXT:    pblendw {{.*#+}} xmm1 = xmm1[0,1,2,3],xmm2[4,5,6,7]
// CHECK-SSE42-NEXT:    pblendw {{.*#+}} xmm1 = xmm1[0,1],xmm4[2,3],xmm1[4,5],xmm4[6,7]
// CHECK-SSE42-NEXT:    movdqa %xmm1, (%rdi)
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: operatorSHREQ_2:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vmovdqa (%rdi), %ymm1
// CHECK-AVX2-NEXT:    vpsravd %ymm0, %ymm1, %ymm0
// CHECK-AVX2-NEXT:    vmovdqa %ymm0, (%rdi)
// CHECK-AVX2-NEXT:    vzeroupper
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: operatorSHREQ_2:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vmovdqa (%rdi), %xmm1
// CHECK-AVX2-128-NEXT:    vpsravd %xmm0, %xmm1, %xmm0
// CHECK-AVX2-128-NEXT:    vmovdqa %xmm0, (%rdi)
// CHECK-AVX2-128-NEXT:    retq
void operatorSHREQ_2(TestedSimd<int32>& a, TestedSimd<int32> b) {
  a >>= b;
}

// CHECK-SSE42-LABEL: operatorSHREQ_3:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    movdqa (%rdi), %xmm1
// CHECK-SSE42-NEXT:    movdqa {{.*#+}} xmm2 = [9223372036854775808,9223372036854775808]
// CHECK-SSE42-NEXT:    movdqa %xmm2, %xmm3
// CHECK-SSE42-NEXT:    pshufd {{.*#+}} xmm4 = xmm0[2,3,0,1]
// CHECK-SSE42-NEXT:    psrlq %xmm4, %xmm2
// CHECK-SSE42-NEXT:    movdqa %xmm1, %xmm5
// CHECK-SSE42-NEXT:    psrlq %xmm4, %xmm5
// CHECK-SSE42-NEXT:    psrlq %xmm0, %xmm3
// CHECK-SSE42-NEXT:    pblendw {{.*#+}} xmm2 = xmm3[0,1,2,3],xmm2[4,5,6,7]
// CHECK-SSE42-NEXT:    psrlq %xmm0, %xmm1
// CHECK-SSE42-NEXT:    pblendw {{.*#+}} xmm1 = xmm1[0,1,2,3],xmm5[4,5,6,7]
// CHECK-SSE42-NEXT:    pxor %xmm2, %xmm1
// CHECK-SSE42-NEXT:    psubq %xmm2, %xmm1
// CHECK-SSE42-NEXT:    movdqa %xmm1, (%rdi)
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: operatorSHREQ_3:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vpbroadcastq {{.*#+}} ymm1 = [9223372036854775808,9223372036854775808,9223372036854775808,9223372036854775808]
// CHECK-AVX2-NEXT:    vpsrlvq %ymm0, %ymm1, %ymm2
// CHECK-AVX2-NEXT:    vpxor (%rdi), %ymm1, %ymm1
// CHECK-AVX2-NEXT:    vpsrlvq %ymm0, %ymm1, %ymm0
// CHECK-AVX2-NEXT:    vpsubq %ymm2, %ymm0, %ymm0
// CHECK-AVX2-NEXT:    vmovdqa %ymm0, (%rdi)
// CHECK-AVX2-NEXT:    vzeroupper
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: operatorSHREQ_3:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vmovdqa {{.*#+}} xmm1 = [9223372036854775808,9223372036854775808]
// CHECK-AVX2-128-NEXT:    vpsrlvq %xmm0, %xmm1, %xmm2
// CHECK-AVX2-128-NEXT:    vpxor (%rdi), %xmm1, %xmm1
// CHECK-AVX2-128-NEXT:    vpsrlvq %xmm0, %xmm1, %xmm0
// CHECK-AVX2-128-NEXT:    vpsubq %xmm2, %xmm0, %xmm0
// CHECK-AVX2-128-NEXT:    vmovdqa %xmm0, (%rdi)
// CHECK-AVX2-128-NEXT:    retq
void operatorSHREQ_3(TestedSimd<int64>& a, TestedSimd<int64> b) {
  a >>= b;
}

// CHECK-SSE42-LABEL: operatorSHREQ_4:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    movdqa (%rdi), %xmm1
// CHECK-SSE42-NEXT:    psllw $5, %xmm0
// CHECK-SSE42-NEXT:    movdqa %xmm1, %xmm2
// CHECK-SSE42-NEXT:    psrlw $4, %xmm2
// CHECK-SSE42-NEXT:    pand {{.*}}(%rip), %xmm2
// CHECK-SSE42-NEXT:    pblendvb %xmm0, %xmm2, %xmm1
// CHECK-SSE42-NEXT:    movdqa %xmm1, %xmm2
// CHECK-SSE42-NEXT:    psrlw $2, %xmm2
// CHECK-SSE42-NEXT:    pand {{.*}}(%rip), %xmm2
// CHECK-SSE42-NEXT:    paddb %xmm0, %xmm0
// CHECK-SSE42-NEXT:    pblendvb %xmm0, %xmm2, %xmm1
// CHECK-SSE42-NEXT:    movdqa %xmm1, %xmm2
// CHECK-SSE42-NEXT:    psrlw $1, %xmm2
// CHECK-SSE42-NEXT:    pand {{.*}}(%rip), %xmm2
// CHECK-SSE42-NEXT:    paddb %xmm0, %xmm0
// CHECK-SSE42-NEXT:    pblendvb %xmm0, %xmm2, %xmm1
// CHECK-SSE42-NEXT:    movdqa %xmm1, (%rdi)
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: operatorSHREQ_4:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vmovdqa (%rdi), %ymm1
// CHECK-AVX2-NEXT:    vpsllw $5, %ymm0, %ymm0
// CHECK-AVX2-NEXT:    vpsrlw $4, %ymm1, %ymm2
// CHECK-AVX2-NEXT:    vpand {{.*}}(%rip), %ymm2, %ymm2
// CHECK-AVX2-NEXT:    vpblendvb %ymm0, %ymm2, %ymm1, %ymm1
// CHECK-AVX2-NEXT:    vpsrlw $2, %ymm1, %ymm2
// CHECK-AVX2-NEXT:    vpand {{.*}}(%rip), %ymm2, %ymm2
// CHECK-AVX2-NEXT:    vpaddb %ymm0, %ymm0, %ymm0
// CHECK-AVX2-NEXT:    vpblendvb %ymm0, %ymm2, %ymm1, %ymm1
// CHECK-AVX2-NEXT:    vpsrlw $1, %ymm1, %ymm2
// CHECK-AVX2-NEXT:    vpand {{.*}}(%rip), %ymm2, %ymm2
// CHECK-AVX2-NEXT:    vpaddb %ymm0, %ymm0, %ymm0
// CHECK-AVX2-NEXT:    vpblendvb %ymm0, %ymm2, %ymm1, %ymm0
// CHECK-AVX2-NEXT:    vmovdqa %ymm0, (%rdi)
// CHECK-AVX2-NEXT:    vzeroupper
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: operatorSHREQ_4:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vmovdqa (%rdi), %xmm1
// CHECK-AVX2-128-NEXT:    vpsllw $5, %xmm0, %xmm0
// CHECK-AVX2-128-NEXT:    vpsrlw $4, %xmm1, %xmm2
// CHECK-AVX2-128-NEXT:    vpand {{.*}}(%rip), %xmm2, %xmm2
// CHECK-AVX2-128-NEXT:    vpblendvb %xmm0, %xmm2, %xmm1, %xmm1
// CHECK-AVX2-128-NEXT:    vpsrlw $2, %xmm1, %xmm2
// CHECK-AVX2-128-NEXT:    vpand {{.*}}(%rip), %xmm2, %xmm2
// CHECK-AVX2-128-NEXT:    vpaddb %xmm0, %xmm0, %xmm0
// CHECK-AVX2-128-NEXT:    vpblendvb %xmm0, %xmm2, %xmm1, %xmm1
// CHECK-AVX2-128-NEXT:    vpsrlw $1, %xmm1, %xmm2
// CHECK-AVX2-128-NEXT:    vpand {{.*}}(%rip), %xmm2, %xmm2
// CHECK-AVX2-128-NEXT:    vpaddb %xmm0, %xmm0, %xmm0
// CHECK-AVX2-128-NEXT:    vpblendvb %xmm0, %xmm2, %xmm1, %xmm0
// CHECK-AVX2-128-NEXT:    vmovdqa %xmm0, (%rdi)
// CHECK-AVX2-128-NEXT:    retq
void operatorSHREQ_4(TestedSimd<uint8>& a, TestedSimd<uint8> b) {
  a >>= b;
}

// CHECK-SSE42-LABEL: operatorSHREQ_5:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    movdqa (%rdi), %xmm2
// CHECK-SSE42-NEXT:    movdqa %xmm0, %xmm1
// CHECK-SSE42-NEXT:    psllw $12, %xmm1
// CHECK-SSE42-NEXT:    psllw $4, %xmm0
// CHECK-SSE42-NEXT:    por %xmm1, %xmm0
// CHECK-SSE42-NEXT:    movdqa %xmm0, %xmm1
// CHECK-SSE42-NEXT:    paddw %xmm0, %xmm1
// CHECK-SSE42-NEXT:    movdqa %xmm2, %xmm3
// CHECK-SSE42-NEXT:    psrlw $8, %xmm3
// CHECK-SSE42-NEXT:    pblendvb %xmm0, %xmm3, %xmm2
// CHECK-SSE42-NEXT:    movdqa %xmm2, %xmm3
// CHECK-SSE42-NEXT:    psrlw $4, %xmm3
// CHECK-SSE42-NEXT:    movdqa %xmm1, %xmm0
// CHECK-SSE42-NEXT:    pblendvb %xmm0, %xmm3, %xmm2
// CHECK-SSE42-NEXT:    movdqa %xmm2, %xmm3
// CHECK-SSE42-NEXT:    psrlw $2, %xmm3
// CHECK-SSE42-NEXT:    paddw %xmm1, %xmm1
// CHECK-SSE42-NEXT:    movdqa %xmm1, %xmm0
// CHECK-SSE42-NEXT:    pblendvb %xmm0, %xmm3, %xmm2
// CHECK-SSE42-NEXT:    movdqa %xmm2, %xmm3
// CHECK-SSE42-NEXT:    psrlw $1, %xmm3
// CHECK-SSE42-NEXT:    paddw %xmm1, %xmm1
// CHECK-SSE42-NEXT:    movdqa %xmm1, %xmm0
// CHECK-SSE42-NEXT:    pblendvb %xmm0, %xmm3, %xmm2
// CHECK-SSE42-NEXT:    movdqa %xmm2, (%rdi)
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: operatorSHREQ_5:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vmovdqa (%rdi), %ymm1
// CHECK-AVX2-NEXT:    vpxor %xmm2, %xmm2, %xmm2
// CHECK-AVX2-NEXT:    vpunpckhwd {{.*#+}} ymm3 = ymm0[4],ymm2[4],ymm0[5],ymm2[5],ymm0[6],ymm2[6],ymm0[7],ymm2[7],ymm0[12],ymm2[12],ymm0[13],ymm2[13],ymm0[14],ymm2[14],ymm0[15],ymm2[15]
// CHECK-AVX2-NEXT:    vpunpckhwd {{.*#+}} ymm4 = ymm2[4],ymm1[4],ymm2[5],ymm1[5],ymm2[6],ymm1[6],ymm2[7],ymm1[7],ymm2[12],ymm1[12],ymm2[13],ymm1[13],ymm2[14],ymm1[14],ymm2[15],ymm1[15]
// CHECK-AVX2-NEXT:    vpsrlvd %ymm3, %ymm4, %ymm3
// CHECK-AVX2-NEXT:    vpsrld $16, %ymm3, %ymm3
// CHECK-AVX2-NEXT:    vpunpcklwd {{.*#+}} ymm0 = ymm0[0],ymm2[0],ymm0[1],ymm2[1],ymm0[2],ymm2[2],ymm0[3],ymm2[3],ymm0[8],ymm2[8],ymm0[9],ymm2[9],ymm0[10],ymm2[10],ymm0[11],ymm2[11]
// CHECK-AVX2-NEXT:    vpunpcklwd {{.*#+}} ymm1 = ymm2[0],ymm1[0],ymm2[1],ymm1[1],ymm2[2],ymm1[2],ymm2[3],ymm1[3],ymm2[8],ymm1[8],ymm2[9],ymm1[9],ymm2[10],ymm1[10],ymm2[11],ymm1[11]
// CHECK-AVX2-NEXT:    vpsrlvd %ymm0, %ymm1, %ymm0
// CHECK-AVX2-NEXT:    vpsrld $16, %ymm0, %ymm0
// CHECK-AVX2-NEXT:    vpackusdw %ymm3, %ymm0, %ymm0
// CHECK-AVX2-NEXT:    vmovdqa %ymm0, (%rdi)
// CHECK-AVX2-NEXT:    vzeroupper
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: operatorSHREQ_5:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vpmovzxwd {{.*#+}} ymm1 = mem[0],zero,mem[1],zero,mem[2],zero,mem[3],zero,mem[4],zero,mem[5],zero,mem[6],zero,mem[7],zero
// CHECK-AVX2-128-NEXT:    vpmovzxwd {{.*#+}} ymm0 = xmm0[0],zero,xmm0[1],zero,xmm0[2],zero,xmm0[3],zero,xmm0[4],zero,xmm0[5],zero,xmm0[6],zero,xmm0[7],zero
// CHECK-AVX2-128-NEXT:    vpsrlvd %ymm0, %ymm1, %ymm0
// CHECK-AVX2-128-NEXT:    vpshufb {{.*#+}} ymm0 = ymm0[0,1,4,5,8,9,12,13,8,9,12,13,12,13,14,15,16,17,20,21,24,25,28,29,24,25,28,29,28,29,30,31]
// CHECK-AVX2-128-NEXT:    vpermq {{.*#+}} ymm0 = ymm0[0,2,2,3]
// CHECK-AVX2-128-NEXT:    vmovdqa %xmm0, (%rdi)
// CHECK-AVX2-128-NEXT:    vzeroupper
// CHECK-AVX2-128-NEXT:    retq
void operatorSHREQ_5(TestedSimd<uint16>& a, TestedSimd<uint16> b) {
  a >>= b;
}

// CHECK-SSE42-LABEL: operatorSHREQ_6:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    movdqa (%rdi), %xmm1
// CHECK-SSE42-NEXT:    movdqa %xmm0, %xmm2
// CHECK-SSE42-NEXT:    psrldq {{.*#+}} xmm2 = xmm2[12,13,14,15],zero,zero,zero,zero,zero,zero,zero,zero,zero,zero,zero,zero
// CHECK-SSE42-NEXT:    movdqa %xmm1, %xmm3
// CHECK-SSE42-NEXT:    psrld %xmm2, %xmm3
// CHECK-SSE42-NEXT:    movdqa %xmm0, %xmm2
// CHECK-SSE42-NEXT:    psrlq $32, %xmm2
// CHECK-SSE42-NEXT:    movdqa %xmm1, %xmm4
// CHECK-SSE42-NEXT:    psrld %xmm2, %xmm4
// CHECK-SSE42-NEXT:    pblendw {{.*#+}} xmm4 = xmm4[0,1,2,3],xmm3[4,5,6,7]
// CHECK-SSE42-NEXT:    pxor %xmm2, %xmm2
// CHECK-SSE42-NEXT:    pmovzxdq {{.*#+}} xmm3 = xmm0[0],zero,xmm0[1],zero
// CHECK-SSE42-NEXT:    punpckhdq {{.*#+}} xmm0 = xmm0[2],xmm2[2],xmm0[3],xmm2[3]
// CHECK-SSE42-NEXT:    movdqa %xmm1, %xmm2
// CHECK-SSE42-NEXT:    psrld %xmm0, %xmm2
// CHECK-SSE42-NEXT:    psrld %xmm3, %xmm1
// CHECK-SSE42-NEXT:    pblendw {{.*#+}} xmm1 = xmm1[0,1,2,3],xmm2[4,5,6,7]
// CHECK-SSE42-NEXT:    pblendw {{.*#+}} xmm1 = xmm1[0,1],xmm4[2,3],xmm1[4,5],xmm4[6,7]
// CHECK-SSE42-NEXT:    movdqa %xmm1, (%rdi)
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: operatorSHREQ_6:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vmovdqa (%rdi), %ymm1
// CHECK-AVX2-NEXT:    vpsrlvd %ymm0, %ymm1, %ymm0
// CHECK-AVX2-NEXT:    vmovdqa %ymm0, (%rdi)
// CHECK-AVX2-NEXT:    vzeroupper
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: operatorSHREQ_6:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vmovdqa (%rdi), %xmm1
// CHECK-AVX2-128-NEXT:    vpsrlvd %xmm0, %xmm1, %xmm0
// CHECK-AVX2-128-NEXT:    vmovdqa %xmm0, (%rdi)
// CHECK-AVX2-128-NEXT:    retq
void operatorSHREQ_6(TestedSimd<uint32>& a, TestedSimd<uint32> b) {
  a >>= b;
}

// CHECK-SSE42-LABEL: operatorSHREQ_7:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    movdqa (%rdi), %xmm1
// CHECK-SSE42-NEXT:    pshufd {{.*#+}} xmm2 = xmm0[2,3,0,1]
// CHECK-SSE42-NEXT:    movdqa %xmm1, %xmm3
// CHECK-SSE42-NEXT:    psrlq %xmm2, %xmm3
// CHECK-SSE42-NEXT:    psrlq %xmm0, %xmm1
// CHECK-SSE42-NEXT:    pblendw {{.*#+}} xmm1 = xmm1[0,1,2,3],xmm3[4,5,6,7]
// CHECK-SSE42-NEXT:    movdqa %xmm1, (%rdi)
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: operatorSHREQ_7:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vmovdqa (%rdi), %ymm1
// CHECK-AVX2-NEXT:    vpsrlvq %ymm0, %ymm1, %ymm0
// CHECK-AVX2-NEXT:    vmovdqa %ymm0, (%rdi)
// CHECK-AVX2-NEXT:    vzeroupper
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: operatorSHREQ_7:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vmovdqa (%rdi), %xmm1
// CHECK-AVX2-128-NEXT:    vpsrlvq %xmm0, %xmm1, %xmm0
// CHECK-AVX2-128-NEXT:    vmovdqa %xmm0, (%rdi)
// CHECK-AVX2-128-NEXT:    retq
void operatorSHREQ_7(TestedSimd<uint64>& a, TestedSimd<uint64> b) {
  a >>= b;
}

// CHECK-SSE42-LABEL: operatorANDEQ_0:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    andps (%rdi), %xmm0
// CHECK-SSE42-NEXT:    movaps %xmm0, (%rdi)
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: operatorANDEQ_0:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vandps (%rdi), %ymm0, %ymm0
// CHECK-AVX2-NEXT:    vmovaps %ymm0, (%rdi)
// CHECK-AVX2-NEXT:    vzeroupper
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: operatorANDEQ_0:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vandps (%rdi), %xmm0, %xmm0
// CHECK-AVX2-128-NEXT:    vmovaps %xmm0, (%rdi)
// CHECK-AVX2-128-NEXT:    retq
void operatorANDEQ_0(TestedSimd<int8>& a, TestedSimd<int8> b) {
  a &= b;
}

// CHECK-SSE42-LABEL: operatorANDEQ_1:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    andps (%rdi), %xmm0
// CHECK-SSE42-NEXT:    movaps %xmm0, (%rdi)
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: operatorANDEQ_1:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vandps (%rdi), %ymm0, %ymm0
// CHECK-AVX2-NEXT:    vmovaps %ymm0, (%rdi)
// CHECK-AVX2-NEXT:    vzeroupper
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: operatorANDEQ_1:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vandps (%rdi), %xmm0, %xmm0
// CHECK-AVX2-128-NEXT:    vmovaps %xmm0, (%rdi)
// CHECK-AVX2-128-NEXT:    retq
void operatorANDEQ_1(TestedSimd<int16>& a, TestedSimd<int16> b) {
  a &= b;
}

// CHECK-SSE42-LABEL: operatorANDEQ_2:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    andps (%rdi), %xmm0
// CHECK-SSE42-NEXT:    movaps %xmm0, (%rdi)
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: operatorANDEQ_2:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vandps (%rdi), %ymm0, %ymm0
// CHECK-AVX2-NEXT:    vmovaps %ymm0, (%rdi)
// CHECK-AVX2-NEXT:    vzeroupper
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: operatorANDEQ_2:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vandps (%rdi), %xmm0, %xmm0
// CHECK-AVX2-128-NEXT:    vmovaps %xmm0, (%rdi)
// CHECK-AVX2-128-NEXT:    retq
void operatorANDEQ_2(TestedSimd<int32>& a, TestedSimd<int32> b) {
  a &= b;
}

// CHECK-SSE42-LABEL: operatorANDEQ_3:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    andps (%rdi), %xmm0
// CHECK-SSE42-NEXT:    movaps %xmm0, (%rdi)
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: operatorANDEQ_3:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vandps (%rdi), %ymm0, %ymm0
// CHECK-AVX2-NEXT:    vmovaps %ymm0, (%rdi)
// CHECK-AVX2-NEXT:    vzeroupper
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: operatorANDEQ_3:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vandps (%rdi), %xmm0, %xmm0
// CHECK-AVX2-128-NEXT:    vmovaps %xmm0, (%rdi)
// CHECK-AVX2-128-NEXT:    retq
void operatorANDEQ_3(TestedSimd<int64>& a, TestedSimd<int64> b) {
  a &= b;
}

// CHECK-SSE42-LABEL: operatorANDEQ_4:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    andps (%rdi), %xmm0
// CHECK-SSE42-NEXT:    movaps %xmm0, (%rdi)
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: operatorANDEQ_4:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vandps (%rdi), %ymm0, %ymm0
// CHECK-AVX2-NEXT:    vmovaps %ymm0, (%rdi)
// CHECK-AVX2-NEXT:    vzeroupper
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: operatorANDEQ_4:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vandps (%rdi), %xmm0, %xmm0
// CHECK-AVX2-128-NEXT:    vmovaps %xmm0, (%rdi)
// CHECK-AVX2-128-NEXT:    retq
void operatorANDEQ_4(TestedSimd<uint8>& a, TestedSimd<uint8> b) {
  a &= b;
}

// CHECK-SSE42-LABEL: operatorANDEQ_5:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    andps (%rdi), %xmm0
// CHECK-SSE42-NEXT:    movaps %xmm0, (%rdi)
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: operatorANDEQ_5:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vandps (%rdi), %ymm0, %ymm0
// CHECK-AVX2-NEXT:    vmovaps %ymm0, (%rdi)
// CHECK-AVX2-NEXT:    vzeroupper
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: operatorANDEQ_5:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vandps (%rdi), %xmm0, %xmm0
// CHECK-AVX2-128-NEXT:    vmovaps %xmm0, (%rdi)
// CHECK-AVX2-128-NEXT:    retq
void operatorANDEQ_5(TestedSimd<uint16>& a, TestedSimd<uint16> b) {
  a &= b;
}

// CHECK-SSE42-LABEL: operatorANDEQ_6:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    andps (%rdi), %xmm0
// CHECK-SSE42-NEXT:    movaps %xmm0, (%rdi)
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: operatorANDEQ_6:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vandps (%rdi), %ymm0, %ymm0
// CHECK-AVX2-NEXT:    vmovaps %ymm0, (%rdi)
// CHECK-AVX2-NEXT:    vzeroupper
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: operatorANDEQ_6:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vandps (%rdi), %xmm0, %xmm0
// CHECK-AVX2-128-NEXT:    vmovaps %xmm0, (%rdi)
// CHECK-AVX2-128-NEXT:    retq
void operatorANDEQ_6(TestedSimd<uint32>& a, TestedSimd<uint32> b) {
  a &= b;
}

// CHECK-SSE42-LABEL: operatorANDEQ_7:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    andps (%rdi), %xmm0
// CHECK-SSE42-NEXT:    movaps %xmm0, (%rdi)
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: operatorANDEQ_7:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vandps (%rdi), %ymm0, %ymm0
// CHECK-AVX2-NEXT:    vmovaps %ymm0, (%rdi)
// CHECK-AVX2-NEXT:    vzeroupper
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: operatorANDEQ_7:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vandps (%rdi), %xmm0, %xmm0
// CHECK-AVX2-128-NEXT:    vmovaps %xmm0, (%rdi)
// CHECK-AVX2-128-NEXT:    retq
void operatorANDEQ_7(TestedSimd<uint64>& a, TestedSimd<uint64> b) {
  a &= b;
}

// CHECK-SSE42-LABEL: operatorXOREQ_0:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    xorps (%rdi), %xmm0
// CHECK-SSE42-NEXT:    movaps %xmm0, (%rdi)
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: operatorXOREQ_0:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vxorps (%rdi), %ymm0, %ymm0
// CHECK-AVX2-NEXT:    vmovaps %ymm0, (%rdi)
// CHECK-AVX2-NEXT:    vzeroupper
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: operatorXOREQ_0:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vxorps (%rdi), %xmm0, %xmm0
// CHECK-AVX2-128-NEXT:    vmovaps %xmm0, (%rdi)
// CHECK-AVX2-128-NEXT:    retq
void operatorXOREQ_0(TestedSimd<int8>& a, TestedSimd<int8> b) {
  a ^= b;
}

// CHECK-SSE42-LABEL: operatorXOREQ_1:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    xorps (%rdi), %xmm0
// CHECK-SSE42-NEXT:    movaps %xmm0, (%rdi)
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: operatorXOREQ_1:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vxorps (%rdi), %ymm0, %ymm0
// CHECK-AVX2-NEXT:    vmovaps %ymm0, (%rdi)
// CHECK-AVX2-NEXT:    vzeroupper
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: operatorXOREQ_1:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vxorps (%rdi), %xmm0, %xmm0
// CHECK-AVX2-128-NEXT:    vmovaps %xmm0, (%rdi)
// CHECK-AVX2-128-NEXT:    retq
void operatorXOREQ_1(TestedSimd<int16>& a, TestedSimd<int16> b) {
  a ^= b;
}

// CHECK-SSE42-LABEL: operatorXOREQ_2:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    xorps (%rdi), %xmm0
// CHECK-SSE42-NEXT:    movaps %xmm0, (%rdi)
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: operatorXOREQ_2:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vxorps (%rdi), %ymm0, %ymm0
// CHECK-AVX2-NEXT:    vmovaps %ymm0, (%rdi)
// CHECK-AVX2-NEXT:    vzeroupper
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: operatorXOREQ_2:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vxorps (%rdi), %xmm0, %xmm0
// CHECK-AVX2-128-NEXT:    vmovaps %xmm0, (%rdi)
// CHECK-AVX2-128-NEXT:    retq
void operatorXOREQ_2(TestedSimd<int32>& a, TestedSimd<int32> b) {
  a ^= b;
}

// CHECK-SSE42-LABEL: operatorXOREQ_3:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    xorps (%rdi), %xmm0
// CHECK-SSE42-NEXT:    movaps %xmm0, (%rdi)
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: operatorXOREQ_3:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vxorps (%rdi), %ymm0, %ymm0
// CHECK-AVX2-NEXT:    vmovaps %ymm0, (%rdi)
// CHECK-AVX2-NEXT:    vzeroupper
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: operatorXOREQ_3:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vxorps (%rdi), %xmm0, %xmm0
// CHECK-AVX2-128-NEXT:    vmovaps %xmm0, (%rdi)
// CHECK-AVX2-128-NEXT:    retq
void operatorXOREQ_3(TestedSimd<int64>& a, TestedSimd<int64> b) {
  a ^= b;
}

// CHECK-SSE42-LABEL: operatorXOREQ_4:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    xorps (%rdi), %xmm0
// CHECK-SSE42-NEXT:    movaps %xmm0, (%rdi)
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: operatorXOREQ_4:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vxorps (%rdi), %ymm0, %ymm0
// CHECK-AVX2-NEXT:    vmovaps %ymm0, (%rdi)
// CHECK-AVX2-NEXT:    vzeroupper
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: operatorXOREQ_4:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vxorps (%rdi), %xmm0, %xmm0
// CHECK-AVX2-128-NEXT:    vmovaps %xmm0, (%rdi)
// CHECK-AVX2-128-NEXT:    retq
void operatorXOREQ_4(TestedSimd<uint8>& a, TestedSimd<uint8> b) {
  a ^= b;
}

// CHECK-SSE42-LABEL: operatorXOREQ_5:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    xorps (%rdi), %xmm0
// CHECK-SSE42-NEXT:    movaps %xmm0, (%rdi)
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: operatorXOREQ_5:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vxorps (%rdi), %ymm0, %ymm0
// CHECK-AVX2-NEXT:    vmovaps %ymm0, (%rdi)
// CHECK-AVX2-NEXT:    vzeroupper
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: operatorXOREQ_5:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vxorps (%rdi), %xmm0, %xmm0
// CHECK-AVX2-128-NEXT:    vmovaps %xmm0, (%rdi)
// CHECK-AVX2-128-NEXT:    retq
void operatorXOREQ_5(TestedSimd<uint16>& a, TestedSimd<uint16> b) {
  a ^= b;
}

// CHECK-SSE42-LABEL: operatorXOREQ_6:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    xorps (%rdi), %xmm0
// CHECK-SSE42-NEXT:    movaps %xmm0, (%rdi)
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: operatorXOREQ_6:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vxorps (%rdi), %ymm0, %ymm0
// CHECK-AVX2-NEXT:    vmovaps %ymm0, (%rdi)
// CHECK-AVX2-NEXT:    vzeroupper
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: operatorXOREQ_6:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vxorps (%rdi), %xmm0, %xmm0
// CHECK-AVX2-128-NEXT:    vmovaps %xmm0, (%rdi)
// CHECK-AVX2-128-NEXT:    retq
void operatorXOREQ_6(TestedSimd<uint32>& a, TestedSimd<uint32> b) {
  a ^= b;
}

// CHECK-SSE42-LABEL: operatorXOREQ_7:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    xorps (%rdi), %xmm0
// CHECK-SSE42-NEXT:    movaps %xmm0, (%rdi)
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: operatorXOREQ_7:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vxorps (%rdi), %ymm0, %ymm0
// CHECK-AVX2-NEXT:    vmovaps %ymm0, (%rdi)
// CHECK-AVX2-NEXT:    vzeroupper
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: operatorXOREQ_7:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vxorps (%rdi), %xmm0, %xmm0
// CHECK-AVX2-128-NEXT:    vmovaps %xmm0, (%rdi)
// CHECK-AVX2-128-NEXT:    retq
void operatorXOREQ_7(TestedSimd<uint64>& a, TestedSimd<uint64> b) {
  a ^= b;
}

// CHECK-SSE42-LABEL: operatorOREQ_0:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    orps (%rdi), %xmm0
// CHECK-SSE42-NEXT:    movaps %xmm0, (%rdi)
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: operatorOREQ_0:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vorps (%rdi), %ymm0, %ymm0
// CHECK-AVX2-NEXT:    vmovaps %ymm0, (%rdi)
// CHECK-AVX2-NEXT:    vzeroupper
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: operatorOREQ_0:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vorps (%rdi), %xmm0, %xmm0
// CHECK-AVX2-128-NEXT:    vmovaps %xmm0, (%rdi)
// CHECK-AVX2-128-NEXT:    retq
void operatorOREQ_0(TestedSimd<int8>& a, TestedSimd<int8> b) {
  a |= b;
}

// CHECK-SSE42-LABEL: operatorOREQ_1:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    orps (%rdi), %xmm0
// CHECK-SSE42-NEXT:    movaps %xmm0, (%rdi)
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: operatorOREQ_1:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vorps (%rdi), %ymm0, %ymm0
// CHECK-AVX2-NEXT:    vmovaps %ymm0, (%rdi)
// CHECK-AVX2-NEXT:    vzeroupper
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: operatorOREQ_1:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vorps (%rdi), %xmm0, %xmm0
// CHECK-AVX2-128-NEXT:    vmovaps %xmm0, (%rdi)
// CHECK-AVX2-128-NEXT:    retq
void operatorOREQ_1(TestedSimd<int16>& a, TestedSimd<int16> b) {
  a |= b;
}

// CHECK-SSE42-LABEL: operatorOREQ_2:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    orps (%rdi), %xmm0
// CHECK-SSE42-NEXT:    movaps %xmm0, (%rdi)
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: operatorOREQ_2:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vorps (%rdi), %ymm0, %ymm0
// CHECK-AVX2-NEXT:    vmovaps %ymm0, (%rdi)
// CHECK-AVX2-NEXT:    vzeroupper
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: operatorOREQ_2:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vorps (%rdi), %xmm0, %xmm0
// CHECK-AVX2-128-NEXT:    vmovaps %xmm0, (%rdi)
// CHECK-AVX2-128-NEXT:    retq
void operatorOREQ_2(TestedSimd<int32>& a, TestedSimd<int32> b) {
  a |= b;
}

// CHECK-SSE42-LABEL: operatorOREQ_3:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    orps (%rdi), %xmm0
// CHECK-SSE42-NEXT:    movaps %xmm0, (%rdi)
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: operatorOREQ_3:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vorps (%rdi), %ymm0, %ymm0
// CHECK-AVX2-NEXT:    vmovaps %ymm0, (%rdi)
// CHECK-AVX2-NEXT:    vzeroupper
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: operatorOREQ_3:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vorps (%rdi), %xmm0, %xmm0
// CHECK-AVX2-128-NEXT:    vmovaps %xmm0, (%rdi)
// CHECK-AVX2-128-NEXT:    retq
void operatorOREQ_3(TestedSimd<int64>& a, TestedSimd<int64> b) {
  a |= b;
}

// CHECK-SSE42-LABEL: operatorOREQ_4:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    orps (%rdi), %xmm0
// CHECK-SSE42-NEXT:    movaps %xmm0, (%rdi)
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: operatorOREQ_4:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vorps (%rdi), %ymm0, %ymm0
// CHECK-AVX2-NEXT:    vmovaps %ymm0, (%rdi)
// CHECK-AVX2-NEXT:    vzeroupper
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: operatorOREQ_4:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vorps (%rdi), %xmm0, %xmm0
// CHECK-AVX2-128-NEXT:    vmovaps %xmm0, (%rdi)
// CHECK-AVX2-128-NEXT:    retq
void operatorOREQ_4(TestedSimd<uint8>& a, TestedSimd<uint8> b) {
  a |= b;
}

// CHECK-SSE42-LABEL: operatorOREQ_5:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    orps (%rdi), %xmm0
// CHECK-SSE42-NEXT:    movaps %xmm0, (%rdi)
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: operatorOREQ_5:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vorps (%rdi), %ymm0, %ymm0
// CHECK-AVX2-NEXT:    vmovaps %ymm0, (%rdi)
// CHECK-AVX2-NEXT:    vzeroupper
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: operatorOREQ_5:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vorps (%rdi), %xmm0, %xmm0
// CHECK-AVX2-128-NEXT:    vmovaps %xmm0, (%rdi)
// CHECK-AVX2-128-NEXT:    retq
void operatorOREQ_5(TestedSimd<uint16>& a, TestedSimd<uint16> b) {
  a |= b;
}

// CHECK-SSE42-LABEL: operatorOREQ_6:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    orps (%rdi), %xmm0
// CHECK-SSE42-NEXT:    movaps %xmm0, (%rdi)
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: operatorOREQ_6:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vorps (%rdi), %ymm0, %ymm0
// CHECK-AVX2-NEXT:    vmovaps %ymm0, (%rdi)
// CHECK-AVX2-NEXT:    vzeroupper
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: operatorOREQ_6:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vorps (%rdi), %xmm0, %xmm0
// CHECK-AVX2-128-NEXT:    vmovaps %xmm0, (%rdi)
// CHECK-AVX2-128-NEXT:    retq
void operatorOREQ_6(TestedSimd<uint32>& a, TestedSimd<uint32> b) {
  a |= b;
}

// CHECK-SSE42-LABEL: operatorOREQ_7:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    orps (%rdi), %xmm0
// CHECK-SSE42-NEXT:    movaps %xmm0, (%rdi)
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: operatorOREQ_7:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vorps (%rdi), %ymm0, %ymm0
// CHECK-AVX2-NEXT:    vmovaps %ymm0, (%rdi)
// CHECK-AVX2-NEXT:    vzeroupper
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: operatorOREQ_7:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vorps (%rdi), %xmm0, %xmm0
// CHECK-AVX2-128-NEXT:    vmovaps %xmm0, (%rdi)
// CHECK-AVX2-128-NEXT:    retq
void operatorOREQ_7(TestedSimd<uint64>& a, TestedSimd<uint64> b) {
  a |= b;
}

// CHECK-SSE42-LABEL: copy_from_element_0:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    movups (%rdi), %xmm0
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: copy_from_element_0:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vmovups (%rdi), %ymm0
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: copy_from_element_0:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vmovups (%rdi), %xmm0
// CHECK-AVX2-128-NEXT:    retq
TestedSimd<int8> copy_from_element_0(int8* a) {
  TestedSimd<int8> r;
  r.copy_from(a, flags::element_aligned);
  return r;
}

// CHECK-SSE42-LABEL: copy_from_element_1:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    movups (%rdi), %xmm0
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: copy_from_element_1:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vmovups (%rdi), %ymm0
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: copy_from_element_1:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vmovups (%rdi), %xmm0
// CHECK-AVX2-128-NEXT:    retq
TestedSimd<int16> copy_from_element_1(int16* a) {
  TestedSimd<int16> r;
  r.copy_from(a, flags::element_aligned);
  return r;
}

// CHECK-SSE42-LABEL: copy_from_element_2:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    movups (%rdi), %xmm0
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: copy_from_element_2:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vmovups (%rdi), %ymm0
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: copy_from_element_2:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vmovups (%rdi), %xmm0
// CHECK-AVX2-128-NEXT:    retq
TestedSimd<int32> copy_from_element_2(int32* a) {
  TestedSimd<int32> r;
  r.copy_from(a, flags::element_aligned);
  return r;
}

// CHECK-SSE42-LABEL: copy_from_element_3:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    movups (%rdi), %xmm0
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: copy_from_element_3:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vmovups (%rdi), %ymm0
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: copy_from_element_3:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vmovups (%rdi), %xmm0
// CHECK-AVX2-128-NEXT:    retq
TestedSimd<int64> copy_from_element_3(int64* a) {
  TestedSimd<int64> r;
  r.copy_from(a, flags::element_aligned);
  return r;
}

// CHECK-SSE42-LABEL: copy_from_element_4:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    movups (%rdi), %xmm0
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: copy_from_element_4:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vmovups (%rdi), %ymm0
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: copy_from_element_4:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vmovups (%rdi), %xmm0
// CHECK-AVX2-128-NEXT:    retq
TestedSimd<uint8> copy_from_element_4(uint8* a) {
  TestedSimd<uint8> r;
  r.copy_from(a, flags::element_aligned);
  return r;
}

// CHECK-SSE42-LABEL: copy_from_element_5:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    movups (%rdi), %xmm0
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: copy_from_element_5:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vmovups (%rdi), %ymm0
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: copy_from_element_5:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vmovups (%rdi), %xmm0
// CHECK-AVX2-128-NEXT:    retq
TestedSimd<uint16> copy_from_element_5(uint16* a) {
  TestedSimd<uint16> r;
  r.copy_from(a, flags::element_aligned);
  return r;
}

// CHECK-SSE42-LABEL: copy_from_element_6:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    movups (%rdi), %xmm0
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: copy_from_element_6:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vmovups (%rdi), %ymm0
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: copy_from_element_6:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vmovups (%rdi), %xmm0
// CHECK-AVX2-128-NEXT:    retq
TestedSimd<uint32> copy_from_element_6(uint32* a) {
  TestedSimd<uint32> r;
  r.copy_from(a, flags::element_aligned);
  return r;
}

// CHECK-SSE42-LABEL: copy_from_element_7:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    movups (%rdi), %xmm0
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: copy_from_element_7:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vmovups (%rdi), %ymm0
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: copy_from_element_7:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vmovups (%rdi), %xmm0
// CHECK-AVX2-128-NEXT:    retq
TestedSimd<uint64> copy_from_element_7(uint64* a) {
  TestedSimd<uint64> r;
  r.copy_from(a, flags::element_aligned);
  return r;
}

// CHECK-SSE42-LABEL: copy_from_element_8:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    movups (%rdi), %xmm0
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: copy_from_element_8:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vmovups (%rdi), %ymm0
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: copy_from_element_8:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vmovups (%rdi), %xmm0
// CHECK-AVX2-128-NEXT:    retq
TestedSimd<float> copy_from_element_8(float* a) {
  TestedSimd<float> r;
  r.copy_from(a, flags::element_aligned);
  return r;
}

// CHECK-SSE42-LABEL: copy_from_element_9:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    movups (%rdi), %xmm0
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: copy_from_element_9:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vmovups (%rdi), %ymm0
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: copy_from_element_9:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vmovups (%rdi), %xmm0
// CHECK-AVX2-128-NEXT:    retq
TestedSimd<double> copy_from_element_9(double* a) {
  TestedSimd<double> r;
  r.copy_from(a, flags::element_aligned);
  return r;
}

// CHECK-SSE42-LABEL: copy_from_vector_0:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    movaps (%rdi), %xmm0
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: copy_from_vector_0:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vmovaps (%rdi), %ymm0
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: copy_from_vector_0:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vmovaps (%rdi), %xmm0
// CHECK-AVX2-128-NEXT:    retq
TestedSimd<int8> copy_from_vector_0(int8* a) {
  TestedSimd<int8> r;
  r.copy_from(a, flags::vector_aligned);
  return r;
}

// CHECK-SSE42-LABEL: copy_from_vector_1:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    movaps (%rdi), %xmm0
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: copy_from_vector_1:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vmovaps (%rdi), %ymm0
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: copy_from_vector_1:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vmovaps (%rdi), %xmm0
// CHECK-AVX2-128-NEXT:    retq
TestedSimd<int16> copy_from_vector_1(int16* a) {
  TestedSimd<int16> r;
  r.copy_from(a, flags::vector_aligned);
  return r;
}

// CHECK-SSE42-LABEL: copy_from_vector_2:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    movaps (%rdi), %xmm0
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: copy_from_vector_2:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vmovaps (%rdi), %ymm0
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: copy_from_vector_2:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vmovaps (%rdi), %xmm0
// CHECK-AVX2-128-NEXT:    retq
TestedSimd<int32> copy_from_vector_2(int32* a) {
  TestedSimd<int32> r;
  r.copy_from(a, flags::vector_aligned);
  return r;
}

// CHECK-SSE42-LABEL: copy_from_vector_3:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    movaps (%rdi), %xmm0
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: copy_from_vector_3:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vmovaps (%rdi), %ymm0
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: copy_from_vector_3:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vmovaps (%rdi), %xmm0
// CHECK-AVX2-128-NEXT:    retq
TestedSimd<int64> copy_from_vector_3(int64* a) {
  TestedSimd<int64> r;
  r.copy_from(a, flags::vector_aligned);
  return r;
}

// CHECK-SSE42-LABEL: copy_from_vector_4:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    movaps (%rdi), %xmm0
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: copy_from_vector_4:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vmovaps (%rdi), %ymm0
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: copy_from_vector_4:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vmovaps (%rdi), %xmm0
// CHECK-AVX2-128-NEXT:    retq
TestedSimd<uint8> copy_from_vector_4(uint8* a) {
  TestedSimd<uint8> r;
  r.copy_from(a, flags::vector_aligned);
  return r;
}

// CHECK-SSE42-LABEL: copy_from_vector_5:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    movaps (%rdi), %xmm0
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: copy_from_vector_5:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vmovaps (%rdi), %ymm0
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: copy_from_vector_5:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vmovaps (%rdi), %xmm0
// CHECK-AVX2-128-NEXT:    retq
TestedSimd<uint16> copy_from_vector_5(uint16* a) {
  TestedSimd<uint16> r;
  r.copy_from(a, flags::vector_aligned);
  return r;
}

// CHECK-SSE42-LABEL: copy_from_vector_6:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    movaps (%rdi), %xmm0
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: copy_from_vector_6:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vmovaps (%rdi), %ymm0
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: copy_from_vector_6:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vmovaps (%rdi), %xmm0
// CHECK-AVX2-128-NEXT:    retq
TestedSimd<uint32> copy_from_vector_6(uint32* a) {
  TestedSimd<uint32> r;
  r.copy_from(a, flags::vector_aligned);
  return r;
}

// CHECK-SSE42-LABEL: copy_from_vector_7:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    movaps (%rdi), %xmm0
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: copy_from_vector_7:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vmovaps (%rdi), %ymm0
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: copy_from_vector_7:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vmovaps (%rdi), %xmm0
// CHECK-AVX2-128-NEXT:    retq
TestedSimd<uint64> copy_from_vector_7(uint64* a) {
  TestedSimd<uint64> r;
  r.copy_from(a, flags::vector_aligned);
  return r;
}

// CHECK-SSE42-LABEL: copy_from_vector_8:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    movaps (%rdi), %xmm0
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: copy_from_vector_8:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vmovaps (%rdi), %ymm0
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: copy_from_vector_8:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vmovaps (%rdi), %xmm0
// CHECK-AVX2-128-NEXT:    retq
TestedSimd<float> copy_from_vector_8(float* a) {
  TestedSimd<float> r;
  r.copy_from(a, flags::vector_aligned);
  return r;
}

// CHECK-SSE42-LABEL: copy_from_vector_9:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    movaps (%rdi), %xmm0
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: copy_from_vector_9:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vmovaps (%rdi), %ymm0
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: copy_from_vector_9:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vmovaps (%rdi), %xmm0
// CHECK-AVX2-128-NEXT:    retq
TestedSimd<double> copy_from_vector_9(double* a) {
  TestedSimd<double> r;
  r.copy_from(a, flags::vector_aligned);
  return r;
}

// CHECK-SSE42-LABEL: copy_to_element_0:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    movups %xmm0, (%rdi)
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: copy_to_element_0:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vmovups %ymm0, (%rdi)
// CHECK-AVX2-NEXT:    vzeroupper
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: copy_to_element_0:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vmovups %xmm0, (%rdi)
// CHECK-AVX2-128-NEXT:    retq
void copy_to_element_0(TestedSimd<int8> a, int8* b) {
  a.copy_to(b, flags::element_aligned);
}

// CHECK-SSE42-LABEL: copy_to_element_1:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    movups %xmm0, (%rdi)
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: copy_to_element_1:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vmovups %ymm0, (%rdi)
// CHECK-AVX2-NEXT:    vzeroupper
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: copy_to_element_1:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vmovups %xmm0, (%rdi)
// CHECK-AVX2-128-NEXT:    retq
void copy_to_element_1(TestedSimd<int16> a, int16* b) {
  a.copy_to(b, flags::element_aligned);
}

// CHECK-SSE42-LABEL: copy_to_element_2:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    movups %xmm0, (%rdi)
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: copy_to_element_2:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vmovups %ymm0, (%rdi)
// CHECK-AVX2-NEXT:    vzeroupper
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: copy_to_element_2:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vmovups %xmm0, (%rdi)
// CHECK-AVX2-128-NEXT:    retq
void copy_to_element_2(TestedSimd<int32> a, int32* b) {
  a.copy_to(b, flags::element_aligned);
}

// CHECK-SSE42-LABEL: copy_to_element_3:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    movups %xmm0, (%rdi)
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: copy_to_element_3:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vmovups %ymm0, (%rdi)
// CHECK-AVX2-NEXT:    vzeroupper
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: copy_to_element_3:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vmovups %xmm0, (%rdi)
// CHECK-AVX2-128-NEXT:    retq
void copy_to_element_3(TestedSimd<int64> a, int64* b) {
  a.copy_to(b, flags::element_aligned);
}

// CHECK-SSE42-LABEL: copy_to_element_4:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    movups %xmm0, (%rdi)
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: copy_to_element_4:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vmovups %ymm0, (%rdi)
// CHECK-AVX2-NEXT:    vzeroupper
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: copy_to_element_4:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vmovups %xmm0, (%rdi)
// CHECK-AVX2-128-NEXT:    retq
void copy_to_element_4(TestedSimd<uint8> a, uint8* b) {
  a.copy_to(b, flags::element_aligned);
}

// CHECK-SSE42-LABEL: copy_to_element_5:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    movups %xmm0, (%rdi)
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: copy_to_element_5:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vmovups %ymm0, (%rdi)
// CHECK-AVX2-NEXT:    vzeroupper
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: copy_to_element_5:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vmovups %xmm0, (%rdi)
// CHECK-AVX2-128-NEXT:    retq
void copy_to_element_5(TestedSimd<uint16> a, uint16* b) {
  a.copy_to(b, flags::element_aligned);
}

// CHECK-SSE42-LABEL: copy_to_element_6:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    movups %xmm0, (%rdi)
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: copy_to_element_6:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vmovups %ymm0, (%rdi)
// CHECK-AVX2-NEXT:    vzeroupper
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: copy_to_element_6:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vmovups %xmm0, (%rdi)
// CHECK-AVX2-128-NEXT:    retq
void copy_to_element_6(TestedSimd<uint32> a, uint32* b) {
  a.copy_to(b, flags::element_aligned);
}

// CHECK-SSE42-LABEL: copy_to_element_7:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    movups %xmm0, (%rdi)
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: copy_to_element_7:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vmovups %ymm0, (%rdi)
// CHECK-AVX2-NEXT:    vzeroupper
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: copy_to_element_7:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vmovups %xmm0, (%rdi)
// CHECK-AVX2-128-NEXT:    retq
void copy_to_element_7(TestedSimd<uint64> a, uint64* b) {
  a.copy_to(b, flags::element_aligned);
}

// CHECK-SSE42-LABEL: copy_to_element_8:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    movups %xmm0, (%rdi)
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: copy_to_element_8:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vmovups %ymm0, (%rdi)
// CHECK-AVX2-NEXT:    vzeroupper
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: copy_to_element_8:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vmovups %xmm0, (%rdi)
// CHECK-AVX2-128-NEXT:    retq
void copy_to_element_8(TestedSimd<float> a, float* b) {
  a.copy_to(b, flags::element_aligned);
}

// CHECK-SSE42-LABEL: copy_to_element_9:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    movups %xmm0, (%rdi)
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: copy_to_element_9:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vmovups %ymm0, (%rdi)
// CHECK-AVX2-NEXT:    vzeroupper
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: copy_to_element_9:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vmovups %xmm0, (%rdi)
// CHECK-AVX2-128-NEXT:    retq
void copy_to_element_9(TestedSimd<double> a, double* b) {
  a.copy_to(b, flags::element_aligned);
}

// CHECK-SSE42-LABEL: copy_to_vector_0:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    movaps %xmm0, (%rdi)
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: copy_to_vector_0:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vmovaps %ymm0, (%rdi)
// CHECK-AVX2-NEXT:    vzeroupper
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: copy_to_vector_0:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vmovaps %xmm0, (%rdi)
// CHECK-AVX2-128-NEXT:    retq
void copy_to_vector_0(TestedSimd<int8> a, int8* b) {
  a.copy_to(b, flags::vector_aligned);
}

// CHECK-SSE42-LABEL: copy_to_vector_1:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    movaps %xmm0, (%rdi)
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: copy_to_vector_1:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vmovaps %ymm0, (%rdi)
// CHECK-AVX2-NEXT:    vzeroupper
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: copy_to_vector_1:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vmovaps %xmm0, (%rdi)
// CHECK-AVX2-128-NEXT:    retq
void copy_to_vector_1(TestedSimd<int16> a, int16* b) {
  a.copy_to(b, flags::vector_aligned);
}

// CHECK-SSE42-LABEL: copy_to_vector_2:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    movaps %xmm0, (%rdi)
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: copy_to_vector_2:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vmovaps %ymm0, (%rdi)
// CHECK-AVX2-NEXT:    vzeroupper
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: copy_to_vector_2:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vmovaps %xmm0, (%rdi)
// CHECK-AVX2-128-NEXT:    retq
void copy_to_vector_2(TestedSimd<int32> a, int32* b) {
  a.copy_to(b, flags::vector_aligned);
}

// CHECK-SSE42-LABEL: copy_to_vector_3:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    movaps %xmm0, (%rdi)
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: copy_to_vector_3:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vmovaps %ymm0, (%rdi)
// CHECK-AVX2-NEXT:    vzeroupper
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: copy_to_vector_3:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vmovaps %xmm0, (%rdi)
// CHECK-AVX2-128-NEXT:    retq
void copy_to_vector_3(TestedSimd<int64> a, int64* b) {
  a.copy_to(b, flags::vector_aligned);
}

// CHECK-SSE42-LABEL: copy_to_vector_4:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    movaps %xmm0, (%rdi)
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: copy_to_vector_4:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vmovaps %ymm0, (%rdi)
// CHECK-AVX2-NEXT:    vzeroupper
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: copy_to_vector_4:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vmovaps %xmm0, (%rdi)
// CHECK-AVX2-128-NEXT:    retq
void copy_to_vector_4(TestedSimd<uint8> a, uint8* b) {
  a.copy_to(b, flags::vector_aligned);
}

// CHECK-SSE42-LABEL: copy_to_vector_5:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    movaps %xmm0, (%rdi)
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: copy_to_vector_5:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vmovaps %ymm0, (%rdi)
// CHECK-AVX2-NEXT:    vzeroupper
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: copy_to_vector_5:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vmovaps %xmm0, (%rdi)
// CHECK-AVX2-128-NEXT:    retq
void copy_to_vector_5(TestedSimd<uint16> a, uint16* b) {
  a.copy_to(b, flags::vector_aligned);
}

// CHECK-SSE42-LABEL: copy_to_vector_6:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    movaps %xmm0, (%rdi)
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: copy_to_vector_6:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vmovaps %ymm0, (%rdi)
// CHECK-AVX2-NEXT:    vzeroupper
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: copy_to_vector_6:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vmovaps %xmm0, (%rdi)
// CHECK-AVX2-128-NEXT:    retq
void copy_to_vector_6(TestedSimd<uint32> a, uint32* b) {
  a.copy_to(b, flags::vector_aligned);
}

// CHECK-SSE42-LABEL: copy_to_vector_7:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    movaps %xmm0, (%rdi)
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: copy_to_vector_7:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vmovaps %ymm0, (%rdi)
// CHECK-AVX2-NEXT:    vzeroupper
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: copy_to_vector_7:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vmovaps %xmm0, (%rdi)
// CHECK-AVX2-128-NEXT:    retq
void copy_to_vector_7(TestedSimd<uint64> a, uint64* b) {
  a.copy_to(b, flags::vector_aligned);
}

// CHECK-SSE42-LABEL: copy_to_vector_8:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    movaps %xmm0, (%rdi)
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: copy_to_vector_8:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vmovaps %ymm0, (%rdi)
// CHECK-AVX2-NEXT:    vzeroupper
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: copy_to_vector_8:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vmovaps %xmm0, (%rdi)
// CHECK-AVX2-128-NEXT:    retq
void copy_to_vector_8(TestedSimd<float> a, float* b) {
  a.copy_to(b, flags::vector_aligned);
}

// CHECK-SSE42-LABEL: copy_to_vector_9:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    movaps %xmm0, (%rdi)
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: copy_to_vector_9:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vmovaps %ymm0, (%rdi)
// CHECK-AVX2-NEXT:    vzeroupper
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: copy_to_vector_9:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vmovaps %xmm0, (%rdi)
// CHECK-AVX2-128-NEXT:    retq
void copy_to_vector_9(TestedSimd<double> a, double* b) {
  a.copy_to(b, flags::vector_aligned);
}

// CHECK-SSE42-LABEL: operatorUNARY_ADD_0:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: operatorUNARY_ADD_0:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: operatorUNARY_ADD_0:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    retq
TestedSimd<int8> operatorUNARY_ADD_0(TestedSimd<int8> a) {
  return +a;
}

// CHECK-SSE42-LABEL: operatorUNARY_ADD_1:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: operatorUNARY_ADD_1:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: operatorUNARY_ADD_1:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    retq
TestedSimd<int16> operatorUNARY_ADD_1(TestedSimd<int16> a) {
  return +a;
}

// CHECK-SSE42-LABEL: operatorUNARY_ADD_2:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: operatorUNARY_ADD_2:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: operatorUNARY_ADD_2:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    retq
TestedSimd<int32> operatorUNARY_ADD_2(TestedSimd<int32> a) {
  return +a;
}

// CHECK-SSE42-LABEL: operatorUNARY_ADD_3:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: operatorUNARY_ADD_3:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: operatorUNARY_ADD_3:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    retq
TestedSimd<int64> operatorUNARY_ADD_3(TestedSimd<int64> a) {
  return +a;
}

// CHECK-SSE42-LABEL: operatorUNARY_ADD_4:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: operatorUNARY_ADD_4:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: operatorUNARY_ADD_4:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    retq
TestedSimd<uint8> operatorUNARY_ADD_4(TestedSimd<uint8> a) {
  return +a;
}

// CHECK-SSE42-LABEL: operatorUNARY_ADD_5:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: operatorUNARY_ADD_5:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: operatorUNARY_ADD_5:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    retq
TestedSimd<uint16> operatorUNARY_ADD_5(TestedSimd<uint16> a) {
  return +a;
}

// CHECK-SSE42-LABEL: operatorUNARY_ADD_6:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: operatorUNARY_ADD_6:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: operatorUNARY_ADD_6:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    retq
TestedSimd<uint32> operatorUNARY_ADD_6(TestedSimd<uint32> a) {
  return +a;
}

// CHECK-SSE42-LABEL: operatorUNARY_ADD_7:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: operatorUNARY_ADD_7:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: operatorUNARY_ADD_7:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    retq
TestedSimd<uint64> operatorUNARY_ADD_7(TestedSimd<uint64> a) {
  return +a;
}

// CHECK-SSE42-LABEL: operatorUNARY_ADD_8:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: operatorUNARY_ADD_8:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: operatorUNARY_ADD_8:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    retq
TestedSimd<float> operatorUNARY_ADD_8(TestedSimd<float> a) {
  return +a;
}

// CHECK-SSE42-LABEL: operatorUNARY_ADD_9:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: operatorUNARY_ADD_9:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: operatorUNARY_ADD_9:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    retq
TestedSimd<double> operatorUNARY_ADD_9(TestedSimd<double> a) {
  return +a;
}

// CHECK-SSE42-LABEL: operatorUNARY_SUB_0:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    pxor %xmm1, %xmm1
// CHECK-SSE42-NEXT:    psubb %xmm0, %xmm1
// CHECK-SSE42-NEXT:    movdqa %xmm1, %xmm0
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: operatorUNARY_SUB_0:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vpxor %xmm1, %xmm1, %xmm1
// CHECK-AVX2-NEXT:    vpsubb %ymm0, %ymm1, %ymm0
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: operatorUNARY_SUB_0:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vpxor %xmm1, %xmm1, %xmm1
// CHECK-AVX2-128-NEXT:    vpsubb %xmm0, %xmm1, %xmm0
// CHECK-AVX2-128-NEXT:    retq
TestedSimd<int8> operatorUNARY_SUB_0(TestedSimd<int8> a) {
  return -a;
}

// CHECK-SSE42-LABEL: operatorUNARY_SUB_1:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    pxor %xmm1, %xmm1
// CHECK-SSE42-NEXT:    psubw %xmm0, %xmm1
// CHECK-SSE42-NEXT:    movdqa %xmm1, %xmm0
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: operatorUNARY_SUB_1:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vpxor %xmm1, %xmm1, %xmm1
// CHECK-AVX2-NEXT:    vpsubw %ymm0, %ymm1, %ymm0
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: operatorUNARY_SUB_1:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vpxor %xmm1, %xmm1, %xmm1
// CHECK-AVX2-128-NEXT:    vpsubw %xmm0, %xmm1, %xmm0
// CHECK-AVX2-128-NEXT:    retq
TestedSimd<int16> operatorUNARY_SUB_1(TestedSimd<int16> a) {
  return -a;
}

// CHECK-SSE42-LABEL: operatorUNARY_SUB_2:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    pxor %xmm1, %xmm1
// CHECK-SSE42-NEXT:    psubd %xmm0, %xmm1
// CHECK-SSE42-NEXT:    movdqa %xmm1, %xmm0
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: operatorUNARY_SUB_2:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vpxor %xmm1, %xmm1, %xmm1
// CHECK-AVX2-NEXT:    vpsubd %ymm0, %ymm1, %ymm0
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: operatorUNARY_SUB_2:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vpxor %xmm1, %xmm1, %xmm1
// CHECK-AVX2-128-NEXT:    vpsubd %xmm0, %xmm1, %xmm0
// CHECK-AVX2-128-NEXT:    retq
TestedSimd<int32> operatorUNARY_SUB_2(TestedSimd<int32> a) {
  return -a;
}

// CHECK-SSE42-LABEL: operatorUNARY_SUB_3:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    pxor %xmm1, %xmm1
// CHECK-SSE42-NEXT:    psubq %xmm0, %xmm1
// CHECK-SSE42-NEXT:    movdqa %xmm1, %xmm0
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: operatorUNARY_SUB_3:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vpxor %xmm1, %xmm1, %xmm1
// CHECK-AVX2-NEXT:    vpsubq %ymm0, %ymm1, %ymm0
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: operatorUNARY_SUB_3:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vpxor %xmm1, %xmm1, %xmm1
// CHECK-AVX2-128-NEXT:    vpsubq %xmm0, %xmm1, %xmm0
// CHECK-AVX2-128-NEXT:    retq
TestedSimd<int64> operatorUNARY_SUB_3(TestedSimd<int64> a) {
  return -a;
}

// CHECK-SSE42-LABEL: operatorUNARY_SUB_4:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    pxor %xmm1, %xmm1
// CHECK-SSE42-NEXT:    psubb %xmm0, %xmm1
// CHECK-SSE42-NEXT:    movdqa %xmm1, %xmm0
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: operatorUNARY_SUB_4:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vpxor %xmm1, %xmm1, %xmm1
// CHECK-AVX2-NEXT:    vpsubb %ymm0, %ymm1, %ymm0
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: operatorUNARY_SUB_4:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vpxor %xmm1, %xmm1, %xmm1
// CHECK-AVX2-128-NEXT:    vpsubb %xmm0, %xmm1, %xmm0
// CHECK-AVX2-128-NEXT:    retq
TestedSimd<uint8> operatorUNARY_SUB_4(TestedSimd<uint8> a) {
  return -a;
}

// CHECK-SSE42-LABEL: operatorUNARY_SUB_5:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    pxor %xmm1, %xmm1
// CHECK-SSE42-NEXT:    psubw %xmm0, %xmm1
// CHECK-SSE42-NEXT:    movdqa %xmm1, %xmm0
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: operatorUNARY_SUB_5:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vpxor %xmm1, %xmm1, %xmm1
// CHECK-AVX2-NEXT:    vpsubw %ymm0, %ymm1, %ymm0
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: operatorUNARY_SUB_5:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vpxor %xmm1, %xmm1, %xmm1
// CHECK-AVX2-128-NEXT:    vpsubw %xmm0, %xmm1, %xmm0
// CHECK-AVX2-128-NEXT:    retq
TestedSimd<uint16> operatorUNARY_SUB_5(TestedSimd<uint16> a) {
  return -a;
}

// CHECK-SSE42-LABEL: operatorUNARY_SUB_6:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    pxor %xmm1, %xmm1
// CHECK-SSE42-NEXT:    psubd %xmm0, %xmm1
// CHECK-SSE42-NEXT:    movdqa %xmm1, %xmm0
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: operatorUNARY_SUB_6:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vpxor %xmm1, %xmm1, %xmm1
// CHECK-AVX2-NEXT:    vpsubd %ymm0, %ymm1, %ymm0
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: operatorUNARY_SUB_6:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vpxor %xmm1, %xmm1, %xmm1
// CHECK-AVX2-128-NEXT:    vpsubd %xmm0, %xmm1, %xmm0
// CHECK-AVX2-128-NEXT:    retq
TestedSimd<uint32> operatorUNARY_SUB_6(TestedSimd<uint32> a) {
  return -a;
}

// CHECK-SSE42-LABEL: operatorUNARY_SUB_7:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    pxor %xmm1, %xmm1
// CHECK-SSE42-NEXT:    psubq %xmm0, %xmm1
// CHECK-SSE42-NEXT:    movdqa %xmm1, %xmm0
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: operatorUNARY_SUB_7:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vpxor %xmm1, %xmm1, %xmm1
// CHECK-AVX2-NEXT:    vpsubq %ymm0, %ymm1, %ymm0
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: operatorUNARY_SUB_7:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vpxor %xmm1, %xmm1, %xmm1
// CHECK-AVX2-128-NEXT:    vpsubq %xmm0, %xmm1, %xmm0
// CHECK-AVX2-128-NEXT:    retq
TestedSimd<uint64> operatorUNARY_SUB_7(TestedSimd<uint64> a) {
  return -a;
}

// CHECK-SSE42-LABEL: operatorUNARY_SUB_8:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    xorps {{.*}}(%rip), %xmm0
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: operatorUNARY_SUB_8:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vbroadcastss {{.*#+}} ymm1 = [-0,-0,-0,-0,-0,-0,-0,-0]
// CHECK-AVX2-NEXT:    vxorps %ymm1, %ymm0, %ymm0
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: operatorUNARY_SUB_8:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vbroadcastss {{.*#+}} xmm1 = [-0,-0,-0,-0]
// CHECK-AVX2-128-NEXT:    vxorps %xmm1, %xmm0, %xmm0
// CHECK-AVX2-128-NEXT:    retq
TestedSimd<float> operatorUNARY_SUB_8(TestedSimd<float> a) {
  return -a;
}

// CHECK-SSE42-LABEL: operatorUNARY_SUB_9:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    xorps {{.*}}(%rip), %xmm0
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: operatorUNARY_SUB_9:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vbroadcastsd {{.*#+}} ymm1 = [-0,-0,-0,-0]
// CHECK-AVX2-NEXT:    vxorps %ymm1, %ymm0, %ymm0
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: operatorUNARY_SUB_9:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vxorps {{.*}}(%rip), %xmm0, %xmm0
// CHECK-AVX2-128-NEXT:    retq
TestedSimd<double> operatorUNARY_SUB_9(TestedSimd<double> a) {
  return -a;
}

// CHECK-SSE42-LABEL: operatorNOT_0:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    pcmpeqd %xmm1, %xmm1
// CHECK-SSE42-NEXT:    pxor %xmm1, %xmm0
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: operatorNOT_0:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vpcmpeqd %ymm1, %ymm1, %ymm1
// CHECK-AVX2-NEXT:    vpxor %ymm1, %ymm0, %ymm0
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: operatorNOT_0:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vpcmpeqd %xmm1, %xmm1, %xmm1
// CHECK-AVX2-128-NEXT:    vpxor %xmm1, %xmm0, %xmm0
// CHECK-AVX2-128-NEXT:    retq
TestedSimd<int8> operatorNOT_0(TestedSimd<int8> a) {
  return ~a;
}

// CHECK-SSE42-LABEL: operatorNOT_1:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    pcmpeqd %xmm1, %xmm1
// CHECK-SSE42-NEXT:    pxor %xmm1, %xmm0
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: operatorNOT_1:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vpcmpeqd %ymm1, %ymm1, %ymm1
// CHECK-AVX2-NEXT:    vpxor %ymm1, %ymm0, %ymm0
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: operatorNOT_1:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vpcmpeqd %xmm1, %xmm1, %xmm1
// CHECK-AVX2-128-NEXT:    vpxor %xmm1, %xmm0, %xmm0
// CHECK-AVX2-128-NEXT:    retq
TestedSimd<int16> operatorNOT_1(TestedSimd<int16> a) {
  return ~a;
}

// CHECK-SSE42-LABEL: operatorNOT_2:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    pcmpeqd %xmm1, %xmm1
// CHECK-SSE42-NEXT:    pxor %xmm1, %xmm0
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: operatorNOT_2:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vpcmpeqd %ymm1, %ymm1, %ymm1
// CHECK-AVX2-NEXT:    vpxor %ymm1, %ymm0, %ymm0
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: operatorNOT_2:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vpcmpeqd %xmm1, %xmm1, %xmm1
// CHECK-AVX2-128-NEXT:    vpxor %xmm1, %xmm0, %xmm0
// CHECK-AVX2-128-NEXT:    retq
TestedSimd<int32> operatorNOT_2(TestedSimd<int32> a) {
  return ~a;
}

// CHECK-SSE42-LABEL: operatorNOT_3:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    pcmpeqd %xmm1, %xmm1
// CHECK-SSE42-NEXT:    pxor %xmm1, %xmm0
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: operatorNOT_3:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vpcmpeqd %ymm1, %ymm1, %ymm1
// CHECK-AVX2-NEXT:    vpxor %ymm1, %ymm0, %ymm0
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: operatorNOT_3:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vpcmpeqd %xmm1, %xmm1, %xmm1
// CHECK-AVX2-128-NEXT:    vpxor %xmm1, %xmm0, %xmm0
// CHECK-AVX2-128-NEXT:    retq
TestedSimd<int64> operatorNOT_3(TestedSimd<int64> a) {
  return ~a;
}

// CHECK-SSE42-LABEL: operatorNOT_4:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    pcmpeqd %xmm1, %xmm1
// CHECK-SSE42-NEXT:    pxor %xmm1, %xmm0
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: operatorNOT_4:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vpcmpeqd %ymm1, %ymm1, %ymm1
// CHECK-AVX2-NEXT:    vpxor %ymm1, %ymm0, %ymm0
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: operatorNOT_4:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vpcmpeqd %xmm1, %xmm1, %xmm1
// CHECK-AVX2-128-NEXT:    vpxor %xmm1, %xmm0, %xmm0
// CHECK-AVX2-128-NEXT:    retq
TestedSimd<uint8> operatorNOT_4(TestedSimd<uint8> a) {
  return ~a;
}

// CHECK-SSE42-LABEL: operatorNOT_5:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    pcmpeqd %xmm1, %xmm1
// CHECK-SSE42-NEXT:    pxor %xmm1, %xmm0
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: operatorNOT_5:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vpcmpeqd %ymm1, %ymm1, %ymm1
// CHECK-AVX2-NEXT:    vpxor %ymm1, %ymm0, %ymm0
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: operatorNOT_5:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vpcmpeqd %xmm1, %xmm1, %xmm1
// CHECK-AVX2-128-NEXT:    vpxor %xmm1, %xmm0, %xmm0
// CHECK-AVX2-128-NEXT:    retq
TestedSimd<uint16> operatorNOT_5(TestedSimd<uint16> a) {
  return ~a;
}

// CHECK-SSE42-LABEL: operatorNOT_6:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    pcmpeqd %xmm1, %xmm1
// CHECK-SSE42-NEXT:    pxor %xmm1, %xmm0
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: operatorNOT_6:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vpcmpeqd %ymm1, %ymm1, %ymm1
// CHECK-AVX2-NEXT:    vpxor %ymm1, %ymm0, %ymm0
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: operatorNOT_6:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vpcmpeqd %xmm1, %xmm1, %xmm1
// CHECK-AVX2-128-NEXT:    vpxor %xmm1, %xmm0, %xmm0
// CHECK-AVX2-128-NEXT:    retq
TestedSimd<uint32> operatorNOT_6(TestedSimd<uint32> a) {
  return ~a;
}

// CHECK-SSE42-LABEL: operatorNOT_7:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    pcmpeqd %xmm1, %xmm1
// CHECK-SSE42-NEXT:    pxor %xmm1, %xmm0
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: operatorNOT_7:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vpcmpeqd %ymm1, %ymm1, %ymm1
// CHECK-AVX2-NEXT:    vpxor %ymm1, %ymm0, %ymm0
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: operatorNOT_7:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vpcmpeqd %xmm1, %xmm1, %xmm1
// CHECK-AVX2-128-NEXT:    vpxor %xmm1, %xmm0, %xmm0
// CHECK-AVX2-128-NEXT:    retq
TestedSimd<uint64> operatorNOT_7(TestedSimd<uint64> a) {
  return ~a;
}

// CHECK-SSE42-LABEL: test_static_simd_cast_0:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    cvtdq2ps %xmm0, %xmm0
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: test_static_simd_cast_0:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vcvtdq2ps %ymm0, %ymm0
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: test_static_simd_cast_0:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vcvtdq2ps %xmm0, %xmm0
// CHECK-AVX2-128-NEXT:    retq
TestedSimd<float> test_static_simd_cast_0(TestedSimd<int32> a) {
  return static_simd_cast<float>(a);
}

// CHECK-SSE42-LABEL: test_static_simd_cast_1:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    cvttps2dq %xmm0, %xmm0
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: test_static_simd_cast_1:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vcvttps2dq %ymm0, %ymm0
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: test_static_simd_cast_1:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vcvttps2dq %xmm0, %xmm0
// CHECK-AVX2-128-NEXT:    retq
TestedSimd<int32> test_static_simd_cast_1(TestedSimd<float> a) {
  return static_simd_cast<int32>(a);
}

// CHECK-SSE42-LABEL: test_min_0:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    pminsb %xmm1, %xmm0
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: test_min_0:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vpminsb %ymm0, %ymm1, %ymm0
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: test_min_0:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vpminsb %xmm0, %xmm1, %xmm0
// CHECK-AVX2-128-NEXT:    retq
TestedSimd<int8> test_min_0(TestedSimd<int8> a, TestedSimd<int8> b) {
  return dimsum::min(a, b);
}

// CHECK-SSE42-LABEL: test_min_1:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    pminsw %xmm1, %xmm0
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: test_min_1:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vpminsw %ymm0, %ymm1, %ymm0
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: test_min_1:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vpminsw %xmm0, %xmm1, %xmm0
// CHECK-AVX2-128-NEXT:    retq
TestedSimd<int16> test_min_1(TestedSimd<int16> a, TestedSimd<int16> b) {
  return dimsum::min(a, b);
}

// CHECK-SSE42-LABEL: test_min_2:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    pminsd %xmm1, %xmm0
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: test_min_2:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vpminsd %ymm0, %ymm1, %ymm0
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: test_min_2:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vpminsd %xmm0, %xmm1, %xmm0
// CHECK-AVX2-128-NEXT:    retq
TestedSimd<int32> test_min_2(TestedSimd<int32> a, TestedSimd<int32> b) {
  return dimsum::min(a, b);
}

// CHECK-SSE42-LABEL: test_min_3:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    movdqa %xmm0, %xmm2
// CHECK-SSE42-NEXT:    pcmpgtq %xmm1, %xmm0
// CHECK-SSE42-NEXT:    blendvpd %xmm0, %xmm1, %xmm2
// CHECK-SSE42-NEXT:    movapd %xmm2, %xmm0
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: test_min_3:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vpcmpgtq %ymm1, %ymm0, %ymm2
// CHECK-AVX2-NEXT:    vblendvpd %ymm2, %ymm1, %ymm0, %ymm0
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: test_min_3:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vpcmpgtq %xmm1, %xmm0, %xmm2
// CHECK-AVX2-128-NEXT:    vblendvpd %xmm2, %xmm1, %xmm0, %xmm0
// CHECK-AVX2-128-NEXT:    retq
TestedSimd<int64> test_min_3(TestedSimd<int64> a, TestedSimd<int64> b) {
  return dimsum::min(a, b);
}

// CHECK-SSE42-LABEL: test_min_4:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    pminub %xmm1, %xmm0
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: test_min_4:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vpminub %ymm0, %ymm1, %ymm0
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: test_min_4:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vpminub %xmm0, %xmm1, %xmm0
// CHECK-AVX2-128-NEXT:    retq
TestedSimd<uint8> test_min_4(TestedSimd<uint8> a, TestedSimd<uint8> b) {
  return dimsum::min(a, b);
}

// CHECK-SSE42-LABEL: test_min_5:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    pminuw %xmm1, %xmm0
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: test_min_5:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vpminuw %ymm0, %ymm1, %ymm0
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: test_min_5:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vpminuw %xmm0, %xmm1, %xmm0
// CHECK-AVX2-128-NEXT:    retq
TestedSimd<uint16> test_min_5(TestedSimd<uint16> a, TestedSimd<uint16> b) {
  return dimsum::min(a, b);
}

// CHECK-SSE42-LABEL: test_min_6:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    pminud %xmm1, %xmm0
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: test_min_6:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vpminud %ymm0, %ymm1, %ymm0
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: test_min_6:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vpminud %xmm0, %xmm1, %xmm0
// CHECK-AVX2-128-NEXT:    retq
TestedSimd<uint32> test_min_6(TestedSimd<uint32> a, TestedSimd<uint32> b) {
  return dimsum::min(a, b);
}

// CHECK-SSE42-LABEL: test_min_7:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    movdqa %xmm0, %xmm2
// CHECK-SSE42-NEXT:    movdqa {{.*#+}} xmm0 = [9223372036854775808,9223372036854775808]
// CHECK-SSE42-NEXT:    movdqa %xmm1, %xmm3
// CHECK-SSE42-NEXT:    pxor %xmm0, %xmm3
// CHECK-SSE42-NEXT:    pxor %xmm2, %xmm0
// CHECK-SSE42-NEXT:    pcmpgtq %xmm3, %xmm0
// CHECK-SSE42-NEXT:    blendvpd %xmm0, %xmm1, %xmm2
// CHECK-SSE42-NEXT:    movapd %xmm2, %xmm0
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: test_min_7:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vpbroadcastq {{.*#+}} ymm2 = [9223372036854775808,9223372036854775808,9223372036854775808,9223372036854775808]
// CHECK-AVX2-NEXT:    vpxor %ymm2, %ymm1, %ymm3
// CHECK-AVX2-NEXT:    vpxor %ymm2, %ymm0, %ymm2
// CHECK-AVX2-NEXT:    vpcmpgtq %ymm3, %ymm2, %ymm2
// CHECK-AVX2-NEXT:    vblendvpd %ymm2, %ymm1, %ymm0, %ymm0
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: test_min_7:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vmovdqa {{.*#+}} xmm2 = [9223372036854775808,9223372036854775808]
// CHECK-AVX2-128-NEXT:    vpxor %xmm2, %xmm1, %xmm3
// CHECK-AVX2-128-NEXT:    vpxor %xmm2, %xmm0, %xmm2
// CHECK-AVX2-128-NEXT:    vpcmpgtq %xmm3, %xmm2, %xmm2
// CHECK-AVX2-128-NEXT:    vblendvpd %xmm2, %xmm1, %xmm0, %xmm0
// CHECK-AVX2-128-NEXT:    retq
TestedSimd<uint64> test_min_7(TestedSimd<uint64> a, TestedSimd<uint64> b) {
  return dimsum::min(a, b);
}

// CHECK-SSE42-LABEL: test_min_8:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    minps %xmm0, %xmm1
// CHECK-SSE42-NEXT:    movaps %xmm1, %xmm0
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: test_min_8:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vminps %ymm0, %ymm1, %ymm0
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: test_min_8:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vminps %xmm0, %xmm1, %xmm0
// CHECK-AVX2-128-NEXT:    retq
TestedSimd<float> test_min_8(TestedSimd<float> a, TestedSimd<float> b) {
  return dimsum::min(a, b);
}

// CHECK-SSE42-LABEL: test_min_9:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    minpd %xmm0, %xmm1
// CHECK-SSE42-NEXT:    movapd %xmm1, %xmm0
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: test_min_9:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vminpd %ymm0, %ymm1, %ymm0
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: test_min_9:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vminpd %xmm0, %xmm1, %xmm0
// CHECK-AVX2-128-NEXT:    retq
TestedSimd<double> test_min_9(TestedSimd<double> a, TestedSimd<double> b) {
  return dimsum::min(a, b);
}

// CHECK-SSE42-LABEL: test_max_0:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    pmaxsb %xmm1, %xmm0
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: test_max_0:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vpmaxsb %ymm1, %ymm0, %ymm0
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: test_max_0:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vpmaxsb %xmm1, %xmm0, %xmm0
// CHECK-AVX2-128-NEXT:    retq
TestedSimd<int8> test_max_0(TestedSimd<int8> a, TestedSimd<int8> b) {
  return dimsum::max(a, b);
}

// CHECK-SSE42-LABEL: test_max_1:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    pmaxsw %xmm1, %xmm0
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: test_max_1:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vpmaxsw %ymm1, %ymm0, %ymm0
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: test_max_1:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vpmaxsw %xmm1, %xmm0, %xmm0
// CHECK-AVX2-128-NEXT:    retq
TestedSimd<int16> test_max_1(TestedSimd<int16> a, TestedSimd<int16> b) {
  return dimsum::max(a, b);
}

// CHECK-SSE42-LABEL: test_max_2:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    pmaxsd %xmm1, %xmm0
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: test_max_2:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vpmaxsd %ymm1, %ymm0, %ymm0
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: test_max_2:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vpmaxsd %xmm1, %xmm0, %xmm0
// CHECK-AVX2-128-NEXT:    retq
TestedSimd<int32> test_max_2(TestedSimd<int32> a, TestedSimd<int32> b) {
  return dimsum::max(a, b);
}

// CHECK-SSE42-LABEL: test_max_3:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    movdqa %xmm0, %xmm2
// CHECK-SSE42-NEXT:    pcmpgtq %xmm1, %xmm0
// CHECK-SSE42-NEXT:    blendvpd %xmm0, %xmm2, %xmm1
// CHECK-SSE42-NEXT:    movapd %xmm1, %xmm0
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: test_max_3:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vpcmpgtq %ymm1, %ymm0, %ymm2
// CHECK-AVX2-NEXT:    vblendvpd %ymm2, %ymm0, %ymm1, %ymm0
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: test_max_3:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vpcmpgtq %xmm1, %xmm0, %xmm2
// CHECK-AVX2-128-NEXT:    vblendvpd %xmm2, %xmm0, %xmm1, %xmm0
// CHECK-AVX2-128-NEXT:    retq
TestedSimd<int64> test_max_3(TestedSimd<int64> a, TestedSimd<int64> b) {
  return dimsum::max(a, b);
}

// CHECK-SSE42-LABEL: test_max_4:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    pmaxub %xmm1, %xmm0
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: test_max_4:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vpmaxub %ymm1, %ymm0, %ymm0
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: test_max_4:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vpmaxub %xmm1, %xmm0, %xmm0
// CHECK-AVX2-128-NEXT:    retq
TestedSimd<uint8> test_max_4(TestedSimd<uint8> a, TestedSimd<uint8> b) {
  return dimsum::max(a, b);
}

// CHECK-SSE42-LABEL: test_max_5:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    pmaxuw %xmm1, %xmm0
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: test_max_5:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vpmaxuw %ymm1, %ymm0, %ymm0
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: test_max_5:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vpmaxuw %xmm1, %xmm0, %xmm0
// CHECK-AVX2-128-NEXT:    retq
TestedSimd<uint16> test_max_5(TestedSimd<uint16> a, TestedSimd<uint16> b) {
  return dimsum::max(a, b);
}

// CHECK-SSE42-LABEL: test_max_6:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    pmaxud %xmm1, %xmm0
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: test_max_6:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vpmaxud %ymm1, %ymm0, %ymm0
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: test_max_6:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vpmaxud %xmm1, %xmm0, %xmm0
// CHECK-AVX2-128-NEXT:    retq
TestedSimd<uint32> test_max_6(TestedSimd<uint32> a, TestedSimd<uint32> b) {
  return dimsum::max(a, b);
}

// CHECK-SSE42-LABEL: test_max_7:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    movdqa %xmm0, %xmm2
// CHECK-SSE42-NEXT:    movdqa {{.*#+}} xmm0 = [9223372036854775808,9223372036854775808]
// CHECK-SSE42-NEXT:    movdqa %xmm1, %xmm3
// CHECK-SSE42-NEXT:    pxor %xmm0, %xmm3
// CHECK-SSE42-NEXT:    pxor %xmm2, %xmm0
// CHECK-SSE42-NEXT:    pcmpgtq %xmm3, %xmm0
// CHECK-SSE42-NEXT:    blendvpd %xmm0, %xmm2, %xmm1
// CHECK-SSE42-NEXT:    movapd %xmm1, %xmm0
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: test_max_7:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vpbroadcastq {{.*#+}} ymm2 = [9223372036854775808,9223372036854775808,9223372036854775808,9223372036854775808]
// CHECK-AVX2-NEXT:    vpxor %ymm2, %ymm1, %ymm3
// CHECK-AVX2-NEXT:    vpxor %ymm2, %ymm0, %ymm2
// CHECK-AVX2-NEXT:    vpcmpgtq %ymm3, %ymm2, %ymm2
// CHECK-AVX2-NEXT:    vblendvpd %ymm2, %ymm0, %ymm1, %ymm0
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: test_max_7:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vmovdqa {{.*#+}} xmm2 = [9223372036854775808,9223372036854775808]
// CHECK-AVX2-128-NEXT:    vpxor %xmm2, %xmm1, %xmm3
// CHECK-AVX2-128-NEXT:    vpxor %xmm2, %xmm0, %xmm2
// CHECK-AVX2-128-NEXT:    vpcmpgtq %xmm3, %xmm2, %xmm2
// CHECK-AVX2-128-NEXT:    vblendvpd %xmm2, %xmm0, %xmm1, %xmm0
// CHECK-AVX2-128-NEXT:    retq
TestedSimd<uint64> test_max_7(TestedSimd<uint64> a, TestedSimd<uint64> b) {
  return dimsum::max(a, b);
}

// CHECK-SSE42-LABEL: test_max_8:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    maxps %xmm0, %xmm1
// CHECK-SSE42-NEXT:    movaps %xmm1, %xmm0
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: test_max_8:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vmaxps %ymm0, %ymm1, %ymm0
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: test_max_8:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vmaxps %xmm0, %xmm1, %xmm0
// CHECK-AVX2-128-NEXT:    retq
TestedSimd<float> test_max_8(TestedSimd<float> a, TestedSimd<float> b) {
  return dimsum::max(a, b);
}

// CHECK-SSE42-LABEL: test_max_9:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    maxpd %xmm0, %xmm1
// CHECK-SSE42-NEXT:    movapd %xmm1, %xmm0
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: test_max_9:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vmaxpd %ymm0, %ymm1, %ymm0
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: test_max_9:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vmaxpd %xmm0, %xmm1, %xmm0
// CHECK-AVX2-128-NEXT:    retq
TestedSimd<double> test_max_9(TestedSimd<double> a, TestedSimd<double> b) {
  return dimsum::max(a, b);
}

// CHECK-SSE42-LABEL: test_shl_imm3_0:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    psllw $3, %xmm0
// CHECK-SSE42-NEXT:    pand {{.*}}(%rip), %xmm0
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: test_shl_imm3_0:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vpsllw $3, %ymm0, %ymm0
// CHECK-AVX2-NEXT:    vpand {{.*}}(%rip), %ymm0, %ymm0
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: test_shl_imm3_0:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vpsllw $3, %xmm0, %xmm0
// CHECK-AVX2-128-NEXT:    vpand {{.*}}(%rip), %xmm0, %xmm0
// CHECK-AVX2-128-NEXT:    retq
TestedSimd<int8> test_shl_imm3_0(TestedSimd<int8> a) { return a << 3; }

// CHECK-SSE42-LABEL: test_shl_imm3_1:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    psllw $3, %xmm0
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: test_shl_imm3_1:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vpsllw $3, %ymm0, %ymm0
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: test_shl_imm3_1:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vpsllw $3, %xmm0, %xmm0
// CHECK-AVX2-128-NEXT:    retq
TestedSimd<int16> test_shl_imm3_1(TestedSimd<int16> a) { return a << 3; }

// CHECK-SSE42-LABEL: test_shl_imm3_2:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    pslld $3, %xmm0
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: test_shl_imm3_2:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vpslld $3, %ymm0, %ymm0
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: test_shl_imm3_2:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vpslld $3, %xmm0, %xmm0
// CHECK-AVX2-128-NEXT:    retq
TestedSimd<int32> test_shl_imm3_2(TestedSimd<int32> a) { return a << 3; }

// CHECK-SSE42-LABEL: test_shl_imm3_3:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    psllq $3, %xmm0
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: test_shl_imm3_3:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vpsllq $3, %ymm0, %ymm0
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: test_shl_imm3_3:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vpsllq $3, %xmm0, %xmm0
// CHECK-AVX2-128-NEXT:    retq
TestedSimd<int64> test_shl_imm3_3(TestedSimd<int64> a) { return a << 3; }

// CHECK-SSE42-LABEL: test_shl_imm3_4:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    psllw $3, %xmm0
// CHECK-SSE42-NEXT:    pand {{.*}}(%rip), %xmm0
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: test_shl_imm3_4:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vpsllw $3, %ymm0, %ymm0
// CHECK-AVX2-NEXT:    vpand {{.*}}(%rip), %ymm0, %ymm0
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: test_shl_imm3_4:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vpsllw $3, %xmm0, %xmm0
// CHECK-AVX2-128-NEXT:    vpand {{.*}}(%rip), %xmm0, %xmm0
// CHECK-AVX2-128-NEXT:    retq
TestedSimd<uint8> test_shl_imm3_4(TestedSimd<uint8> a) { return a << 3; }

// CHECK-SSE42-LABEL: test_shl_imm3_5:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    psllw $3, %xmm0
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: test_shl_imm3_5:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vpsllw $3, %ymm0, %ymm0
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: test_shl_imm3_5:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vpsllw $3, %xmm0, %xmm0
// CHECK-AVX2-128-NEXT:    retq
TestedSimd<uint16> test_shl_imm3_5(TestedSimd<uint16> a) { return a << 3; }

// CHECK-SSE42-LABEL: test_shl_imm3_6:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    pslld $3, %xmm0
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: test_shl_imm3_6:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vpslld $3, %ymm0, %ymm0
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: test_shl_imm3_6:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vpslld $3, %xmm0, %xmm0
// CHECK-AVX2-128-NEXT:    retq
TestedSimd<uint32> test_shl_imm3_6(TestedSimd<uint32> a) { return a << 3; }

// CHECK-SSE42-LABEL: test_shl_imm3_7:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    psllq $3, %xmm0
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: test_shl_imm3_7:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vpsllq $3, %ymm0, %ymm0
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: test_shl_imm3_7:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vpsllq $3, %xmm0, %xmm0
// CHECK-AVX2-128-NEXT:    retq
TestedSimd<uint64> test_shl_imm3_7(TestedSimd<uint64> a) { return a << 3; }

// CHECK-SSE42-LABEL: test_shr_imm3_0:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    psrlw $3, %xmm0
// CHECK-SSE42-NEXT:    pand {{.*}}(%rip), %xmm0
// CHECK-SSE42-NEXT:    movdqa {{.*#+}} xmm1 = [16,16,16,16,16,16,16,16,16,16,16,16,16,16,16,16]
// CHECK-SSE42-NEXT:    pxor %xmm1, %xmm0
// CHECK-SSE42-NEXT:    psubb %xmm1, %xmm0
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: test_shr_imm3_0:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vpsrlw $3, %ymm0, %ymm0
// CHECK-AVX2-NEXT:    vpand {{.*}}(%rip), %ymm0, %ymm0
// CHECK-AVX2-NEXT:    vmovdqa {{.*#+}} ymm1 = [16,16,16,16,16,16,16,16,16,16,16,16,16,16,16,16,16,16,16,16,16,16,16,16,16,16,16,16,16,16,16,16]
// CHECK-AVX2-NEXT:    vpxor %ymm1, %ymm0, %ymm0
// CHECK-AVX2-NEXT:    vpsubb %ymm1, %ymm0, %ymm0
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: test_shr_imm3_0:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vpsrlw $3, %xmm0, %xmm0
// CHECK-AVX2-128-NEXT:    vpand {{.*}}(%rip), %xmm0, %xmm0
// CHECK-AVX2-128-NEXT:    vmovdqa {{.*#+}} xmm1 = [16,16,16,16,16,16,16,16,16,16,16,16,16,16,16,16]
// CHECK-AVX2-128-NEXT:    vpxor %xmm1, %xmm0, %xmm0
// CHECK-AVX2-128-NEXT:    vpsubb %xmm1, %xmm0, %xmm0
// CHECK-AVX2-128-NEXT:    retq
TestedSimd<int8> test_shr_imm3_0(TestedSimd<int8> a) { return a >> 3; }

// CHECK-SSE42-LABEL: test_shr_imm3_1:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    psraw $3, %xmm0
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: test_shr_imm3_1:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vpsraw $3, %ymm0, %ymm0
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: test_shr_imm3_1:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vpsraw $3, %xmm0, %xmm0
// CHECK-AVX2-128-NEXT:    retq
TestedSimd<int16> test_shr_imm3_1(TestedSimd<int16> a) { return a >> 3; }

// CHECK-SSE42-LABEL: test_shr_imm3_2:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    psrad $3, %xmm0
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: test_shr_imm3_2:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vpsrad $3, %ymm0, %ymm0
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: test_shr_imm3_2:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vpsrad $3, %xmm0, %xmm0
// CHECK-AVX2-128-NEXT:    retq
TestedSimd<int32> test_shr_imm3_2(TestedSimd<int32> a) { return a >> 3; }

// CHECK-SSE42-LABEL: test_shr_imm3_3:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    movdqa %xmm0, %xmm1
// CHECK-SSE42-NEXT:    psrad $3, %xmm1
// CHECK-SSE42-NEXT:    psrlq $3, %xmm0
// CHECK-SSE42-NEXT:    pblendw {{.*#+}} xmm0 = xmm0[0,1],xmm1[2,3],xmm0[4,5],xmm1[6,7]
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: test_shr_imm3_3:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vpsrad $3, %ymm0, %ymm1
// CHECK-AVX2-NEXT:    vpsrlq $3, %ymm0, %ymm0
// CHECK-AVX2-NEXT:    vpblendd {{.*#+}} ymm0 = ymm0[0],ymm1[1],ymm0[2],ymm1[3],ymm0[4],ymm1[5],ymm0[6],ymm1[7]
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: test_shr_imm3_3:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vpsrad $3, %xmm0, %xmm1
// CHECK-AVX2-128-NEXT:    vpsrlq $3, %xmm0, %xmm0
// CHECK-AVX2-128-NEXT:    vpblendd {{.*#+}} xmm0 = xmm0[0],xmm1[1],xmm0[2],xmm1[3]
// CHECK-AVX2-128-NEXT:    retq
TestedSimd<int64> test_shr_imm3_3(TestedSimd<int64> a) { return a >> 3; }

// CHECK-SSE42-LABEL: test_shr_imm3_4:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    psrlw $3, %xmm0
// CHECK-SSE42-NEXT:    pand {{.*}}(%rip), %xmm0
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: test_shr_imm3_4:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vpsrlw $3, %ymm0, %ymm0
// CHECK-AVX2-NEXT:    vpand {{.*}}(%rip), %ymm0, %ymm0
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: test_shr_imm3_4:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vpsrlw $3, %xmm0, %xmm0
// CHECK-AVX2-128-NEXT:    vpand {{.*}}(%rip), %xmm0, %xmm0
// CHECK-AVX2-128-NEXT:    retq
TestedSimd<uint8> test_shr_imm3_4(TestedSimd<uint8> a) { return a >> 3; }

// CHECK-SSE42-LABEL: test_shr_imm3_5:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    psrlw $3, %xmm0
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: test_shr_imm3_5:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vpsrlw $3, %ymm0, %ymm0
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: test_shr_imm3_5:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vpsrlw $3, %xmm0, %xmm0
// CHECK-AVX2-128-NEXT:    retq
TestedSimd<uint16> test_shr_imm3_5(TestedSimd<uint16> a) { return a >> 3; }

// CHECK-SSE42-LABEL: test_shr_imm3_6:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    psrld $3, %xmm0
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: test_shr_imm3_6:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vpsrld $3, %ymm0, %ymm0
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: test_shr_imm3_6:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vpsrld $3, %xmm0, %xmm0
// CHECK-AVX2-128-NEXT:    retq
TestedSimd<uint32> test_shr_imm3_6(TestedSimd<uint32> a) { return a >> 3; }

// CHECK-SSE42-LABEL: test_shr_imm3_7:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    psrlq $3, %xmm0
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: test_shr_imm3_7:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vpsrlq $3, %ymm0, %ymm0
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: test_shr_imm3_7:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vpsrlq $3, %xmm0, %xmm0
// CHECK-AVX2-128-NEXT:    retq
TestedSimd<uint64> test_shr_imm3_7(TestedSimd<uint64> a) { return a >> 3; }

// CHECK-SSE42-LABEL: unpack_lo_0:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    punpcklbw {{.*#+}} xmm0 = xmm0[0],xmm1[0],xmm0[1],xmm1[1],xmm0[2],xmm1[2],xmm0[3],xmm1[3],xmm0[4],xmm1[4],xmm0[5],xmm1[5],xmm0[6],xmm1[6],xmm0[7],xmm1[7]
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: unpack_lo_0:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vpunpckhbw {{.*#+}} xmm2 = xmm0[8],xmm1[8],xmm0[9],xmm1[9],xmm0[10],xmm1[10],xmm0[11],xmm1[11],xmm0[12],xmm1[12],xmm0[13],xmm1[13],xmm0[14],xmm1[14],xmm0[15],xmm1[15]
// CHECK-AVX2-NEXT:    vpunpcklbw {{.*#+}} xmm0 = xmm0[0],xmm1[0],xmm0[1],xmm1[1],xmm0[2],xmm1[2],xmm0[3],xmm1[3],xmm0[4],xmm1[4],xmm0[5],xmm1[5],xmm0[6],xmm1[6],xmm0[7],xmm1[7]
// CHECK-AVX2-NEXT:    vinserti128 $1, %xmm2, %ymm0, %ymm0
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: unpack_lo_0:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vpunpcklbw {{.*#+}} xmm0 = xmm0[0],xmm1[0],xmm0[1],xmm1[1],xmm0[2],xmm1[2],xmm0[3],xmm1[3],xmm0[4],xmm1[4],xmm0[5],xmm1[5],xmm0[6],xmm1[6],xmm0[7],xmm1[7]
// CHECK-AVX2-128-NEXT:    retq
TestedSimd<int8> unpack_lo_0(TestedSimd<int8> a, TestedSimd<int8> b) { return split_by<2>(zip(a, b))[0]; }

// CHECK-SSE42-LABEL: unpack_lo_1:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    punpcklwd {{.*#+}} xmm0 = xmm0[0],xmm1[0],xmm0[1],xmm1[1],xmm0[2],xmm1[2],xmm0[3],xmm1[3]
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: unpack_lo_1:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vpunpckhwd {{.*#+}} xmm2 = xmm0[4],xmm1[4],xmm0[5],xmm1[5],xmm0[6],xmm1[6],xmm0[7],xmm1[7]
// CHECK-AVX2-NEXT:    vpunpcklwd {{.*#+}} xmm0 = xmm0[0],xmm1[0],xmm0[1],xmm1[1],xmm0[2],xmm1[2],xmm0[3],xmm1[3]
// CHECK-AVX2-NEXT:    vinserti128 $1, %xmm2, %ymm0, %ymm0
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: unpack_lo_1:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vpunpcklwd {{.*#+}} xmm0 = xmm0[0],xmm1[0],xmm0[1],xmm1[1],xmm0[2],xmm1[2],xmm0[3],xmm1[3]
// CHECK-AVX2-128-NEXT:    retq
TestedSimd<int16> unpack_lo_1(TestedSimd<int16> a, TestedSimd<int16> b) { return split_by<2>(zip(a, b))[0]; }

// CHECK-SSE42-LABEL: unpack_lo_2:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    unpcklps {{.*#+}} xmm0 = xmm0[0],xmm1[0],xmm0[1],xmm1[1]
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: unpack_lo_2:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vunpckhps {{.*#+}} xmm2 = xmm0[2],xmm1[2],xmm0[3],xmm1[3]
// CHECK-AVX2-NEXT:    vunpcklps {{.*#+}} xmm0 = xmm0[0],xmm1[0],xmm0[1],xmm1[1]
// CHECK-AVX2-NEXT:    vinsertf128 $1, %xmm2, %ymm0, %ymm0
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: unpack_lo_2:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vunpcklps {{.*#+}} xmm0 = xmm0[0],xmm1[0],xmm0[1],xmm1[1]
// CHECK-AVX2-128-NEXT:    retq
TestedSimd<int32> unpack_lo_2(TestedSimd<int32> a, TestedSimd<int32> b) { return split_by<2>(zip(a, b))[0]; }

// CHECK-SSE42-LABEL: unpack_lo_3:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    movlhps {{.*#+}} xmm0 = xmm0[0],xmm1[0]
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: unpack_lo_3:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vpermpd {{.*#+}} ymm1 = ymm1[0,0,2,1]
// CHECK-AVX2-NEXT:    vpermpd {{.*#+}} ymm0 = ymm0[0,1,1,3]
// CHECK-AVX2-NEXT:    vblendps {{.*#+}} ymm0 = ymm0[0,1],ymm1[2,3],ymm0[4,5],ymm1[6,7]
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: unpack_lo_3:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vmovlhps {{.*#+}} xmm0 = xmm0[0],xmm1[0]
// CHECK-AVX2-128-NEXT:    retq
TestedSimd<int64> unpack_lo_3(TestedSimd<int64> a, TestedSimd<int64> b) { return split_by<2>(zip(a, b))[0]; }

// CHECK-SSE42-LABEL: unpack_lo_4:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    punpcklbw {{.*#+}} xmm0 = xmm0[0],xmm1[0],xmm0[1],xmm1[1],xmm0[2],xmm1[2],xmm0[3],xmm1[3],xmm0[4],xmm1[4],xmm0[5],xmm1[5],xmm0[6],xmm1[6],xmm0[7],xmm1[7]
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: unpack_lo_4:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vpunpckhbw {{.*#+}} xmm2 = xmm0[8],xmm1[8],xmm0[9],xmm1[9],xmm0[10],xmm1[10],xmm0[11],xmm1[11],xmm0[12],xmm1[12],xmm0[13],xmm1[13],xmm0[14],xmm1[14],xmm0[15],xmm1[15]
// CHECK-AVX2-NEXT:    vpunpcklbw {{.*#+}} xmm0 = xmm0[0],xmm1[0],xmm0[1],xmm1[1],xmm0[2],xmm1[2],xmm0[3],xmm1[3],xmm0[4],xmm1[4],xmm0[5],xmm1[5],xmm0[6],xmm1[6],xmm0[7],xmm1[7]
// CHECK-AVX2-NEXT:    vinserti128 $1, %xmm2, %ymm0, %ymm0
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: unpack_lo_4:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vpunpcklbw {{.*#+}} xmm0 = xmm0[0],xmm1[0],xmm0[1],xmm1[1],xmm0[2],xmm1[2],xmm0[3],xmm1[3],xmm0[4],xmm1[4],xmm0[5],xmm1[5],xmm0[6],xmm1[6],xmm0[7],xmm1[7]
// CHECK-AVX2-128-NEXT:    retq
TestedSimd<uint8> unpack_lo_4(TestedSimd<uint8> a, TestedSimd<uint8> b) { return split_by<2>(zip(a, b))[0]; }

// CHECK-SSE42-LABEL: unpack_lo_5:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    punpcklwd {{.*#+}} xmm0 = xmm0[0],xmm1[0],xmm0[1],xmm1[1],xmm0[2],xmm1[2],xmm0[3],xmm1[3]
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: unpack_lo_5:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vpunpckhwd {{.*#+}} xmm2 = xmm0[4],xmm1[4],xmm0[5],xmm1[5],xmm0[6],xmm1[6],xmm0[7],xmm1[7]
// CHECK-AVX2-NEXT:    vpunpcklwd {{.*#+}} xmm0 = xmm0[0],xmm1[0],xmm0[1],xmm1[1],xmm0[2],xmm1[2],xmm0[3],xmm1[3]
// CHECK-AVX2-NEXT:    vinserti128 $1, %xmm2, %ymm0, %ymm0
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: unpack_lo_5:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vpunpcklwd {{.*#+}} xmm0 = xmm0[0],xmm1[0],xmm0[1],xmm1[1],xmm0[2],xmm1[2],xmm0[3],xmm1[3]
// CHECK-AVX2-128-NEXT:    retq
TestedSimd<uint16> unpack_lo_5(TestedSimd<uint16> a, TestedSimd<uint16> b) { return split_by<2>(zip(a, b))[0]; }

// CHECK-SSE42-LABEL: unpack_lo_6:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    unpcklps {{.*#+}} xmm0 = xmm0[0],xmm1[0],xmm0[1],xmm1[1]
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: unpack_lo_6:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vunpckhps {{.*#+}} xmm2 = xmm0[2],xmm1[2],xmm0[3],xmm1[3]
// CHECK-AVX2-NEXT:    vunpcklps {{.*#+}} xmm0 = xmm0[0],xmm1[0],xmm0[1],xmm1[1]
// CHECK-AVX2-NEXT:    vinsertf128 $1, %xmm2, %ymm0, %ymm0
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: unpack_lo_6:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vunpcklps {{.*#+}} xmm0 = xmm0[0],xmm1[0],xmm0[1],xmm1[1]
// CHECK-AVX2-128-NEXT:    retq
TestedSimd<uint32> unpack_lo_6(TestedSimd<uint32> a, TestedSimd<uint32> b) { return split_by<2>(zip(a, b))[0]; }

// CHECK-SSE42-LABEL: unpack_lo_7:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    movlhps {{.*#+}} xmm0 = xmm0[0],xmm1[0]
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: unpack_lo_7:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vpermpd {{.*#+}} ymm1 = ymm1[0,0,2,1]
// CHECK-AVX2-NEXT:    vpermpd {{.*#+}} ymm0 = ymm0[0,1,1,3]
// CHECK-AVX2-NEXT:    vblendps {{.*#+}} ymm0 = ymm0[0,1],ymm1[2,3],ymm0[4,5],ymm1[6,7]
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: unpack_lo_7:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vmovlhps {{.*#+}} xmm0 = xmm0[0],xmm1[0]
// CHECK-AVX2-128-NEXT:    retq
TestedSimd<uint64> unpack_lo_7(TestedSimd<uint64> a, TestedSimd<uint64> b) { return split_by<2>(zip(a, b))[0]; }

// CHECK-SSE42-LABEL: unpack_lo_8:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    unpcklps {{.*#+}} xmm0 = xmm0[0],xmm1[0],xmm0[1],xmm1[1]
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: unpack_lo_8:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vunpckhps {{.*#+}} xmm2 = xmm0[2],xmm1[2],xmm0[3],xmm1[3]
// CHECK-AVX2-NEXT:    vunpcklps {{.*#+}} xmm0 = xmm0[0],xmm1[0],xmm0[1],xmm1[1]
// CHECK-AVX2-NEXT:    vinsertf128 $1, %xmm2, %ymm0, %ymm0
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: unpack_lo_8:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vunpcklps {{.*#+}} xmm0 = xmm0[0],xmm1[0],xmm0[1],xmm1[1]
// CHECK-AVX2-128-NEXT:    retq
TestedSimd<float> unpack_lo_8(TestedSimd<float> a, TestedSimd<float> b) { return split_by<2>(zip(a, b))[0]; }

// CHECK-SSE42-LABEL: unpack_lo_9:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    movlhps {{.*#+}} xmm0 = xmm0[0],xmm1[0]
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: unpack_lo_9:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vpermpd {{.*#+}} ymm1 = ymm1[0,0,2,1]
// CHECK-AVX2-NEXT:    vpermpd {{.*#+}} ymm0 = ymm0[0,1,1,3]
// CHECK-AVX2-NEXT:    vblendps {{.*#+}} ymm0 = ymm0[0,1],ymm1[2,3],ymm0[4,5],ymm1[6,7]
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: unpack_lo_9:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vmovlhps {{.*#+}} xmm0 = xmm0[0],xmm1[0]
// CHECK-AVX2-128-NEXT:    retq
TestedSimd<double> unpack_lo_9(TestedSimd<double> a, TestedSimd<double> b) { return split_by<2>(zip(a, b))[0]; }

// CHECK-SSE42-LABEL: unpack_hi_0:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    punpckhbw {{.*#+}} xmm0 = xmm0[8],xmm1[8],xmm0[9],xmm1[9],xmm0[10],xmm1[10],xmm0[11],xmm1[11],xmm0[12],xmm1[12],xmm0[13],xmm1[13],xmm0[14],xmm1[14],xmm0[15],xmm1[15]
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: unpack_hi_0:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vextracti128 $1, %ymm1, %xmm1
// CHECK-AVX2-NEXT:    vextracti128 $1, %ymm0, %xmm0
// CHECK-AVX2-NEXT:    vpunpckhbw {{.*#+}} xmm2 = xmm0[8],xmm1[8],xmm0[9],xmm1[9],xmm0[10],xmm1[10],xmm0[11],xmm1[11],xmm0[12],xmm1[12],xmm0[13],xmm1[13],xmm0[14],xmm1[14],xmm0[15],xmm1[15]
// CHECK-AVX2-NEXT:    vpunpcklbw {{.*#+}} xmm0 = xmm0[0],xmm1[0],xmm0[1],xmm1[1],xmm0[2],xmm1[2],xmm0[3],xmm1[3],xmm0[4],xmm1[4],xmm0[5],xmm1[5],xmm0[6],xmm1[6],xmm0[7],xmm1[7]
// CHECK-AVX2-NEXT:    vinserti128 $1, %xmm2, %ymm0, %ymm0
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: unpack_hi_0:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vpunpckhbw {{.*#+}} xmm0 = xmm0[8],xmm1[8],xmm0[9],xmm1[9],xmm0[10],xmm1[10],xmm0[11],xmm1[11],xmm0[12],xmm1[12],xmm0[13],xmm1[13],xmm0[14],xmm1[14],xmm0[15],xmm1[15]
// CHECK-AVX2-128-NEXT:    retq
TestedSimd<int8> unpack_hi_0(TestedSimd<int8> a, TestedSimd<int8> b) { return split_by<2>(zip(a, b))[1]; }

// CHECK-SSE42-LABEL: unpack_hi_1:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    punpckhwd {{.*#+}} xmm0 = xmm0[4],xmm1[4],xmm0[5],xmm1[5],xmm0[6],xmm1[6],xmm0[7],xmm1[7]
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: unpack_hi_1:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vextracti128 $1, %ymm1, %xmm1
// CHECK-AVX2-NEXT:    vextracti128 $1, %ymm0, %xmm0
// CHECK-AVX2-NEXT:    vpunpckhwd {{.*#+}} xmm2 = xmm0[4],xmm1[4],xmm0[5],xmm1[5],xmm0[6],xmm1[6],xmm0[7],xmm1[7]
// CHECK-AVX2-NEXT:    vpunpcklwd {{.*#+}} xmm0 = xmm0[0],xmm1[0],xmm0[1],xmm1[1],xmm0[2],xmm1[2],xmm0[3],xmm1[3]
// CHECK-AVX2-NEXT:    vinserti128 $1, %xmm2, %ymm0, %ymm0
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: unpack_hi_1:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vpunpckhwd {{.*#+}} xmm0 = xmm0[4],xmm1[4],xmm0[5],xmm1[5],xmm0[6],xmm1[6],xmm0[7],xmm1[7]
// CHECK-AVX2-128-NEXT:    retq
TestedSimd<int16> unpack_hi_1(TestedSimd<int16> a, TestedSimd<int16> b) { return split_by<2>(zip(a, b))[1]; }

// CHECK-SSE42-LABEL: unpack_hi_2:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    unpckhps {{.*#+}} xmm0 = xmm0[2],xmm1[2],xmm0[3],xmm1[3]
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: unpack_hi_2:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vextractf128 $1, %ymm1, %xmm1
// CHECK-AVX2-NEXT:    vextractf128 $1, %ymm0, %xmm0
// CHECK-AVX2-NEXT:    vunpckhps {{.*#+}} xmm2 = xmm0[2],xmm1[2],xmm0[3],xmm1[3]
// CHECK-AVX2-NEXT:    vunpcklps {{.*#+}} xmm0 = xmm0[0],xmm1[0],xmm0[1],xmm1[1]
// CHECK-AVX2-NEXT:    vinsertf128 $1, %xmm2, %ymm0, %ymm0
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: unpack_hi_2:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    # kill: def $xmm0 killed $xmm0 def $ymm0
// CHECK-AVX2-128-NEXT:    vinsertf128 $1, %xmm1, %ymm0, %ymm0
// CHECK-AVX2-128-NEXT:    vmovaps {{.*#+}} ymm1 = <u,u,u,u,2,6,3,7>
// CHECK-AVX2-128-NEXT:    vpermps %ymm0, %ymm1, %ymm0
// CHECK-AVX2-128-NEXT:    vextractf128 $1, %ymm0, %xmm0
// CHECK-AVX2-128-NEXT:    vzeroupper
// CHECK-AVX2-128-NEXT:    retq
TestedSimd<int32> unpack_hi_2(TestedSimd<int32> a, TestedSimd<int32> b) { return split_by<2>(zip(a, b))[1]; }

// CHECK-SSE42-LABEL: unpack_hi_3:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    unpckhpd {{.*#+}} xmm0 = xmm0[1],xmm1[1]
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: unpack_hi_3:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vpermpd {{.*#+}} ymm1 = ymm1[0,2,2,3]
// CHECK-AVX2-NEXT:    vpermpd {{.*#+}} ymm0 = ymm0[2,1,3,3]
// CHECK-AVX2-NEXT:    vblendps {{.*#+}} ymm0 = ymm0[0,1],ymm1[2,3],ymm0[4,5],ymm1[6,7]
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: unpack_hi_3:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    # kill: def $xmm0 killed $xmm0 def $ymm0
// CHECK-AVX2-128-NEXT:    vinsertf128 $1, %xmm1, %ymm0, %ymm0
// CHECK-AVX2-128-NEXT:    vpermpd {{.*#+}} ymm0 = ymm0[0,1,1,3]
// CHECK-AVX2-128-NEXT:    vextractf128 $1, %ymm0, %xmm0
// CHECK-AVX2-128-NEXT:    vzeroupper
// CHECK-AVX2-128-NEXT:    retq
TestedSimd<int64> unpack_hi_3(TestedSimd<int64> a, TestedSimd<int64> b) { return split_by<2>(zip(a, b))[1]; }

// CHECK-SSE42-LABEL: unpack_hi_4:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    punpckhbw {{.*#+}} xmm0 = xmm0[8],xmm1[8],xmm0[9],xmm1[9],xmm0[10],xmm1[10],xmm0[11],xmm1[11],xmm0[12],xmm1[12],xmm0[13],xmm1[13],xmm0[14],xmm1[14],xmm0[15],xmm1[15]
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: unpack_hi_4:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vextracti128 $1, %ymm1, %xmm1
// CHECK-AVX2-NEXT:    vextracti128 $1, %ymm0, %xmm0
// CHECK-AVX2-NEXT:    vpunpckhbw {{.*#+}} xmm2 = xmm0[8],xmm1[8],xmm0[9],xmm1[9],xmm0[10],xmm1[10],xmm0[11],xmm1[11],xmm0[12],xmm1[12],xmm0[13],xmm1[13],xmm0[14],xmm1[14],xmm0[15],xmm1[15]
// CHECK-AVX2-NEXT:    vpunpcklbw {{.*#+}} xmm0 = xmm0[0],xmm1[0],xmm0[1],xmm1[1],xmm0[2],xmm1[2],xmm0[3],xmm1[3],xmm0[4],xmm1[4],xmm0[5],xmm1[5],xmm0[6],xmm1[6],xmm0[7],xmm1[7]
// CHECK-AVX2-NEXT:    vinserti128 $1, %xmm2, %ymm0, %ymm0
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: unpack_hi_4:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vpunpckhbw {{.*#+}} xmm0 = xmm0[8],xmm1[8],xmm0[9],xmm1[9],xmm0[10],xmm1[10],xmm0[11],xmm1[11],xmm0[12],xmm1[12],xmm0[13],xmm1[13],xmm0[14],xmm1[14],xmm0[15],xmm1[15]
// CHECK-AVX2-128-NEXT:    retq
TestedSimd<uint8> unpack_hi_4(TestedSimd<uint8> a, TestedSimd<uint8> b) { return split_by<2>(zip(a, b))[1]; }

// CHECK-SSE42-LABEL: unpack_hi_5:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    punpckhwd {{.*#+}} xmm0 = xmm0[4],xmm1[4],xmm0[5],xmm1[5],xmm0[6],xmm1[6],xmm0[7],xmm1[7]
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: unpack_hi_5:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vextracti128 $1, %ymm1, %xmm1
// CHECK-AVX2-NEXT:    vextracti128 $1, %ymm0, %xmm0
// CHECK-AVX2-NEXT:    vpunpckhwd {{.*#+}} xmm2 = xmm0[4],xmm1[4],xmm0[5],xmm1[5],xmm0[6],xmm1[6],xmm0[7],xmm1[7]
// CHECK-AVX2-NEXT:    vpunpcklwd {{.*#+}} xmm0 = xmm0[0],xmm1[0],xmm0[1],xmm1[1],xmm0[2],xmm1[2],xmm0[3],xmm1[3]
// CHECK-AVX2-NEXT:    vinserti128 $1, %xmm2, %ymm0, %ymm0
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: unpack_hi_5:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vpunpckhwd {{.*#+}} xmm0 = xmm0[4],xmm1[4],xmm0[5],xmm1[5],xmm0[6],xmm1[6],xmm0[7],xmm1[7]
// CHECK-AVX2-128-NEXT:    retq
TestedSimd<uint16> unpack_hi_5(TestedSimd<uint16> a, TestedSimd<uint16> b) { return split_by<2>(zip(a, b))[1]; }

// CHECK-SSE42-LABEL: unpack_hi_6:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    unpckhps {{.*#+}} xmm0 = xmm0[2],xmm1[2],xmm0[3],xmm1[3]
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: unpack_hi_6:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vextractf128 $1, %ymm1, %xmm1
// CHECK-AVX2-NEXT:    vextractf128 $1, %ymm0, %xmm0
// CHECK-AVX2-NEXT:    vunpckhps {{.*#+}} xmm2 = xmm0[2],xmm1[2],xmm0[3],xmm1[3]
// CHECK-AVX2-NEXT:    vunpcklps {{.*#+}} xmm0 = xmm0[0],xmm1[0],xmm0[1],xmm1[1]
// CHECK-AVX2-NEXT:    vinsertf128 $1, %xmm2, %ymm0, %ymm0
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: unpack_hi_6:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    # kill: def $xmm0 killed $xmm0 def $ymm0
// CHECK-AVX2-128-NEXT:    vinsertf128 $1, %xmm1, %ymm0, %ymm0
// CHECK-AVX2-128-NEXT:    vmovaps {{.*#+}} ymm1 = <u,u,u,u,2,6,3,7>
// CHECK-AVX2-128-NEXT:    vpermps %ymm0, %ymm1, %ymm0
// CHECK-AVX2-128-NEXT:    vextractf128 $1, %ymm0, %xmm0
// CHECK-AVX2-128-NEXT:    vzeroupper
// CHECK-AVX2-128-NEXT:    retq
TestedSimd<uint32> unpack_hi_6(TestedSimd<uint32> a, TestedSimd<uint32> b) { return split_by<2>(zip(a, b))[1]; }

// CHECK-SSE42-LABEL: unpack_hi_7:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    unpckhpd {{.*#+}} xmm0 = xmm0[1],xmm1[1]
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: unpack_hi_7:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vpermpd {{.*#+}} ymm1 = ymm1[0,2,2,3]
// CHECK-AVX2-NEXT:    vpermpd {{.*#+}} ymm0 = ymm0[2,1,3,3]
// CHECK-AVX2-NEXT:    vblendps {{.*#+}} ymm0 = ymm0[0,1],ymm1[2,3],ymm0[4,5],ymm1[6,7]
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: unpack_hi_7:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    # kill: def $xmm0 killed $xmm0 def $ymm0
// CHECK-AVX2-128-NEXT:    vinsertf128 $1, %xmm1, %ymm0, %ymm0
// CHECK-AVX2-128-NEXT:    vpermpd {{.*#+}} ymm0 = ymm0[0,1,1,3]
// CHECK-AVX2-128-NEXT:    vextractf128 $1, %ymm0, %xmm0
// CHECK-AVX2-128-NEXT:    vzeroupper
// CHECK-AVX2-128-NEXT:    retq
TestedSimd<uint64> unpack_hi_7(TestedSimd<uint64> a, TestedSimd<uint64> b) { return split_by<2>(zip(a, b))[1]; }

// CHECK-SSE42-LABEL: unpack_hi_8:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    unpckhps {{.*#+}} xmm0 = xmm0[2],xmm1[2],xmm0[3],xmm1[3]
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: unpack_hi_8:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vextractf128 $1, %ymm1, %xmm1
// CHECK-AVX2-NEXT:    vextractf128 $1, %ymm0, %xmm0
// CHECK-AVX2-NEXT:    vunpckhps {{.*#+}} xmm2 = xmm0[2],xmm1[2],xmm0[3],xmm1[3]
// CHECK-AVX2-NEXT:    vunpcklps {{.*#+}} xmm0 = xmm0[0],xmm1[0],xmm0[1],xmm1[1]
// CHECK-AVX2-NEXT:    vinsertf128 $1, %xmm2, %ymm0, %ymm0
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: unpack_hi_8:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    # kill: def $xmm0 killed $xmm0 def $ymm0
// CHECK-AVX2-128-NEXT:    vinsertf128 $1, %xmm1, %ymm0, %ymm0
// CHECK-AVX2-128-NEXT:    vmovaps {{.*#+}} ymm1 = <u,u,u,u,2,6,3,7>
// CHECK-AVX2-128-NEXT:    vpermps %ymm0, %ymm1, %ymm0
// CHECK-AVX2-128-NEXT:    vextractf128 $1, %ymm0, %xmm0
// CHECK-AVX2-128-NEXT:    vzeroupper
// CHECK-AVX2-128-NEXT:    retq
TestedSimd<float> unpack_hi_8(TestedSimd<float> a, TestedSimd<float> b) { return split_by<2>(zip(a, b))[1]; }

// CHECK-SSE42-LABEL: unpack_hi_9:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    unpckhpd {{.*#+}} xmm0 = xmm0[1],xmm1[1]
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: unpack_hi_9:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vpermpd {{.*#+}} ymm1 = ymm1[0,2,2,3]
// CHECK-AVX2-NEXT:    vpermpd {{.*#+}} ymm0 = ymm0[2,1,3,3]
// CHECK-AVX2-NEXT:    vblendps {{.*#+}} ymm0 = ymm0[0,1],ymm1[2,3],ymm0[4,5],ymm1[6,7]
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: unpack_hi_9:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    # kill: def $xmm0 killed $xmm0 def $ymm0
// CHECK-AVX2-128-NEXT:    vinsertf128 $1, %xmm1, %ymm0, %ymm0
// CHECK-AVX2-128-NEXT:    vpermpd {{.*#+}} ymm0 = ymm0[0,1,1,3]
// CHECK-AVX2-128-NEXT:    vextractf128 $1, %ymm0, %xmm0
// CHECK-AVX2-128-NEXT:    vzeroupper
// CHECK-AVX2-128-NEXT:    retq
TestedSimd<double> unpack_hi_9(TestedSimd<double> a, TestedSimd<double> b) { return split_by<2>(zip(a, b))[1]; }

// CHECK-SSE42-LABEL: full_reduce_0:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    movdqa %xmm0, %xmm1
// CHECK-SSE42-NEXT:    psrlw $8, %xmm1
// CHECK-SSE42-NEXT:    paddw %xmm0, %xmm1
// CHECK-SSE42-NEXT:    movdqa %xmm1, %xmm0
// CHECK-SSE42-NEXT:    psrld $16, %xmm0
// CHECK-SSE42-NEXT:    paddd %xmm1, %xmm0
// CHECK-SSE42-NEXT:    pshufd {{.*#+}} xmm1 = xmm0[1,1,3,3]
// CHECK-SSE42-NEXT:    paddq %xmm0, %xmm1
// CHECK-SSE42-NEXT:    pextrb $0, %xmm1, %ecx
// CHECK-SSE42-NEXT:    pextrb $8, %xmm1, %eax
// CHECK-SSE42-NEXT:    addb %cl, %al
// CHECK-SSE42-NEXT:    # kill: def $al killed $al killed $eax
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: full_reduce_0:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vmovdqa {{.*#+}} xmm1 = <0,2,4,6,8,10,12,14,u,u,u,u,u,u,u,u>
// CHECK-AVX2-NEXT:    vextracti128 $1, %ymm0, %xmm2
// CHECK-AVX2-NEXT:    vpshufb %xmm1, %xmm2, %xmm3
// CHECK-AVX2-NEXT:    vpshufb %xmm1, %xmm0, %xmm1
// CHECK-AVX2-NEXT:    vpunpcklqdq {{.*#+}} xmm1 = xmm1[0],xmm3[0]
// CHECK-AVX2-NEXT:    vmovdqa {{.*#+}} xmm3 = <1,3,5,7,9,11,13,15,u,u,u,u,u,u,u,u>
// CHECK-AVX2-NEXT:    vpshufb %xmm3, %xmm2, %xmm2
// CHECK-AVX2-NEXT:    vpshufb %xmm3, %xmm0, %xmm0
// CHECK-AVX2-NEXT:    vpunpcklqdq {{.*#+}} xmm0 = xmm0[0],xmm2[0]
// CHECK-AVX2-NEXT:    vpaddb %xmm1, %xmm0, %xmm0
// CHECK-AVX2-NEXT:    vpsrlw $8, %xmm0, %xmm1
// CHECK-AVX2-NEXT:    vpaddw %xmm0, %xmm1, %xmm0
// CHECK-AVX2-NEXT:    vpsrld $16, %xmm0, %xmm1
// CHECK-AVX2-NEXT:    vpaddd %xmm0, %xmm1, %xmm0
// CHECK-AVX2-NEXT:    vpshufd {{.*#+}} xmm1 = xmm0[1,1,3,3]
// CHECK-AVX2-NEXT:    vpaddq %xmm0, %xmm1, %xmm0
// CHECK-AVX2-NEXT:    vpextrb $0, %xmm0, %ecx
// CHECK-AVX2-NEXT:    vpextrb $8, %xmm0, %eax
// CHECK-AVX2-NEXT:    addb %cl, %al
// CHECK-AVX2-NEXT:    # kill: def $al killed $al killed $eax
// CHECK-AVX2-NEXT:    vzeroupper
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: full_reduce_0:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vpsrlw $8, %xmm0, %xmm1
// CHECK-AVX2-128-NEXT:    vpaddw %xmm0, %xmm1, %xmm0
// CHECK-AVX2-128-NEXT:    vpsrld $16, %xmm0, %xmm1
// CHECK-AVX2-128-NEXT:    vpaddd %xmm0, %xmm1, %xmm0
// CHECK-AVX2-128-NEXT:    vpshufd {{.*#+}} xmm1 = xmm0[1,1,3,3]
// CHECK-AVX2-128-NEXT:    vpaddq %xmm0, %xmm1, %xmm0
// CHECK-AVX2-128-NEXT:    vpextrb $0, %xmm0, %ecx
// CHECK-AVX2-128-NEXT:    vpextrb $8, %xmm0, %eax
// CHECK-AVX2-128-NEXT:    addb %cl, %al
// CHECK-AVX2-128-NEXT:    # kill: def $al killed $al killed $eax
// CHECK-AVX2-128-NEXT:    retq
int8 full_reduce_0(TestedSimd<int8> a) { return reduce(a); }

// CHECK-SSE42-LABEL: full_reduce_1:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    movdqa %xmm0, %xmm1
// CHECK-SSE42-NEXT:    psrld $16, %xmm1
// CHECK-SSE42-NEXT:    paddd %xmm0, %xmm1
// CHECK-SSE42-NEXT:    pshufd {{.*#+}} xmm0 = xmm1[1,1,3,3]
// CHECK-SSE42-NEXT:    paddq %xmm1, %xmm0
// CHECK-SSE42-NEXT:    movd %xmm0, %ecx
// CHECK-SSE42-NEXT:    pextrw $4, %xmm0, %eax
// CHECK-SSE42-NEXT:    addl %ecx, %eax
// CHECK-SSE42-NEXT:    # kill: def $ax killed $ax killed $eax
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: full_reduce_1:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vextracti128 $1, %ymm0, %xmm1
// CHECK-AVX2-NEXT:    vphaddw %xmm1, %xmm0, %xmm0
// CHECK-AVX2-NEXT:    vpsrld $16, %xmm0, %xmm1
// CHECK-AVX2-NEXT:    vpaddd %xmm0, %xmm1, %xmm0
// CHECK-AVX2-NEXT:    vpshufd {{.*#+}} xmm1 = xmm0[1,1,3,3]
// CHECK-AVX2-NEXT:    vpaddq %xmm0, %xmm1, %xmm0
// CHECK-AVX2-NEXT:    vmovd %xmm0, %ecx
// CHECK-AVX2-NEXT:    vpextrw $4, %xmm0, %eax
// CHECK-AVX2-NEXT:    addl %ecx, %eax
// CHECK-AVX2-NEXT:    # kill: def $ax killed $ax killed $eax
// CHECK-AVX2-NEXT:    vzeroupper
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: full_reduce_1:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vpsrld $16, %xmm0, %xmm1
// CHECK-AVX2-128-NEXT:    vpaddd %xmm0, %xmm1, %xmm0
// CHECK-AVX2-128-NEXT:    vpshufd {{.*#+}} xmm1 = xmm0[1,1,3,3]
// CHECK-AVX2-128-NEXT:    vpaddq %xmm0, %xmm1, %xmm0
// CHECK-AVX2-128-NEXT:    vmovd %xmm0, %ecx
// CHECK-AVX2-128-NEXT:    vpextrw $4, %xmm0, %eax
// CHECK-AVX2-128-NEXT:    addl %ecx, %eax
// CHECK-AVX2-128-NEXT:    # kill: def $ax killed $ax killed $eax
// CHECK-AVX2-128-NEXT:    retq
int16 full_reduce_1(TestedSimd<int16> a) { return reduce(a); }

// CHECK-SSE42-LABEL: full_reduce_2:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    pshufd {{.*#+}} xmm1 = xmm0[1,1,3,3]
// CHECK-SSE42-NEXT:    paddq %xmm0, %xmm1
// CHECK-SSE42-NEXT:    movd %xmm1, %ecx
// CHECK-SSE42-NEXT:    pextrd $2, %xmm1, %eax
// CHECK-SSE42-NEXT:    addl %ecx, %eax
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: full_reduce_2:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vextracti128 $1, %ymm0, %xmm1
// CHECK-AVX2-NEXT:    vphaddd %xmm1, %xmm0, %xmm0
// CHECK-AVX2-NEXT:    vpshufd {{.*#+}} xmm1 = xmm0[1,1,3,3]
// CHECK-AVX2-NEXT:    vpaddq %xmm0, %xmm1, %xmm0
// CHECK-AVX2-NEXT:    vmovd %xmm0, %ecx
// CHECK-AVX2-NEXT:    vpextrd $2, %xmm0, %eax
// CHECK-AVX2-NEXT:    addl %ecx, %eax
// CHECK-AVX2-NEXT:    vzeroupper
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: full_reduce_2:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vpshufd {{.*#+}} xmm1 = xmm0[1,1,3,3]
// CHECK-AVX2-128-NEXT:    vpaddq %xmm0, %xmm1, %xmm0
// CHECK-AVX2-128-NEXT:    vmovd %xmm0, %ecx
// CHECK-AVX2-128-NEXT:    vpextrd $2, %xmm0, %eax
// CHECK-AVX2-128-NEXT:    addl %ecx, %eax
// CHECK-AVX2-128-NEXT:    retq
int32 full_reduce_2(TestedSimd<int32> a) { return reduce(a); }

// CHECK-SSE42-LABEL: full_reduce_3:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    movq %xmm0, %rcx
// CHECK-SSE42-NEXT:    pextrq $1, %xmm0, %rax
// CHECK-SSE42-NEXT:    addq %rcx, %rax
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: full_reduce_3:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vextracti128 $1, %ymm0, %xmm1
// CHECK-AVX2-NEXT:    vpaddq %xmm0, %xmm1, %xmm0
// CHECK-AVX2-NEXT:    vmovq %xmm0, %rcx
// CHECK-AVX2-NEXT:    vpextrq $1, %xmm0, %rax
// CHECK-AVX2-NEXT:    addq %rcx, %rax
// CHECK-AVX2-NEXT:    vzeroupper
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: full_reduce_3:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vmovq %xmm0, %rcx
// CHECK-AVX2-128-NEXT:    vpextrq $1, %xmm0, %rax
// CHECK-AVX2-128-NEXT:    addq %rcx, %rax
// CHECK-AVX2-128-NEXT:    retq
int64 full_reduce_3(TestedSimd<int64> a) { return reduce(a); }

// CHECK-SSE42-LABEL: full_reduce_4:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    movdqa %xmm0, %xmm1
// CHECK-SSE42-NEXT:    psrlw $8, %xmm1
// CHECK-SSE42-NEXT:    paddw %xmm0, %xmm1
// CHECK-SSE42-NEXT:    movdqa %xmm1, %xmm0
// CHECK-SSE42-NEXT:    psrld $16, %xmm0
// CHECK-SSE42-NEXT:    paddd %xmm1, %xmm0
// CHECK-SSE42-NEXT:    pshufd {{.*#+}} xmm1 = xmm0[1,1,3,3]
// CHECK-SSE42-NEXT:    paddq %xmm0, %xmm1
// CHECK-SSE42-NEXT:    pextrb $0, %xmm1, %ecx
// CHECK-SSE42-NEXT:    pextrb $8, %xmm1, %eax
// CHECK-SSE42-NEXT:    addb %cl, %al
// CHECK-SSE42-NEXT:    # kill: def $al killed $al killed $eax
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: full_reduce_4:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vmovdqa {{.*#+}} xmm1 = <0,2,4,6,8,10,12,14,u,u,u,u,u,u,u,u>
// CHECK-AVX2-NEXT:    vextracti128 $1, %ymm0, %xmm2
// CHECK-AVX2-NEXT:    vpshufb %xmm1, %xmm2, %xmm3
// CHECK-AVX2-NEXT:    vpshufb %xmm1, %xmm0, %xmm1
// CHECK-AVX2-NEXT:    vpunpcklqdq {{.*#+}} xmm1 = xmm1[0],xmm3[0]
// CHECK-AVX2-NEXT:    vmovdqa {{.*#+}} xmm3 = <1,3,5,7,9,11,13,15,u,u,u,u,u,u,u,u>
// CHECK-AVX2-NEXT:    vpshufb %xmm3, %xmm2, %xmm2
// CHECK-AVX2-NEXT:    vpshufb %xmm3, %xmm0, %xmm0
// CHECK-AVX2-NEXT:    vpunpcklqdq {{.*#+}} xmm0 = xmm0[0],xmm2[0]
// CHECK-AVX2-NEXT:    vpaddb %xmm1, %xmm0, %xmm0
// CHECK-AVX2-NEXT:    vpsrlw $8, %xmm0, %xmm1
// CHECK-AVX2-NEXT:    vpaddw %xmm0, %xmm1, %xmm0
// CHECK-AVX2-NEXT:    vpsrld $16, %xmm0, %xmm1
// CHECK-AVX2-NEXT:    vpaddd %xmm0, %xmm1, %xmm0
// CHECK-AVX2-NEXT:    vpshufd {{.*#+}} xmm1 = xmm0[1,1,3,3]
// CHECK-AVX2-NEXT:    vpaddq %xmm0, %xmm1, %xmm0
// CHECK-AVX2-NEXT:    vpextrb $0, %xmm0, %ecx
// CHECK-AVX2-NEXT:    vpextrb $8, %xmm0, %eax
// CHECK-AVX2-NEXT:    addb %cl, %al
// CHECK-AVX2-NEXT:    # kill: def $al killed $al killed $eax
// CHECK-AVX2-NEXT:    vzeroupper
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: full_reduce_4:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vpsrlw $8, %xmm0, %xmm1
// CHECK-AVX2-128-NEXT:    vpaddw %xmm0, %xmm1, %xmm0
// CHECK-AVX2-128-NEXT:    vpsrld $16, %xmm0, %xmm1
// CHECK-AVX2-128-NEXT:    vpaddd %xmm0, %xmm1, %xmm0
// CHECK-AVX2-128-NEXT:    vpshufd {{.*#+}} xmm1 = xmm0[1,1,3,3]
// CHECK-AVX2-128-NEXT:    vpaddq %xmm0, %xmm1, %xmm0
// CHECK-AVX2-128-NEXT:    vpextrb $0, %xmm0, %ecx
// CHECK-AVX2-128-NEXT:    vpextrb $8, %xmm0, %eax
// CHECK-AVX2-128-NEXT:    addb %cl, %al
// CHECK-AVX2-128-NEXT:    # kill: def $al killed $al killed $eax
// CHECK-AVX2-128-NEXT:    retq
uint8 full_reduce_4(TestedSimd<uint8> a) { return reduce(a); }

// CHECK-SSE42-LABEL: full_reduce_5:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    movdqa %xmm0, %xmm1
// CHECK-SSE42-NEXT:    psrld $16, %xmm1
// CHECK-SSE42-NEXT:    paddd %xmm0, %xmm1
// CHECK-SSE42-NEXT:    pshufd {{.*#+}} xmm0 = xmm1[1,1,3,3]
// CHECK-SSE42-NEXT:    paddq %xmm1, %xmm0
// CHECK-SSE42-NEXT:    movd %xmm0, %ecx
// CHECK-SSE42-NEXT:    pextrw $4, %xmm0, %eax
// CHECK-SSE42-NEXT:    addl %ecx, %eax
// CHECK-SSE42-NEXT:    # kill: def $ax killed $ax killed $eax
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: full_reduce_5:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vextracti128 $1, %ymm0, %xmm1
// CHECK-AVX2-NEXT:    vphaddw %xmm1, %xmm0, %xmm0
// CHECK-AVX2-NEXT:    vpsrld $16, %xmm0, %xmm1
// CHECK-AVX2-NEXT:    vpaddd %xmm0, %xmm1, %xmm0
// CHECK-AVX2-NEXT:    vpshufd {{.*#+}} xmm1 = xmm0[1,1,3,3]
// CHECK-AVX2-NEXT:    vpaddq %xmm0, %xmm1, %xmm0
// CHECK-AVX2-NEXT:    vmovd %xmm0, %ecx
// CHECK-AVX2-NEXT:    vpextrw $4, %xmm0, %eax
// CHECK-AVX2-NEXT:    addl %ecx, %eax
// CHECK-AVX2-NEXT:    # kill: def $ax killed $ax killed $eax
// CHECK-AVX2-NEXT:    vzeroupper
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: full_reduce_5:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vpsrld $16, %xmm0, %xmm1
// CHECK-AVX2-128-NEXT:    vpaddd %xmm0, %xmm1, %xmm0
// CHECK-AVX2-128-NEXT:    vpshufd {{.*#+}} xmm1 = xmm0[1,1,3,3]
// CHECK-AVX2-128-NEXT:    vpaddq %xmm0, %xmm1, %xmm0
// CHECK-AVX2-128-NEXT:    vmovd %xmm0, %ecx
// CHECK-AVX2-128-NEXT:    vpextrw $4, %xmm0, %eax
// CHECK-AVX2-128-NEXT:    addl %ecx, %eax
// CHECK-AVX2-128-NEXT:    # kill: def $ax killed $ax killed $eax
// CHECK-AVX2-128-NEXT:    retq
uint16 full_reduce_5(TestedSimd<uint16> a) { return reduce(a); }

// CHECK-SSE42-LABEL: full_reduce_6:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    pshufd {{.*#+}} xmm1 = xmm0[1,1,3,3]
// CHECK-SSE42-NEXT:    paddq %xmm0, %xmm1
// CHECK-SSE42-NEXT:    movd %xmm1, %ecx
// CHECK-SSE42-NEXT:    pextrd $2, %xmm1, %eax
// CHECK-SSE42-NEXT:    addl %ecx, %eax
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: full_reduce_6:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vextracti128 $1, %ymm0, %xmm1
// CHECK-AVX2-NEXT:    vphaddd %xmm1, %xmm0, %xmm0
// CHECK-AVX2-NEXT:    vpshufd {{.*#+}} xmm1 = xmm0[1,1,3,3]
// CHECK-AVX2-NEXT:    vpaddq %xmm0, %xmm1, %xmm0
// CHECK-AVX2-NEXT:    vmovd %xmm0, %ecx
// CHECK-AVX2-NEXT:    vpextrd $2, %xmm0, %eax
// CHECK-AVX2-NEXT:    addl %ecx, %eax
// CHECK-AVX2-NEXT:    vzeroupper
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: full_reduce_6:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vpshufd {{.*#+}} xmm1 = xmm0[1,1,3,3]
// CHECK-AVX2-128-NEXT:    vpaddq %xmm0, %xmm1, %xmm0
// CHECK-AVX2-128-NEXT:    vmovd %xmm0, %ecx
// CHECK-AVX2-128-NEXT:    vpextrd $2, %xmm0, %eax
// CHECK-AVX2-128-NEXT:    addl %ecx, %eax
// CHECK-AVX2-128-NEXT:    retq
uint32 full_reduce_6(TestedSimd<uint32> a) { return reduce(a); }

// CHECK-SSE42-LABEL: full_reduce_7:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    movq %xmm0, %rcx
// CHECK-SSE42-NEXT:    pextrq $1, %xmm0, %rax
// CHECK-SSE42-NEXT:    addq %rcx, %rax
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: full_reduce_7:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vextracti128 $1, %ymm0, %xmm1
// CHECK-AVX2-NEXT:    vpaddq %xmm0, %xmm1, %xmm0
// CHECK-AVX2-NEXT:    vmovq %xmm0, %rcx
// CHECK-AVX2-NEXT:    vpextrq $1, %xmm0, %rax
// CHECK-AVX2-NEXT:    addq %rcx, %rax
// CHECK-AVX2-NEXT:    vzeroupper
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: full_reduce_7:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vmovq %xmm0, %rcx
// CHECK-AVX2-128-NEXT:    vpextrq $1, %xmm0, %rax
// CHECK-AVX2-128-NEXT:    addq %rcx, %rax
// CHECK-AVX2-128-NEXT:    retq
uint64 full_reduce_7(TestedSimd<uint64> a) { return reduce(a); }

// CHECK-SSE42-LABEL: full_reduce_8:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    movaps %xmm0, %xmm1
// CHECK-SSE42-NEXT:    movhlps {{.*#+}} xmm1 = xmm0[1],xmm1[1]
// CHECK-SSE42-NEXT:    addps %xmm0, %xmm1
// CHECK-SSE42-NEXT:    movshdup {{.*#+}} xmm0 = xmm1[1,1,3,3]
// CHECK-SSE42-NEXT:    addss %xmm0, %xmm1
// CHECK-SSE42-NEXT:    movaps %xmm1, %xmm0
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: full_reduce_8:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vextractf128 $1, %ymm0, %xmm1
// CHECK-AVX2-NEXT:    vaddps %xmm1, %xmm0, %xmm0
// CHECK-AVX2-NEXT:    vpermilpd {{.*#+}} xmm1 = xmm0[1,0]
// CHECK-AVX2-NEXT:    vaddps %xmm1, %xmm0, %xmm0
// CHECK-AVX2-NEXT:    vmovshdup {{.*#+}} xmm1 = xmm0[1,1,3,3]
// CHECK-AVX2-NEXT:    vaddss %xmm1, %xmm0, %xmm0
// CHECK-AVX2-NEXT:    vzeroupper
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: full_reduce_8:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vpermilpd {{.*#+}} xmm1 = xmm0[1,0]
// CHECK-AVX2-128-NEXT:    vaddps %xmm1, %xmm0, %xmm0
// CHECK-AVX2-128-NEXT:    vmovshdup {{.*#+}} xmm1 = xmm0[1,1,3,3]
// CHECK-AVX2-128-NEXT:    vaddss %xmm1, %xmm0, %xmm0
// CHECK-AVX2-128-NEXT:    retq
float full_reduce_8(TestedSimd<float> a) { return reduce(a); }

// CHECK-SSE42-LABEL: full_reduce_9:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    movaps %xmm0, %xmm1
// CHECK-SSE42-NEXT:    movhlps {{.*#+}} xmm1 = xmm0[1],xmm1[1]
// CHECK-SSE42-NEXT:    addsd %xmm0, %xmm1
// CHECK-SSE42-NEXT:    movapd %xmm1, %xmm0
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: full_reduce_9:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vextractf128 $1, %ymm0, %xmm1
// CHECK-AVX2-NEXT:    vaddpd %xmm1, %xmm0, %xmm0
// CHECK-AVX2-NEXT:    vpermilpd {{.*#+}} xmm1 = xmm0[1,0]
// CHECK-AVX2-NEXT:    vaddsd %xmm1, %xmm0, %xmm0
// CHECK-AVX2-NEXT:    vzeroupper
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: full_reduce_9:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vpermilpd {{.*#+}} xmm1 = xmm0[1,0]
// CHECK-AVX2-128-NEXT:    vaddsd %xmm1, %xmm0, %xmm0
// CHECK-AVX2-128-NEXT:    retq
double full_reduce_9(TestedSimd<double> a) { return reduce(a); }

// CHECK-SSE42-LABEL: hmin_8:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    movaps %xmm0, %xmm1
// CHECK-SSE42-NEXT:    movhlps {{.*#+}} xmm1 = xmm0[1],xmm1[1]
// CHECK-SSE42-NEXT:    minps %xmm0, %xmm1
// CHECK-SSE42-NEXT:    movshdup {{.*#+}} xmm0 = xmm1[1,1,3,3]
// CHECK-SSE42-NEXT:    minss %xmm1, %xmm0
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: hmin_8:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vextractf128 $1, %ymm0, %xmm1
// CHECK-AVX2-NEXT:    vminps %xmm0, %xmm1, %xmm0
// CHECK-AVX2-NEXT:    vpermilpd {{.*#+}} xmm1 = xmm0[1,0]
// CHECK-AVX2-NEXT:    vminps %xmm0, %xmm1, %xmm0
// CHECK-AVX2-NEXT:    vmovshdup {{.*#+}} xmm1 = xmm0[1,1,3,3]
// CHECK-AVX2-NEXT:    vminss %xmm0, %xmm1, %xmm0
// CHECK-AVX2-NEXT:    vzeroupper
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: hmin_8:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vpermilpd {{.*#+}} xmm1 = xmm0[1,0]
// CHECK-AVX2-128-NEXT:    vminps %xmm0, %xmm1, %xmm0
// CHECK-AVX2-128-NEXT:    vmovshdup {{.*#+}} xmm1 = xmm0[1,1,3,3]
// CHECK-AVX2-128-NEXT:    vminss %xmm0, %xmm1, %xmm0
// CHECK-AVX2-128-NEXT:    retq
float hmin_8(TestedSimd<float> a) { return hmin(a); }

// CHECK-SSE42-LABEL: hmin_9:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    movaps %xmm0, %xmm1
// CHECK-SSE42-NEXT:    movhlps {{.*#+}} xmm1 = xmm0[1],xmm1[1]
// CHECK-SSE42-NEXT:    minsd %xmm0, %xmm1
// CHECK-SSE42-NEXT:    movapd %xmm1, %xmm0
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: hmin_9:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vextractf128 $1, %ymm0, %xmm1
// CHECK-AVX2-NEXT:    vpermilpd {{.*#+}} xmm1 = xmm1[1,0]
// CHECK-AVX2-NEXT:    vpermilpd {{.*#+}} xmm0 = xmm0[1,0]
// CHECK-AVX2-NEXT:    vminpd %xmm0, %xmm1, %xmm0
// CHECK-AVX2-NEXT:    vpermilpd {{.*#+}} xmm1 = xmm0[1,0]
// CHECK-AVX2-NEXT:    vminsd %xmm1, %xmm0, %xmm0
// CHECK-AVX2-NEXT:    vzeroupper
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: hmin_9:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vpermilpd {{.*#+}} xmm1 = xmm0[1,0]
// CHECK-AVX2-128-NEXT:    vminsd %xmm0, %xmm1, %xmm0
// CHECK-AVX2-128-NEXT:    retq
double hmin_9(TestedSimd<double> a) { return hmin(a); }

// CHECK-SSE42-LABEL: hmax_8:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    movaps %xmm0, %xmm1
// CHECK-SSE42-NEXT:    movhlps {{.*#+}} xmm1 = xmm0[1],xmm1[1]
// CHECK-SSE42-NEXT:    maxps %xmm0, %xmm1
// CHECK-SSE42-NEXT:    movshdup {{.*#+}} xmm0 = xmm1[1,1,3,3]
// CHECK-SSE42-NEXT:    maxss %xmm1, %xmm0
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: hmax_8:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vextractf128 $1, %ymm0, %xmm1
// CHECK-AVX2-NEXT:    vmaxps %xmm0, %xmm1, %xmm0
// CHECK-AVX2-NEXT:    vpermilpd {{.*#+}} xmm1 = xmm0[1,0]
// CHECK-AVX2-NEXT:    vmaxps %xmm0, %xmm1, %xmm0
// CHECK-AVX2-NEXT:    vmovshdup {{.*#+}} xmm1 = xmm0[1,1,3,3]
// CHECK-AVX2-NEXT:    vmaxss %xmm0, %xmm1, %xmm0
// CHECK-AVX2-NEXT:    vzeroupper
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: hmax_8:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vpermilpd {{.*#+}} xmm1 = xmm0[1,0]
// CHECK-AVX2-128-NEXT:    vmaxps %xmm0, %xmm1, %xmm0
// CHECK-AVX2-128-NEXT:    vmovshdup {{.*#+}} xmm1 = xmm0[1,1,3,3]
// CHECK-AVX2-128-NEXT:    vmaxss %xmm0, %xmm1, %xmm0
// CHECK-AVX2-128-NEXT:    retq
float hmax_8(TestedSimd<float> a) { return hmax(a); }

// CHECK-SSE42-LABEL: hmax_9:
// CHECK-SSE42:       # %bb.0:
// CHECK-SSE42-NEXT:    movaps %xmm0, %xmm1
// CHECK-SSE42-NEXT:    movhlps {{.*#+}} xmm1 = xmm0[1],xmm1[1]
// CHECK-SSE42-NEXT:    maxsd %xmm0, %xmm1
// CHECK-SSE42-NEXT:    movapd %xmm1, %xmm0
// CHECK-SSE42-NEXT:    retq
//
// CHECK-AVX2-LABEL: hmax_9:
// CHECK-AVX2:       # %bb.0:
// CHECK-AVX2-NEXT:    vextractf128 $1, %ymm0, %xmm1
// CHECK-AVX2-NEXT:    vmaxpd %xmm0, %xmm1, %xmm0
// CHECK-AVX2-NEXT:    vpermilpd {{.*#+}} xmm1 = xmm0[1,0]
// CHECK-AVX2-NEXT:    vmaxsd %xmm0, %xmm1, %xmm0
// CHECK-AVX2-NEXT:    vzeroupper
// CHECK-AVX2-NEXT:    retq
//
// CHECK-AVX2-128-LABEL: hmax_9:
// CHECK-AVX2-128:       # %bb.0:
// CHECK-AVX2-128-NEXT:    vpermilpd {{.*#+}} xmm1 = xmm0[1,0]
// CHECK-AVX2-128-NEXT:    vmaxsd %xmm0, %xmm1, %xmm0
// CHECK-AVX2-128-NEXT:    retq
double hmax_9(TestedSimd<double> a) { return hmax(a); }

}