Absolute File Name: | /home/opencoverage/opencoverage/guest-scripts/openssl/src/crypto/modes/gcm128.c |
Source code | Switch to Preprocessed file |
Line | Source | Count | ||||||||||||||||||
---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
1 | /* | - | ||||||||||||||||||
2 | * Copyright 2010-2018 The OpenSSL Project Authors. All Rights Reserved. | - | ||||||||||||||||||
3 | * | - | ||||||||||||||||||
4 | * Licensed under the OpenSSL license (the "License"). You may not use | - | ||||||||||||||||||
5 | * this file except in compliance with the License. You can obtain a copy | - | ||||||||||||||||||
6 | * in the file LICENSE in the source distribution or at | - | ||||||||||||||||||
7 | * https://www.openssl.org/source/license.html | - | ||||||||||||||||||
8 | */ | - | ||||||||||||||||||
9 | - | |||||||||||||||||||
10 | #include <openssl/crypto.h> | - | ||||||||||||||||||
11 | #include "modes_lcl.h" | - | ||||||||||||||||||
12 | #include <string.h> | - | ||||||||||||||||||
13 | - | |||||||||||||||||||
14 | #if defined(BSWAP4) && defined(STRICT_ALIGNMENT) | - | ||||||||||||||||||
15 | /* redefine, because alignment is ensured */ | - | ||||||||||||||||||
16 | # undef GETU32 | - | ||||||||||||||||||
17 | # define GETU32(p) BSWAP4(*(const u32 *)(p)) | - | ||||||||||||||||||
18 | # undef PUTU32 | - | ||||||||||||||||||
19 | # define PUTU32(p,v) *(u32 *)(p) = BSWAP4(v) | - | ||||||||||||||||||
20 | #endif | - | ||||||||||||||||||
21 | - | |||||||||||||||||||
22 | #define PACK(s) ((size_t)(s)<<(sizeof(size_t)*8-16)) | - | ||||||||||||||||||
23 | #define REDUCE1BIT(V) do { \ | - | ||||||||||||||||||
24 | if (sizeof(size_t)==8) { \ | - | ||||||||||||||||||
25 | u64 T = U64(0xe100000000000000) & (0-(V.lo&1)); \ | - | ||||||||||||||||||
26 | V.lo = (V.hi<<63)|(V.lo>>1); \ | - | ||||||||||||||||||
27 | V.hi = (V.hi>>1 )^T; \ | - | ||||||||||||||||||
28 | } \ | - | ||||||||||||||||||
29 | else { \ | - | ||||||||||||||||||
30 | u32 T = 0xe1000000U & (0-(u32)(V.lo&1)); \ | - | ||||||||||||||||||
31 | V.lo = (V.hi<<63)|(V.lo>>1); \ | - | ||||||||||||||||||
32 | V.hi = (V.hi>>1 )^((u64)T<<32); \ | - | ||||||||||||||||||
33 | } \ | - | ||||||||||||||||||
34 | } while(0) | - | ||||||||||||||||||
35 | - | |||||||||||||||||||
36 | /*- | - | ||||||||||||||||||
37 | * Even though permitted values for TABLE_BITS are 8, 4 and 1, it should | - | ||||||||||||||||||
38 | * never be set to 8. 8 is effectively reserved for testing purposes. | - | ||||||||||||||||||
39 | * TABLE_BITS>1 are lookup-table-driven implementations referred to as | - | ||||||||||||||||||
40 | * "Shoup's" in GCM specification. In other words OpenSSL does not cover | - | ||||||||||||||||||
41 | * whole spectrum of possible table driven implementations. Why? In | - | ||||||||||||||||||
42 | * non-"Shoup's" case memory access pattern is segmented in such manner, | - | ||||||||||||||||||
43 | * that it's trivial to see that cache timing information can reveal | - | ||||||||||||||||||
44 | * fair portion of intermediate hash value. Given that ciphertext is | - | ||||||||||||||||||
45 | * always available to attacker, it's possible for him to attempt to | - | ||||||||||||||||||
46 | * deduce secret parameter H and if successful, tamper with messages | - | ||||||||||||||||||
47 | * [which is nothing but trivial in CTR mode]. In "Shoup's" case it's | - | ||||||||||||||||||
48 | * not as trivial, but there is no reason to believe that it's resistant | - | ||||||||||||||||||
49 | * to cache-timing attack. And the thing about "8-bit" implementation is | - | ||||||||||||||||||
50 | * that it consumes 16 (sixteen) times more memory, 4KB per individual | - | ||||||||||||||||||
51 | * key + 1KB shared. Well, on pros side it should be twice as fast as | - | ||||||||||||||||||
52 | * "4-bit" version. And for gcc-generated x86[_64] code, "8-bit" version | - | ||||||||||||||||||
53 | * was observed to run ~75% faster, closer to 100% for commercial | - | ||||||||||||||||||
54 | * compilers... Yet "4-bit" procedure is preferred, because it's | - | ||||||||||||||||||
55 | * believed to provide better security-performance balance and adequate | - | ||||||||||||||||||
56 | * all-round performance. "All-round" refers to things like: | - | ||||||||||||||||||
57 | * | - | ||||||||||||||||||
58 | * - shorter setup time effectively improves overall timing for | - | ||||||||||||||||||
59 | * handling short messages; | - | ||||||||||||||||||
60 | * - larger table allocation can become unbearable because of VM | - | ||||||||||||||||||
61 | * subsystem penalties (for example on Windows large enough free | - | ||||||||||||||||||
62 | * results in VM working set trimming, meaning that consequent | - | ||||||||||||||||||
63 | * malloc would immediately incur working set expansion); | - | ||||||||||||||||||
64 | * - larger table has larger cache footprint, which can affect | - | ||||||||||||||||||
65 | * performance of other code paths (not necessarily even from same | - | ||||||||||||||||||
66 | * thread in Hyper-Threading world); | - | ||||||||||||||||||
67 | * | - | ||||||||||||||||||
68 | * Value of 1 is not appropriate for performance reasons. | - | ||||||||||||||||||
69 | */ | - | ||||||||||||||||||
70 | #if TABLE_BITS==8 | - | ||||||||||||||||||
71 | - | |||||||||||||||||||
72 | static void gcm_init_8bit(u128 Htable[256], u64 H[2]) | - | ||||||||||||||||||
73 | { | - | ||||||||||||||||||
74 | int i, j; | - | ||||||||||||||||||
75 | u128 V; | - | ||||||||||||||||||
76 | - | |||||||||||||||||||
77 | Htable[0].hi = 0; | - | ||||||||||||||||||
78 | Htable[0].lo = 0; | - | ||||||||||||||||||
79 | V.hi = H[0]; | - | ||||||||||||||||||
80 | V.lo = H[1]; | - | ||||||||||||||||||
81 | - | |||||||||||||||||||
82 | for (Htable[128] = V, i = 64; i > 0; i >>= 1) { | - | ||||||||||||||||||
83 | REDUCE1BIT(V); | - | ||||||||||||||||||
84 | Htable[i] = V; | - | ||||||||||||||||||
85 | } | - | ||||||||||||||||||
86 | - | |||||||||||||||||||
87 | for (i = 2; i < 256; i <<= 1) { | - | ||||||||||||||||||
88 | u128 *Hi = Htable + i, H0 = *Hi; | - | ||||||||||||||||||
89 | for (j = 1; j < i; ++j) { | - | ||||||||||||||||||
90 | Hi[j].hi = H0.hi ^ Htable[j].hi; | - | ||||||||||||||||||
91 | Hi[j].lo = H0.lo ^ Htable[j].lo; | - | ||||||||||||||||||
92 | } | - | ||||||||||||||||||
93 | } | - | ||||||||||||||||||
94 | } | - | ||||||||||||||||||
95 | - | |||||||||||||||||||
96 | static void gcm_gmult_8bit(u64 Xi[2], const u128 Htable[256]) | - | ||||||||||||||||||
97 | { | - | ||||||||||||||||||
98 | u128 Z = { 0, 0 }; | - | ||||||||||||||||||
99 | const u8 *xi = (const u8 *)Xi + 15; | - | ||||||||||||||||||
100 | size_t rem, n = *xi; | - | ||||||||||||||||||
101 | const union { | - | ||||||||||||||||||
102 | long one; | - | ||||||||||||||||||
103 | char little; | - | ||||||||||||||||||
104 | } is_endian = { 1 }; | - | ||||||||||||||||||
105 | static const size_t rem_8bit[256] = { | - | ||||||||||||||||||
106 | PACK(0x0000), PACK(0x01C2), PACK(0x0384), PACK(0x0246), | - | ||||||||||||||||||
107 | PACK(0x0708), PACK(0x06CA), PACK(0x048C), PACK(0x054E), | - | ||||||||||||||||||
108 | PACK(0x0E10), PACK(0x0FD2), PACK(0x0D94), PACK(0x0C56), | - | ||||||||||||||||||
109 | PACK(0x0918), PACK(0x08DA), PACK(0x0A9C), PACK(0x0B5E), | - | ||||||||||||||||||
110 | PACK(0x1C20), PACK(0x1DE2), PACK(0x1FA4), PACK(0x1E66), | - | ||||||||||||||||||
111 | PACK(0x1B28), PACK(0x1AEA), PACK(0x18AC), PACK(0x196E), | - | ||||||||||||||||||
112 | PACK(0x1230), PACK(0x13F2), PACK(0x11B4), PACK(0x1076), | - | ||||||||||||||||||
113 | PACK(0x1538), PACK(0x14FA), PACK(0x16BC), PACK(0x177E), | - | ||||||||||||||||||
114 | PACK(0x3840), PACK(0x3982), PACK(0x3BC4), PACK(0x3A06), | - | ||||||||||||||||||
115 | PACK(0x3F48), PACK(0x3E8A), PACK(0x3CCC), PACK(0x3D0E), | - | ||||||||||||||||||
116 | PACK(0x3650), PACK(0x3792), PACK(0x35D4), PACK(0x3416), | - | ||||||||||||||||||
117 | PACK(0x3158), PACK(0x309A), PACK(0x32DC), PACK(0x331E), | - | ||||||||||||||||||
118 | PACK(0x2460), PACK(0x25A2), PACK(0x27E4), PACK(0x2626), | - | ||||||||||||||||||
119 | PACK(0x2368), PACK(0x22AA), PACK(0x20EC), PACK(0x212E), | - | ||||||||||||||||||
120 | PACK(0x2A70), PACK(0x2BB2), PACK(0x29F4), PACK(0x2836), | - | ||||||||||||||||||
121 | PACK(0x2D78), PACK(0x2CBA), PACK(0x2EFC), PACK(0x2F3E), | - | ||||||||||||||||||
122 | PACK(0x7080), PACK(0x7142), PACK(0x7304), PACK(0x72C6), | - | ||||||||||||||||||
123 | PACK(0x7788), PACK(0x764A), PACK(0x740C), PACK(0x75CE), | - | ||||||||||||||||||
124 | PACK(0x7E90), PACK(0x7F52), PACK(0x7D14), PACK(0x7CD6), | - | ||||||||||||||||||
125 | PACK(0x7998), PACK(0x785A), PACK(0x7A1C), PACK(0x7BDE), | - | ||||||||||||||||||
126 | PACK(0x6CA0), PACK(0x6D62), PACK(0x6F24), PACK(0x6EE6), | - | ||||||||||||||||||
127 | PACK(0x6BA8), PACK(0x6A6A), PACK(0x682C), PACK(0x69EE), | - | ||||||||||||||||||
128 | PACK(0x62B0), PACK(0x6372), PACK(0x6134), PACK(0x60F6), | - | ||||||||||||||||||
129 | PACK(0x65B8), PACK(0x647A), PACK(0x663C), PACK(0x67FE), | - | ||||||||||||||||||
130 | PACK(0x48C0), PACK(0x4902), PACK(0x4B44), PACK(0x4A86), | - | ||||||||||||||||||
131 | PACK(0x4FC8), PACK(0x4E0A), PACK(0x4C4C), PACK(0x4D8E), | - | ||||||||||||||||||
132 | PACK(0x46D0), PACK(0x4712), PACK(0x4554), PACK(0x4496), | - | ||||||||||||||||||
133 | PACK(0x41D8), PACK(0x401A), PACK(0x425C), PACK(0x439E), | - | ||||||||||||||||||
134 | PACK(0x54E0), PACK(0x5522), PACK(0x5764), PACK(0x56A6), | - | ||||||||||||||||||
135 | PACK(0x53E8), PACK(0x522A), PACK(0x506C), PACK(0x51AE), | - | ||||||||||||||||||
136 | PACK(0x5AF0), PACK(0x5B32), PACK(0x5974), PACK(0x58B6), | - | ||||||||||||||||||
137 | PACK(0x5DF8), PACK(0x5C3A), PACK(0x5E7C), PACK(0x5FBE), | - | ||||||||||||||||||
138 | PACK(0xE100), PACK(0xE0C2), PACK(0xE284), PACK(0xE346), | - | ||||||||||||||||||
139 | PACK(0xE608), PACK(0xE7CA), PACK(0xE58C), PACK(0xE44E), | - | ||||||||||||||||||
140 | PACK(0xEF10), PACK(0xEED2), PACK(0xEC94), PACK(0xED56), | - | ||||||||||||||||||
141 | PACK(0xE818), PACK(0xE9DA), PACK(0xEB9C), PACK(0xEA5E), | - | ||||||||||||||||||
142 | PACK(0xFD20), PACK(0xFCE2), PACK(0xFEA4), PACK(0xFF66), | - | ||||||||||||||||||
143 | PACK(0xFA28), PACK(0xFBEA), PACK(0xF9AC), PACK(0xF86E), | - | ||||||||||||||||||
144 | PACK(0xF330), PACK(0xF2F2), PACK(0xF0B4), PACK(0xF176), | - | ||||||||||||||||||
145 | PACK(0xF438), PACK(0xF5FA), PACK(0xF7BC), PACK(0xF67E), | - | ||||||||||||||||||
146 | PACK(0xD940), PACK(0xD882), PACK(0xDAC4), PACK(0xDB06), | - | ||||||||||||||||||
147 | PACK(0xDE48), PACK(0xDF8A), PACK(0xDDCC), PACK(0xDC0E), | - | ||||||||||||||||||
148 | PACK(0xD750), PACK(0xD692), PACK(0xD4D4), PACK(0xD516), | - | ||||||||||||||||||
149 | PACK(0xD058), PACK(0xD19A), PACK(0xD3DC), PACK(0xD21E), | - | ||||||||||||||||||
150 | PACK(0xC560), PACK(0xC4A2), PACK(0xC6E4), PACK(0xC726), | - | ||||||||||||||||||
151 | PACK(0xC268), PACK(0xC3AA), PACK(0xC1EC), PACK(0xC02E), | - | ||||||||||||||||||
152 | PACK(0xCB70), PACK(0xCAB2), PACK(0xC8F4), PACK(0xC936), | - | ||||||||||||||||||
153 | PACK(0xCC78), PACK(0xCDBA), PACK(0xCFFC), PACK(0xCE3E), | - | ||||||||||||||||||
154 | PACK(0x9180), PACK(0x9042), PACK(0x9204), PACK(0x93C6), | - | ||||||||||||||||||
155 | PACK(0x9688), PACK(0x974A), PACK(0x950C), PACK(0x94CE), | - | ||||||||||||||||||
156 | PACK(0x9F90), PACK(0x9E52), PACK(0x9C14), PACK(0x9DD6), | - | ||||||||||||||||||
157 | PACK(0x9898), PACK(0x995A), PACK(0x9B1C), PACK(0x9ADE), | - | ||||||||||||||||||
158 | PACK(0x8DA0), PACK(0x8C62), PACK(0x8E24), PACK(0x8FE6), | - | ||||||||||||||||||
159 | PACK(0x8AA8), PACK(0x8B6A), PACK(0x892C), PACK(0x88EE), | - | ||||||||||||||||||
160 | PACK(0x83B0), PACK(0x8272), PACK(0x8034), PACK(0x81F6), | - | ||||||||||||||||||
161 | PACK(0x84B8), PACK(0x857A), PACK(0x873C), PACK(0x86FE), | - | ||||||||||||||||||
162 | PACK(0xA9C0), PACK(0xA802), PACK(0xAA44), PACK(0xAB86), | - | ||||||||||||||||||
163 | PACK(0xAEC8), PACK(0xAF0A), PACK(0xAD4C), PACK(0xAC8E), | - | ||||||||||||||||||
164 | PACK(0xA7D0), PACK(0xA612), PACK(0xA454), PACK(0xA596), | - | ||||||||||||||||||
165 | PACK(0xA0D8), PACK(0xA11A), PACK(0xA35C), PACK(0xA29E), | - | ||||||||||||||||||
166 | PACK(0xB5E0), PACK(0xB422), PACK(0xB664), PACK(0xB7A6), | - | ||||||||||||||||||
167 | PACK(0xB2E8), PACK(0xB32A), PACK(0xB16C), PACK(0xB0AE), | - | ||||||||||||||||||
168 | PACK(0xBBF0), PACK(0xBA32), PACK(0xB874), PACK(0xB9B6), | - | ||||||||||||||||||
169 | PACK(0xBCF8), PACK(0xBD3A), PACK(0xBF7C), PACK(0xBEBE) | - | ||||||||||||||||||
170 | }; | - | ||||||||||||||||||
171 | - | |||||||||||||||||||
172 | while (1) { | - | ||||||||||||||||||
173 | Z.hi ^= Htable[n].hi; | - | ||||||||||||||||||
174 | Z.lo ^= Htable[n].lo; | - | ||||||||||||||||||
175 | - | |||||||||||||||||||
176 | if ((u8 *)Xi == xi) | - | ||||||||||||||||||
177 | break; | - | ||||||||||||||||||
178 | - | |||||||||||||||||||
179 | n = *(--xi); | - | ||||||||||||||||||
180 | - | |||||||||||||||||||
181 | rem = (size_t)Z.lo & 0xff; | - | ||||||||||||||||||
182 | Z.lo = (Z.hi << 56) | (Z.lo >> 8); | - | ||||||||||||||||||
183 | Z.hi = (Z.hi >> 8); | - | ||||||||||||||||||
184 | if (sizeof(size_t) == 8) | - | ||||||||||||||||||
185 | Z.hi ^= rem_8bit[rem]; | - | ||||||||||||||||||
186 | else | - | ||||||||||||||||||
187 | Z.hi ^= (u64)rem_8bit[rem] << 32; | - | ||||||||||||||||||
188 | } | - | ||||||||||||||||||
189 | - | |||||||||||||||||||
190 | if (is_endian.little) { | - | ||||||||||||||||||
191 | # ifdef BSWAP8 | - | ||||||||||||||||||
192 | Xi[0] = BSWAP8(Z.hi); | - | ||||||||||||||||||
193 | Xi[1] = BSWAP8(Z.lo); | - | ||||||||||||||||||
194 | # else | - | ||||||||||||||||||
195 | u8 *p = (u8 *)Xi; | - | ||||||||||||||||||
196 | u32 v; | - | ||||||||||||||||||
197 | v = (u32)(Z.hi >> 32); | - | ||||||||||||||||||
198 | PUTU32(p, v); | - | ||||||||||||||||||
199 | v = (u32)(Z.hi); | - | ||||||||||||||||||
200 | PUTU32(p + 4, v); | - | ||||||||||||||||||
201 | v = (u32)(Z.lo >> 32); | - | ||||||||||||||||||
202 | PUTU32(p + 8, v); | - | ||||||||||||||||||
203 | v = (u32)(Z.lo); | - | ||||||||||||||||||
204 | PUTU32(p + 12, v); | - | ||||||||||||||||||
205 | # endif | - | ||||||||||||||||||
206 | } else { | - | ||||||||||||||||||
207 | Xi[0] = Z.hi; | - | ||||||||||||||||||
208 | Xi[1] = Z.lo; | - | ||||||||||||||||||
209 | } | - | ||||||||||||||||||
210 | } | - | ||||||||||||||||||
211 | - | |||||||||||||||||||
212 | # define GCM_MUL(ctx) gcm_gmult_8bit(ctx->Xi.u,ctx->Htable) | - | ||||||||||||||||||
213 | - | |||||||||||||||||||
214 | #elif TABLE_BITS==4 | - | ||||||||||||||||||
215 | - | |||||||||||||||||||
216 | static void gcm_init_4bit(u128 Htable[16], u64 H[2]) | - | ||||||||||||||||||
217 | { | - | ||||||||||||||||||
218 | u128 V; | - | ||||||||||||||||||
219 | # if defined(OPENSSL_SMALL_FOOTPRINT) | - | ||||||||||||||||||
220 | int i; | - | ||||||||||||||||||
221 | # endif | - | ||||||||||||||||||
222 | - | |||||||||||||||||||
223 | Htable[0].hi = 0; | - | ||||||||||||||||||
224 | Htable[0].lo = 0; | - | ||||||||||||||||||
225 | V.hi = H[0]; | - | ||||||||||||||||||
226 | V.lo = H[1]; | - | ||||||||||||||||||
227 | - | |||||||||||||||||||
228 | # if defined(OPENSSL_SMALL_FOOTPRINT) | - | ||||||||||||||||||
229 | for (Htable[8] = V, i = 4; i > 0; i >>= 1) { | - | ||||||||||||||||||
230 | REDUCE1BIT(V); | - | ||||||||||||||||||
231 | Htable[i] = V; | - | ||||||||||||||||||
232 | } | - | ||||||||||||||||||
233 | - | |||||||||||||||||||
234 | for (i = 2; i < 16; i <<= 1) { | - | ||||||||||||||||||
235 | u128 *Hi = Htable + i; | - | ||||||||||||||||||
236 | int j; | - | ||||||||||||||||||
237 | for (V = *Hi, j = 1; j < i; ++j) { | - | ||||||||||||||||||
238 | Hi[j].hi = V.hi ^ Htable[j].hi; | - | ||||||||||||||||||
239 | Hi[j].lo = V.lo ^ Htable[j].lo; | - | ||||||||||||||||||
240 | } | - | ||||||||||||||||||
241 | } | - | ||||||||||||||||||
242 | # else | - | ||||||||||||||||||
243 | Htable[8] = V; | - | ||||||||||||||||||
244 | REDUCE1BIT(V); executed 7990 times by 2 tests: end of block Executed by:
never executed: end of block
| 0-7990 | ||||||||||||||||||
245 | Htable[4] = V; | - | ||||||||||||||||||
246 | REDUCE1BIT(V); executed 7990 times by 2 tests: end of block Executed by:
never executed: end of block
| 0-7990 | ||||||||||||||||||
247 | Htable[2] = V; | - | ||||||||||||||||||
248 | REDUCE1BIT(V); executed 7990 times by 2 tests: end of block Executed by:
never executed: end of block
| 0-7990 | ||||||||||||||||||
249 | Htable[1] = V; | - | ||||||||||||||||||
250 | Htable[3].hi = V.hi ^ Htable[2].hi, Htable[3].lo = V.lo ^ Htable[2].lo; | - | ||||||||||||||||||
251 | V = Htable[4]; | - | ||||||||||||||||||
252 | Htable[5].hi = V.hi ^ Htable[1].hi, Htable[5].lo = V.lo ^ Htable[1].lo; | - | ||||||||||||||||||
253 | Htable[6].hi = V.hi ^ Htable[2].hi, Htable[6].lo = V.lo ^ Htable[2].lo; | - | ||||||||||||||||||
254 | Htable[7].hi = V.hi ^ Htable[3].hi, Htable[7].lo = V.lo ^ Htable[3].lo; | - | ||||||||||||||||||
255 | V = Htable[8]; | - | ||||||||||||||||||
256 | Htable[9].hi = V.hi ^ Htable[1].hi, Htable[9].lo = V.lo ^ Htable[1].lo; | - | ||||||||||||||||||
257 | Htable[10].hi = V.hi ^ Htable[2].hi, Htable[10].lo = V.lo ^ Htable[2].lo; | - | ||||||||||||||||||
258 | Htable[11].hi = V.hi ^ Htable[3].hi, Htable[11].lo = V.lo ^ Htable[3].lo; | - | ||||||||||||||||||
259 | Htable[12].hi = V.hi ^ Htable[4].hi, Htable[12].lo = V.lo ^ Htable[4].lo; | - | ||||||||||||||||||
260 | Htable[13].hi = V.hi ^ Htable[5].hi, Htable[13].lo = V.lo ^ Htable[5].lo; | - | ||||||||||||||||||
261 | Htable[14].hi = V.hi ^ Htable[6].hi, Htable[14].lo = V.lo ^ Htable[6].lo; | - | ||||||||||||||||||
262 | Htable[15].hi = V.hi ^ Htable[7].hi, Htable[15].lo = V.lo ^ Htable[7].lo; | - | ||||||||||||||||||
263 | # endif | - | ||||||||||||||||||
264 | # if defined(GHASH_ASM) && (defined(__arm__) || defined(__arm)) | - | ||||||||||||||||||
265 | /* | - | ||||||||||||||||||
266 | * ARM assembler expects specific dword order in Htable. | - | ||||||||||||||||||
267 | */ | - | ||||||||||||||||||
268 | { | - | ||||||||||||||||||
269 | int j; | - | ||||||||||||||||||
270 | const union { | - | ||||||||||||||||||
271 | long one; | - | ||||||||||||||||||
272 | char little; | - | ||||||||||||||||||
273 | } is_endian = { 1 }; | - | ||||||||||||||||||
274 | - | |||||||||||||||||||
275 | if (is_endian.little) | - | ||||||||||||||||||
276 | for (j = 0; j < 16; ++j) { | - | ||||||||||||||||||
277 | V = Htable[j]; | - | ||||||||||||||||||
278 | Htable[j].hi = V.lo; | - | ||||||||||||||||||
279 | Htable[j].lo = V.hi; | - | ||||||||||||||||||
280 | } else | - | ||||||||||||||||||
281 | for (j = 0; j < 16; ++j) { | - | ||||||||||||||||||
282 | V = Htable[j]; | - | ||||||||||||||||||
283 | Htable[j].hi = V.lo << 32 | V.lo >> 32; | - | ||||||||||||||||||
284 | Htable[j].lo = V.hi << 32 | V.hi >> 32; | - | ||||||||||||||||||
285 | } | - | ||||||||||||||||||
286 | } | - | ||||||||||||||||||
287 | # endif | - | ||||||||||||||||||
288 | } executed 7990 times by 2 tests: end of block Executed by:
| 7990 | ||||||||||||||||||
289 | - | |||||||||||||||||||
290 | # ifndef GHASH_ASM | - | ||||||||||||||||||
291 | static const size_t rem_4bit[16] = { | - | ||||||||||||||||||
292 | PACK(0x0000), PACK(0x1C20), PACK(0x3840), PACK(0x2460), | - | ||||||||||||||||||
293 | PACK(0x7080), PACK(0x6CA0), PACK(0x48C0), PACK(0x54E0), | - | ||||||||||||||||||
294 | PACK(0xE100), PACK(0xFD20), PACK(0xD940), PACK(0xC560), | - | ||||||||||||||||||
295 | PACK(0x9180), PACK(0x8DA0), PACK(0xA9C0), PACK(0xB5E0) | - | ||||||||||||||||||
296 | }; | - | ||||||||||||||||||
297 | - | |||||||||||||||||||
298 | static void gcm_gmult_4bit(u64 Xi[2], const u128 Htable[16]) | - | ||||||||||||||||||
299 | { | - | ||||||||||||||||||
300 | u128 Z; | - | ||||||||||||||||||
301 | int cnt = 15; | - | ||||||||||||||||||
302 | size_t rem, nlo, nhi; | - | ||||||||||||||||||
303 | const union { | - | ||||||||||||||||||
304 | long one; | - | ||||||||||||||||||
305 | char little; | - | ||||||||||||||||||
306 | } is_endian = { 1 }; | - | ||||||||||||||||||
307 | - | |||||||||||||||||||
308 | nlo = ((const u8 *)Xi)[15]; | - | ||||||||||||||||||
309 | nhi = nlo >> 4; | - | ||||||||||||||||||
310 | nlo &= 0xf; | - | ||||||||||||||||||
311 | - | |||||||||||||||||||
312 | Z.hi = Htable[nlo].hi; | - | ||||||||||||||||||
313 | Z.lo = Htable[nlo].lo; | - | ||||||||||||||||||
314 | - | |||||||||||||||||||
315 | while (1) { | - | ||||||||||||||||||
316 | rem = (size_t)Z.lo & 0xf; | - | ||||||||||||||||||
317 | Z.lo = (Z.hi << 60) | (Z.lo >> 4); | - | ||||||||||||||||||
318 | Z.hi = (Z.hi >> 4); | - | ||||||||||||||||||
319 | if (sizeof(size_t) == 8) | - | ||||||||||||||||||
320 | Z.hi ^= rem_4bit[rem]; | - | ||||||||||||||||||
321 | else | - | ||||||||||||||||||
322 | Z.hi ^= (u64)rem_4bit[rem] << 32; | - | ||||||||||||||||||
323 | - | |||||||||||||||||||
324 | Z.hi ^= Htable[nhi].hi; | - | ||||||||||||||||||
325 | Z.lo ^= Htable[nhi].lo; | - | ||||||||||||||||||
326 | - | |||||||||||||||||||
327 | if (--cnt < 0) | - | ||||||||||||||||||
328 | break; | - | ||||||||||||||||||
329 | - | |||||||||||||||||||
330 | nlo = ((const u8 *)Xi)[cnt]; | - | ||||||||||||||||||
331 | nhi = nlo >> 4; | - | ||||||||||||||||||
332 | nlo &= 0xf; | - | ||||||||||||||||||
333 | - | |||||||||||||||||||
334 | rem = (size_t)Z.lo & 0xf; | - | ||||||||||||||||||
335 | Z.lo = (Z.hi << 60) | (Z.lo >> 4); | - | ||||||||||||||||||
336 | Z.hi = (Z.hi >> 4); | - | ||||||||||||||||||
337 | if (sizeof(size_t) == 8) | - | ||||||||||||||||||
338 | Z.hi ^= rem_4bit[rem]; | - | ||||||||||||||||||
339 | else | - | ||||||||||||||||||
340 | Z.hi ^= (u64)rem_4bit[rem] << 32; | - | ||||||||||||||||||
341 | - | |||||||||||||||||||
342 | Z.hi ^= Htable[nlo].hi; | - | ||||||||||||||||||
343 | Z.lo ^= Htable[nlo].lo; | - | ||||||||||||||||||
344 | } | - | ||||||||||||||||||
345 | - | |||||||||||||||||||
346 | if (is_endian.little) { | - | ||||||||||||||||||
347 | # ifdef BSWAP8 | - | ||||||||||||||||||
348 | Xi[0] = BSWAP8(Z.hi); | - | ||||||||||||||||||
349 | Xi[1] = BSWAP8(Z.lo); | - | ||||||||||||||||||
350 | # else | - | ||||||||||||||||||
351 | u8 *p = (u8 *)Xi; | - | ||||||||||||||||||
352 | u32 v; | - | ||||||||||||||||||
353 | v = (u32)(Z.hi >> 32); | - | ||||||||||||||||||
354 | PUTU32(p, v); | - | ||||||||||||||||||
355 | v = (u32)(Z.hi); | - | ||||||||||||||||||
356 | PUTU32(p + 4, v); | - | ||||||||||||||||||
357 | v = (u32)(Z.lo >> 32); | - | ||||||||||||||||||
358 | PUTU32(p + 8, v); | - | ||||||||||||||||||
359 | v = (u32)(Z.lo); | - | ||||||||||||||||||
360 | PUTU32(p + 12, v); | - | ||||||||||||||||||
361 | # endif | - | ||||||||||||||||||
362 | } else { | - | ||||||||||||||||||
363 | Xi[0] = Z.hi; | - | ||||||||||||||||||
364 | Xi[1] = Z.lo; | - | ||||||||||||||||||
365 | } | - | ||||||||||||||||||
366 | } | - | ||||||||||||||||||
367 | - | |||||||||||||||||||
368 | # if !defined(OPENSSL_SMALL_FOOTPRINT) | - | ||||||||||||||||||
369 | /* | - | ||||||||||||||||||
370 | * Streamed gcm_mult_4bit, see CRYPTO_gcm128_[en|de]crypt for | - | ||||||||||||||||||
371 | * details... Compiler-generated code doesn't seem to give any | - | ||||||||||||||||||
372 | * performance improvement, at least not on x86[_64]. It's here | - | ||||||||||||||||||
373 | * mostly as reference and a placeholder for possible future | - | ||||||||||||||||||
374 | * non-trivial optimization[s]... | - | ||||||||||||||||||
375 | */ | - | ||||||||||||||||||
376 | static void gcm_ghash_4bit(u64 Xi[2], const u128 Htable[16], | - | ||||||||||||||||||
377 | const u8 *inp, size_t len) | - | ||||||||||||||||||
378 | { | - | ||||||||||||||||||
379 | u128 Z; | - | ||||||||||||||||||
380 | int cnt; | - | ||||||||||||||||||
381 | size_t rem, nlo, nhi; | - | ||||||||||||||||||
382 | const union { | - | ||||||||||||||||||
383 | long one; | - | ||||||||||||||||||
384 | char little; | - | ||||||||||||||||||
385 | } is_endian = { 1 }; | - | ||||||||||||||||||
386 | - | |||||||||||||||||||
387 | # if 1 | - | ||||||||||||||||||
388 | do { | - | ||||||||||||||||||
389 | cnt = 15; | - | ||||||||||||||||||
390 | nlo = ((const u8 *)Xi)[15]; | - | ||||||||||||||||||
391 | nlo ^= inp[15]; | - | ||||||||||||||||||
392 | nhi = nlo >> 4; | - | ||||||||||||||||||
393 | nlo &= 0xf; | - | ||||||||||||||||||
394 | - | |||||||||||||||||||
395 | Z.hi = Htable[nlo].hi; | - | ||||||||||||||||||
396 | Z.lo = Htable[nlo].lo; | - | ||||||||||||||||||
397 | - | |||||||||||||||||||
398 | while (1) { | - | ||||||||||||||||||
399 | rem = (size_t)Z.lo & 0xf; | - | ||||||||||||||||||
400 | Z.lo = (Z.hi << 60) | (Z.lo >> 4); | - | ||||||||||||||||||
401 | Z.hi = (Z.hi >> 4); | - | ||||||||||||||||||
402 | if (sizeof(size_t) == 8) | - | ||||||||||||||||||
403 | Z.hi ^= rem_4bit[rem]; | - | ||||||||||||||||||
404 | else | - | ||||||||||||||||||
405 | Z.hi ^= (u64)rem_4bit[rem] << 32; | - | ||||||||||||||||||
406 | - | |||||||||||||||||||
407 | Z.hi ^= Htable[nhi].hi; | - | ||||||||||||||||||
408 | Z.lo ^= Htable[nhi].lo; | - | ||||||||||||||||||
409 | - | |||||||||||||||||||
410 | if (--cnt < 0) | - | ||||||||||||||||||
411 | break; | - | ||||||||||||||||||
412 | - | |||||||||||||||||||
413 | nlo = ((const u8 *)Xi)[cnt]; | - | ||||||||||||||||||
414 | nlo ^= inp[cnt]; | - | ||||||||||||||||||
415 | nhi = nlo >> 4; | - | ||||||||||||||||||
416 | nlo &= 0xf; | - | ||||||||||||||||||
417 | - | |||||||||||||||||||
418 | rem = (size_t)Z.lo & 0xf; | - | ||||||||||||||||||
419 | Z.lo = (Z.hi << 60) | (Z.lo >> 4); | - | ||||||||||||||||||
420 | Z.hi = (Z.hi >> 4); | - | ||||||||||||||||||
421 | if (sizeof(size_t) == 8) | - | ||||||||||||||||||
422 | Z.hi ^= rem_4bit[rem]; | - | ||||||||||||||||||
423 | else | - | ||||||||||||||||||
424 | Z.hi ^= (u64)rem_4bit[rem] << 32; | - | ||||||||||||||||||
425 | - | |||||||||||||||||||
426 | Z.hi ^= Htable[nlo].hi; | - | ||||||||||||||||||
427 | Z.lo ^= Htable[nlo].lo; | - | ||||||||||||||||||
428 | } | - | ||||||||||||||||||
429 | # else | - | ||||||||||||||||||
430 | /* | - | ||||||||||||||||||
431 | * Extra 256+16 bytes per-key plus 512 bytes shared tables | - | ||||||||||||||||||
432 | * [should] give ~50% improvement... One could have PACK()-ed | - | ||||||||||||||||||
433 | * the rem_8bit even here, but the priority is to minimize | - | ||||||||||||||||||
434 | * cache footprint... | - | ||||||||||||||||||
435 | */ | - | ||||||||||||||||||
436 | u128 Hshr4[16]; /* Htable shifted right by 4 bits */ | - | ||||||||||||||||||
437 | u8 Hshl4[16]; /* Htable shifted left by 4 bits */ | - | ||||||||||||||||||
438 | static const unsigned short rem_8bit[256] = { | - | ||||||||||||||||||
439 | 0x0000, 0x01C2, 0x0384, 0x0246, 0x0708, 0x06CA, 0x048C, 0x054E, | - | ||||||||||||||||||
440 | 0x0E10, 0x0FD2, 0x0D94, 0x0C56, 0x0918, 0x08DA, 0x0A9C, 0x0B5E, | - | ||||||||||||||||||
441 | 0x1C20, 0x1DE2, 0x1FA4, 0x1E66, 0x1B28, 0x1AEA, 0x18AC, 0x196E, | - | ||||||||||||||||||
442 | 0x1230, 0x13F2, 0x11B4, 0x1076, 0x1538, 0x14FA, 0x16BC, 0x177E, | - | ||||||||||||||||||
443 | 0x3840, 0x3982, 0x3BC4, 0x3A06, 0x3F48, 0x3E8A, 0x3CCC, 0x3D0E, | - | ||||||||||||||||||
444 | 0x3650, 0x3792, 0x35D4, 0x3416, 0x3158, 0x309A, 0x32DC, 0x331E, | - | ||||||||||||||||||
445 | 0x2460, 0x25A2, 0x27E4, 0x2626, 0x2368, 0x22AA, 0x20EC, 0x212E, | - | ||||||||||||||||||
446 | 0x2A70, 0x2BB2, 0x29F4, 0x2836, 0x2D78, 0x2CBA, 0x2EFC, 0x2F3E, | - | ||||||||||||||||||
447 | 0x7080, 0x7142, 0x7304, 0x72C6, 0x7788, 0x764A, 0x740C, 0x75CE, | - | ||||||||||||||||||
448 | 0x7E90, 0x7F52, 0x7D14, 0x7CD6, 0x7998, 0x785A, 0x7A1C, 0x7BDE, | - | ||||||||||||||||||
449 | 0x6CA0, 0x6D62, 0x6F24, 0x6EE6, 0x6BA8, 0x6A6A, 0x682C, 0x69EE, | - | ||||||||||||||||||
450 | 0x62B0, 0x6372, 0x6134, 0x60F6, 0x65B8, 0x647A, 0x663C, 0x67FE, | - | ||||||||||||||||||
451 | 0x48C0, 0x4902, 0x4B44, 0x4A86, 0x4FC8, 0x4E0A, 0x4C4C, 0x4D8E, | - | ||||||||||||||||||
452 | 0x46D0, 0x4712, 0x4554, 0x4496, 0x41D8, 0x401A, 0x425C, 0x439E, | - | ||||||||||||||||||
453 | 0x54E0, 0x5522, 0x5764, 0x56A6, 0x53E8, 0x522A, 0x506C, 0x51AE, | - | ||||||||||||||||||
454 | 0x5AF0, 0x5B32, 0x5974, 0x58B6, 0x5DF8, 0x5C3A, 0x5E7C, 0x5FBE, | - | ||||||||||||||||||
455 | 0xE100, 0xE0C2, 0xE284, 0xE346, 0xE608, 0xE7CA, 0xE58C, 0xE44E, | - | ||||||||||||||||||
456 | 0xEF10, 0xEED2, 0xEC94, 0xED56, 0xE818, 0xE9DA, 0xEB9C, 0xEA5E, | - | ||||||||||||||||||
457 | 0xFD20, 0xFCE2, 0xFEA4, 0xFF66, 0xFA28, 0xFBEA, 0xF9AC, 0xF86E, | - | ||||||||||||||||||
458 | 0xF330, 0xF2F2, 0xF0B4, 0xF176, 0xF438, 0xF5FA, 0xF7BC, 0xF67E, | - | ||||||||||||||||||
459 | 0xD940, 0xD882, 0xDAC4, 0xDB06, 0xDE48, 0xDF8A, 0xDDCC, 0xDC0E, | - | ||||||||||||||||||
460 | 0xD750, 0xD692, 0xD4D4, 0xD516, 0xD058, 0xD19A, 0xD3DC, 0xD21E, | - | ||||||||||||||||||
461 | 0xC560, 0xC4A2, 0xC6E4, 0xC726, 0xC268, 0xC3AA, 0xC1EC, 0xC02E, | - | ||||||||||||||||||
462 | 0xCB70, 0xCAB2, 0xC8F4, 0xC936, 0xCC78, 0xCDBA, 0xCFFC, 0xCE3E, | - | ||||||||||||||||||
463 | 0x9180, 0x9042, 0x9204, 0x93C6, 0x9688, 0x974A, 0x950C, 0x94CE, | - | ||||||||||||||||||
464 | 0x9F90, 0x9E52, 0x9C14, 0x9DD6, 0x9898, 0x995A, 0x9B1C, 0x9ADE, | - | ||||||||||||||||||
465 | 0x8DA0, 0x8C62, 0x8E24, 0x8FE6, 0x8AA8, 0x8B6A, 0x892C, 0x88EE, | - | ||||||||||||||||||
466 | 0x83B0, 0x8272, 0x8034, 0x81F6, 0x84B8, 0x857A, 0x873C, 0x86FE, | - | ||||||||||||||||||
467 | 0xA9C0, 0xA802, 0xAA44, 0xAB86, 0xAEC8, 0xAF0A, 0xAD4C, 0xAC8E, | - | ||||||||||||||||||
468 | 0xA7D0, 0xA612, 0xA454, 0xA596, 0xA0D8, 0xA11A, 0xA35C, 0xA29E, | - | ||||||||||||||||||
469 | 0xB5E0, 0xB422, 0xB664, 0xB7A6, 0xB2E8, 0xB32A, 0xB16C, 0xB0AE, | - | ||||||||||||||||||
470 | 0xBBF0, 0xBA32, 0xB874, 0xB9B6, 0xBCF8, 0xBD3A, 0xBF7C, 0xBEBE | - | ||||||||||||||||||
471 | }; | - | ||||||||||||||||||
472 | /* | - | ||||||||||||||||||
473 | * This pre-processing phase slows down procedure by approximately | - | ||||||||||||||||||
474 | * same time as it makes each loop spin faster. In other words | - | ||||||||||||||||||
475 | * single block performance is approximately same as straightforward | - | ||||||||||||||||||
476 | * "4-bit" implementation, and then it goes only faster... | - | ||||||||||||||||||
477 | */ | - | ||||||||||||||||||
478 | for (cnt = 0; cnt < 16; ++cnt) { | - | ||||||||||||||||||
479 | Z.hi = Htable[cnt].hi; | - | ||||||||||||||||||
480 | Z.lo = Htable[cnt].lo; | - | ||||||||||||||||||
481 | Hshr4[cnt].lo = (Z.hi << 60) | (Z.lo >> 4); | - | ||||||||||||||||||
482 | Hshr4[cnt].hi = (Z.hi >> 4); | - | ||||||||||||||||||
483 | Hshl4[cnt] = (u8)(Z.lo << 4); | - | ||||||||||||||||||
484 | } | - | ||||||||||||||||||
485 | - | |||||||||||||||||||
486 | do { | - | ||||||||||||||||||
487 | for (Z.lo = 0, Z.hi = 0, cnt = 15; cnt; --cnt) { | - | ||||||||||||||||||
488 | nlo = ((const u8 *)Xi)[cnt]; | - | ||||||||||||||||||
489 | nlo ^= inp[cnt]; | - | ||||||||||||||||||
490 | nhi = nlo >> 4; | - | ||||||||||||||||||
491 | nlo &= 0xf; | - | ||||||||||||||||||
492 | - | |||||||||||||||||||
493 | Z.hi ^= Htable[nlo].hi; | - | ||||||||||||||||||
494 | Z.lo ^= Htable[nlo].lo; | - | ||||||||||||||||||
495 | - | |||||||||||||||||||
496 | rem = (size_t)Z.lo & 0xff; | - | ||||||||||||||||||
497 | - | |||||||||||||||||||
498 | Z.lo = (Z.hi << 56) | (Z.lo >> 8); | - | ||||||||||||||||||
499 | Z.hi = (Z.hi >> 8); | - | ||||||||||||||||||
500 | - | |||||||||||||||||||
501 | Z.hi ^= Hshr4[nhi].hi; | - | ||||||||||||||||||
502 | Z.lo ^= Hshr4[nhi].lo; | - | ||||||||||||||||||
503 | Z.hi ^= (u64)rem_8bit[rem ^ Hshl4[nhi]] << 48; | - | ||||||||||||||||||
504 | } | - | ||||||||||||||||||
505 | - | |||||||||||||||||||
506 | nlo = ((const u8 *)Xi)[0]; | - | ||||||||||||||||||
507 | nlo ^= inp[0]; | - | ||||||||||||||||||
508 | nhi = nlo >> 4; | - | ||||||||||||||||||
509 | nlo &= 0xf; | - | ||||||||||||||||||
510 | - | |||||||||||||||||||
511 | Z.hi ^= Htable[nlo].hi; | - | ||||||||||||||||||
512 | Z.lo ^= Htable[nlo].lo; | - | ||||||||||||||||||
513 | - | |||||||||||||||||||
514 | rem = (size_t)Z.lo & 0xf; | - | ||||||||||||||||||
515 | - | |||||||||||||||||||
516 | Z.lo = (Z.hi << 60) | (Z.lo >> 4); | - | ||||||||||||||||||
517 | Z.hi = (Z.hi >> 4); | - | ||||||||||||||||||
518 | - | |||||||||||||||||||
519 | Z.hi ^= Htable[nhi].hi; | - | ||||||||||||||||||
520 | Z.lo ^= Htable[nhi].lo; | - | ||||||||||||||||||
521 | Z.hi ^= ((u64)rem_8bit[rem << 4]) << 48; | - | ||||||||||||||||||
522 | # endif | - | ||||||||||||||||||
523 | - | |||||||||||||||||||
524 | if (is_endian.little) { | - | ||||||||||||||||||
525 | # ifdef BSWAP8 | - | ||||||||||||||||||
526 | Xi[0] = BSWAP8(Z.hi); | - | ||||||||||||||||||
527 | Xi[1] = BSWAP8(Z.lo); | - | ||||||||||||||||||
528 | # else | - | ||||||||||||||||||
529 | u8 *p = (u8 *)Xi; | - | ||||||||||||||||||
530 | u32 v; | - | ||||||||||||||||||
531 | v = (u32)(Z.hi >> 32); | - | ||||||||||||||||||
532 | PUTU32(p, v); | - | ||||||||||||||||||
533 | v = (u32)(Z.hi); | - | ||||||||||||||||||
534 | PUTU32(p + 4, v); | - | ||||||||||||||||||
535 | v = (u32)(Z.lo >> 32); | - | ||||||||||||||||||
536 | PUTU32(p + 8, v); | - | ||||||||||||||||||
537 | v = (u32)(Z.lo); | - | ||||||||||||||||||
538 | PUTU32(p + 12, v); | - | ||||||||||||||||||
539 | # endif | - | ||||||||||||||||||
540 | } else { | - | ||||||||||||||||||
541 | Xi[0] = Z.hi; | - | ||||||||||||||||||
542 | Xi[1] = Z.lo; | - | ||||||||||||||||||
543 | } | - | ||||||||||||||||||
544 | } while (inp += 16, len -= 16); | - | ||||||||||||||||||
545 | } | - | ||||||||||||||||||
546 | # endif | - | ||||||||||||||||||
547 | # else | - | ||||||||||||||||||
548 | void gcm_gmult_4bit(u64 Xi[2], const u128 Htable[16]); | - | ||||||||||||||||||
549 | void gcm_ghash_4bit(u64 Xi[2], const u128 Htable[16], const u8 *inp, | - | ||||||||||||||||||
550 | size_t len); | - | ||||||||||||||||||
551 | # endif | - | ||||||||||||||||||
552 | - | |||||||||||||||||||
553 | # define GCM_MUL(ctx) gcm_gmult_4bit(ctx->Xi.u,ctx->Htable) | - | ||||||||||||||||||
554 | # if defined(GHASH_ASM) || !defined(OPENSSL_SMALL_FOOTPRINT) | - | ||||||||||||||||||
555 | # define GHASH(ctx,in,len) gcm_ghash_4bit((ctx)->Xi.u,(ctx)->Htable,in,len) | - | ||||||||||||||||||
556 | /* | - | ||||||||||||||||||
557 | * GHASH_CHUNK is "stride parameter" missioned to mitigate cache trashing | - | ||||||||||||||||||
558 | * effect. In other words idea is to hash data while it's still in L1 cache | - | ||||||||||||||||||
559 | * after encryption pass... | - | ||||||||||||||||||
560 | */ | - | ||||||||||||||||||
561 | # define GHASH_CHUNK (3*1024) | - | ||||||||||||||||||
562 | # endif | - | ||||||||||||||||||
563 | - | |||||||||||||||||||
564 | #else /* TABLE_BITS */ | - | ||||||||||||||||||
565 | - | |||||||||||||||||||
566 | static void gcm_gmult_1bit(u64 Xi[2], const u64 H[2]) | - | ||||||||||||||||||
567 | { | - | ||||||||||||||||||
568 | u128 V, Z = { 0, 0 }; | - | ||||||||||||||||||
569 | long X; | - | ||||||||||||||||||
570 | int i, j; | - | ||||||||||||||||||
571 | const long *xi = (const long *)Xi; | - | ||||||||||||||||||
572 | const union { | - | ||||||||||||||||||
573 | long one; | - | ||||||||||||||||||
574 | char little; | - | ||||||||||||||||||
575 | } is_endian = { 1 }; | - | ||||||||||||||||||
576 | - | |||||||||||||||||||
577 | V.hi = H[0]; /* H is in host byte order, no byte swapping */ | - | ||||||||||||||||||
578 | V.lo = H[1]; | - | ||||||||||||||||||
579 | - | |||||||||||||||||||
580 | for (j = 0; j < 16 / sizeof(long); ++j) { | - | ||||||||||||||||||
581 | if (is_endian.little) { | - | ||||||||||||||||||
582 | if (sizeof(long) == 8) { | - | ||||||||||||||||||
583 | # ifdef BSWAP8 | - | ||||||||||||||||||
584 | X = (long)(BSWAP8(xi[j])); | - | ||||||||||||||||||
585 | # else | - | ||||||||||||||||||
586 | const u8 *p = (const u8 *)(xi + j); | - | ||||||||||||||||||
587 | X = (long)((u64)GETU32(p) << 32 | GETU32(p + 4)); | - | ||||||||||||||||||
588 | # endif | - | ||||||||||||||||||
589 | } else { | - | ||||||||||||||||||
590 | const u8 *p = (const u8 *)(xi + j); | - | ||||||||||||||||||
591 | X = (long)GETU32(p); | - | ||||||||||||||||||
592 | } | - | ||||||||||||||||||
593 | } else | - | ||||||||||||||||||
594 | X = xi[j]; | - | ||||||||||||||||||
595 | - | |||||||||||||||||||
596 | for (i = 0; i < 8 * sizeof(long); ++i, X <<= 1) { | - | ||||||||||||||||||
597 | u64 M = (u64)(X >> (8 * sizeof(long) - 1)); | - | ||||||||||||||||||
598 | Z.hi ^= V.hi & M; | - | ||||||||||||||||||
599 | Z.lo ^= V.lo & M; | - | ||||||||||||||||||
600 | - | |||||||||||||||||||
601 | REDUCE1BIT(V); | - | ||||||||||||||||||
602 | } | - | ||||||||||||||||||
603 | } | - | ||||||||||||||||||
604 | - | |||||||||||||||||||
605 | if (is_endian.little) { | - | ||||||||||||||||||
606 | # ifdef BSWAP8 | - | ||||||||||||||||||
607 | Xi[0] = BSWAP8(Z.hi); | - | ||||||||||||||||||
608 | Xi[1] = BSWAP8(Z.lo); | - | ||||||||||||||||||
609 | # else | - | ||||||||||||||||||
610 | u8 *p = (u8 *)Xi; | - | ||||||||||||||||||
611 | u32 v; | - | ||||||||||||||||||
612 | v = (u32)(Z.hi >> 32); | - | ||||||||||||||||||
613 | PUTU32(p, v); | - | ||||||||||||||||||
614 | v = (u32)(Z.hi); | - | ||||||||||||||||||
615 | PUTU32(p + 4, v); | - | ||||||||||||||||||
616 | v = (u32)(Z.lo >> 32); | - | ||||||||||||||||||
617 | PUTU32(p + 8, v); | - | ||||||||||||||||||
618 | v = (u32)(Z.lo); | - | ||||||||||||||||||
619 | PUTU32(p + 12, v); | - | ||||||||||||||||||
620 | # endif | - | ||||||||||||||||||
621 | } else { | - | ||||||||||||||||||
622 | Xi[0] = Z.hi; | - | ||||||||||||||||||
623 | Xi[1] = Z.lo; | - | ||||||||||||||||||
624 | } | - | ||||||||||||||||||
625 | } | - | ||||||||||||||||||
626 | - | |||||||||||||||||||
627 | # define GCM_MUL(ctx) gcm_gmult_1bit(ctx->Xi.u,ctx->H.u) | - | ||||||||||||||||||
628 | - | |||||||||||||||||||
629 | #endif | - | ||||||||||||||||||
630 | - | |||||||||||||||||||
631 | #if TABLE_BITS==4 && (defined(GHASH_ASM) || defined(OPENSSL_CPUID_OBJ)) | - | ||||||||||||||||||
632 | # if !defined(I386_ONLY) && \ | - | ||||||||||||||||||
633 | (defined(__i386) || defined(__i386__) || \ | - | ||||||||||||||||||
634 | defined(__x86_64) || defined(__x86_64__) || \ | - | ||||||||||||||||||
635 | defined(_M_IX86) || defined(_M_AMD64) || defined(_M_X64)) | - | ||||||||||||||||||
636 | # define GHASH_ASM_X86_OR_64 | - | ||||||||||||||||||
637 | # define GCM_FUNCREF_4BIT | - | ||||||||||||||||||
638 | extern unsigned int OPENSSL_ia32cap_P[]; | - | ||||||||||||||||||
639 | - | |||||||||||||||||||
640 | void gcm_init_clmul(u128 Htable[16], const u64 Xi[2]); | - | ||||||||||||||||||
641 | void gcm_gmult_clmul(u64 Xi[2], const u128 Htable[16]); | - | ||||||||||||||||||
642 | void gcm_ghash_clmul(u64 Xi[2], const u128 Htable[16], const u8 *inp, | - | ||||||||||||||||||
643 | size_t len); | - | ||||||||||||||||||
644 | - | |||||||||||||||||||
645 | # if defined(__i386) || defined(__i386__) || defined(_M_IX86) | - | ||||||||||||||||||
646 | # define gcm_init_avx gcm_init_clmul | - | ||||||||||||||||||
647 | # define gcm_gmult_avx gcm_gmult_clmul | - | ||||||||||||||||||
648 | # define gcm_ghash_avx gcm_ghash_clmul | - | ||||||||||||||||||
649 | # else | - | ||||||||||||||||||
650 | void gcm_init_avx(u128 Htable[16], const u64 Xi[2]); | - | ||||||||||||||||||
651 | void gcm_gmult_avx(u64 Xi[2], const u128 Htable[16]); | - | ||||||||||||||||||
652 | void gcm_ghash_avx(u64 Xi[2], const u128 Htable[16], const u8 *inp, | - | ||||||||||||||||||
653 | size_t len); | - | ||||||||||||||||||
654 | # endif | - | ||||||||||||||||||
655 | - | |||||||||||||||||||
656 | # if defined(__i386) || defined(__i386__) || defined(_M_IX86) | - | ||||||||||||||||||
657 | # define GHASH_ASM_X86 | - | ||||||||||||||||||
658 | void gcm_gmult_4bit_mmx(u64 Xi[2], const u128 Htable[16]); | - | ||||||||||||||||||
659 | void gcm_ghash_4bit_mmx(u64 Xi[2], const u128 Htable[16], const u8 *inp, | - | ||||||||||||||||||
660 | size_t len); | - | ||||||||||||||||||
661 | - | |||||||||||||||||||
662 | void gcm_gmult_4bit_x86(u64 Xi[2], const u128 Htable[16]); | - | ||||||||||||||||||
663 | void gcm_ghash_4bit_x86(u64 Xi[2], const u128 Htable[16], const u8 *inp, | - | ||||||||||||||||||
664 | size_t len); | - | ||||||||||||||||||
665 | # endif | - | ||||||||||||||||||
666 | # elif defined(__arm__) || defined(__arm) || defined(__aarch64__) | - | ||||||||||||||||||
667 | # include "arm_arch.h" | - | ||||||||||||||||||
668 | # if __ARM_MAX_ARCH__>=7 | - | ||||||||||||||||||
669 | # define GHASH_ASM_ARM | - | ||||||||||||||||||
670 | # define GCM_FUNCREF_4BIT | - | ||||||||||||||||||
671 | # define PMULL_CAPABLE (OPENSSL_armcap_P & ARMV8_PMULL) | - | ||||||||||||||||||
672 | # if defined(__arm__) || defined(__arm) | - | ||||||||||||||||||
673 | # define NEON_CAPABLE (OPENSSL_armcap_P & ARMV7_NEON) | - | ||||||||||||||||||
674 | # endif | - | ||||||||||||||||||
675 | void gcm_init_neon(u128 Htable[16], const u64 Xi[2]); | - | ||||||||||||||||||
676 | void gcm_gmult_neon(u64 Xi[2], const u128 Htable[16]); | - | ||||||||||||||||||
677 | void gcm_ghash_neon(u64 Xi[2], const u128 Htable[16], const u8 *inp, | - | ||||||||||||||||||
678 | size_t len); | - | ||||||||||||||||||
679 | void gcm_init_v8(u128 Htable[16], const u64 Xi[2]); | - | ||||||||||||||||||
680 | void gcm_gmult_v8(u64 Xi[2], const u128 Htable[16]); | - | ||||||||||||||||||
681 | void gcm_ghash_v8(u64 Xi[2], const u128 Htable[16], const u8 *inp, | - | ||||||||||||||||||
682 | size_t len); | - | ||||||||||||||||||
683 | # endif | - | ||||||||||||||||||
684 | # elif defined(__sparc__) || defined(__sparc) | - | ||||||||||||||||||
685 | # include "sparc_arch.h" | - | ||||||||||||||||||
686 | # define GHASH_ASM_SPARC | - | ||||||||||||||||||
687 | # define GCM_FUNCREF_4BIT | - | ||||||||||||||||||
688 | extern unsigned int OPENSSL_sparcv9cap_P[]; | - | ||||||||||||||||||
689 | void gcm_init_vis3(u128 Htable[16], const u64 Xi[2]); | - | ||||||||||||||||||
690 | void gcm_gmult_vis3(u64 Xi[2], const u128 Htable[16]); | - | ||||||||||||||||||
691 | void gcm_ghash_vis3(u64 Xi[2], const u128 Htable[16], const u8 *inp, | - | ||||||||||||||||||
692 | size_t len); | - | ||||||||||||||||||
693 | # elif defined(OPENSSL_CPUID_OBJ) && (defined(__powerpc__) || defined(__ppc__) || defined(_ARCH_PPC)) | - | ||||||||||||||||||
694 | # include "ppc_arch.h" | - | ||||||||||||||||||
695 | # define GHASH_ASM_PPC | - | ||||||||||||||||||
696 | # define GCM_FUNCREF_4BIT | - | ||||||||||||||||||
697 | void gcm_init_p8(u128 Htable[16], const u64 Xi[2]); | - | ||||||||||||||||||
698 | void gcm_gmult_p8(u64 Xi[2], const u128 Htable[16]); | - | ||||||||||||||||||
699 | void gcm_ghash_p8(u64 Xi[2], const u128 Htable[16], const u8 *inp, | - | ||||||||||||||||||
700 | size_t len); | - | ||||||||||||||||||
701 | # endif | - | ||||||||||||||||||
702 | #endif | - | ||||||||||||||||||
703 | - | |||||||||||||||||||
704 | #ifdef GCM_FUNCREF_4BIT | - | ||||||||||||||||||
705 | # undef GCM_MUL | - | ||||||||||||||||||
706 | # define GCM_MUL(ctx) (*gcm_gmult_p)(ctx->Xi.u,ctx->Htable) | - | ||||||||||||||||||
707 | # ifdef GHASH | - | ||||||||||||||||||
708 | # undef GHASH | - | ||||||||||||||||||
709 | # define GHASH(ctx,in,len) (*gcm_ghash_p)(ctx->Xi.u,ctx->Htable,in,len) | - | ||||||||||||||||||
710 | # endif | - | ||||||||||||||||||
711 | #endif | - | ||||||||||||||||||
712 | - | |||||||||||||||||||
713 | void CRYPTO_gcm128_init(GCM128_CONTEXT *ctx, void *key, block128_f block) | - | ||||||||||||||||||
714 | { | - | ||||||||||||||||||
715 | const union { | - | ||||||||||||||||||
716 | long one; | - | ||||||||||||||||||
717 | char little; | - | ||||||||||||||||||
718 | } is_endian = { 1 }; | - | ||||||||||||||||||
719 | - | |||||||||||||||||||
720 | memset(ctx, 0, sizeof(*ctx)); | - | ||||||||||||||||||
721 | ctx->block = block; | - | ||||||||||||||||||
722 | ctx->key = key; | - | ||||||||||||||||||
723 | - | |||||||||||||||||||
724 | (*block) (ctx->H.c, ctx->H.c, key); | - | ||||||||||||||||||
725 | - | |||||||||||||||||||
726 | if (is_endian.little) {
| 0-7990 | ||||||||||||||||||
727 | /* H is stored in host byte order */ | - | ||||||||||||||||||
728 | #ifdef BSWAP8 | - | ||||||||||||||||||
729 | ctx->H.u[0] = BSWAP8(ctx->H.u[0]); | - | ||||||||||||||||||
730 | ctx->H.u[1] = BSWAP8(ctx->H.u[1]); | - | ||||||||||||||||||
731 | #else | - | ||||||||||||||||||
732 | u8 *p = ctx->H.c; | - | ||||||||||||||||||
733 | u64 hi, lo; | - | ||||||||||||||||||
734 | hi = (u64)GETU32(p) << 32 | GETU32(p + 4); | - | ||||||||||||||||||
735 | lo = (u64)GETU32(p + 8) << 32 | GETU32(p + 12); | - | ||||||||||||||||||
736 | ctx->H.u[0] = hi; | - | ||||||||||||||||||
737 | ctx->H.u[1] = lo; | - | ||||||||||||||||||
738 | #endif | - | ||||||||||||||||||
739 | } executed 7990 times by 2 tests: end of block Executed by:
| 7990 | ||||||||||||||||||
740 | #if TABLE_BITS==8 | - | ||||||||||||||||||
741 | gcm_init_8bit(ctx->Htable, ctx->H.u); | - | ||||||||||||||||||
742 | #elif TABLE_BITS==4 | - | ||||||||||||||||||
743 | # if defined(GHASH) | - | ||||||||||||||||||
744 | # define CTX__GHASH(f) (ctx->ghash = (f)) | - | ||||||||||||||||||
745 | # else | - | ||||||||||||||||||
746 | # define CTX__GHASH(f) (ctx->ghash = NULL) | - | ||||||||||||||||||
747 | # endif | - | ||||||||||||||||||
748 | # if defined(GHASH_ASM_X86_OR_64) | - | ||||||||||||||||||
749 | # if !defined(GHASH_ASM_X86) || defined(OPENSSL_IA32_SSE2) | - | ||||||||||||||||||
750 | if (OPENSSL_ia32cap_P[1] & (1 << 1)) { /* check PCLMULQDQ bit */
| 0-7990 | ||||||||||||||||||
751 | if (((OPENSSL_ia32cap_P[1] >> 22) & 0x41) == 0x41) { /* AVX+MOVBE */
| 0 | ||||||||||||||||||
752 | gcm_init_avx(ctx->Htable, ctx->H.u); | - | ||||||||||||||||||
753 | ctx->gmult = gcm_gmult_avx; | - | ||||||||||||||||||
754 | CTX__GHASH(gcm_ghash_avx); | - | ||||||||||||||||||
755 | } else { never executed: end of block | 0 | ||||||||||||||||||
756 | gcm_init_clmul(ctx->Htable, ctx->H.u); | - | ||||||||||||||||||
757 | ctx->gmult = gcm_gmult_clmul; | - | ||||||||||||||||||
758 | CTX__GHASH(gcm_ghash_clmul); | - | ||||||||||||||||||
759 | } never executed: end of block | 0 | ||||||||||||||||||
760 | return; never executed: return; | 0 | ||||||||||||||||||
761 | } | - | ||||||||||||||||||
762 | # endif | - | ||||||||||||||||||
763 | gcm_init_4bit(ctx->Htable, ctx->H.u); | - | ||||||||||||||||||
764 | # if defined(GHASH_ASM_X86) /* x86 only */ | - | ||||||||||||||||||
765 | # if defined(OPENSSL_IA32_SSE2) | - | ||||||||||||||||||
766 | if (OPENSSL_ia32cap_P[0] & (1 << 25)) { /* check SSE bit */ | - | ||||||||||||||||||
767 | # else | - | ||||||||||||||||||
768 | if (OPENSSL_ia32cap_P[0] & (1 << 23)) { /* check MMX bit */ | - | ||||||||||||||||||
769 | # endif | - | ||||||||||||||||||
770 | ctx->gmult = gcm_gmult_4bit_mmx; | - | ||||||||||||||||||
771 | CTX__GHASH(gcm_ghash_4bit_mmx); | - | ||||||||||||||||||
772 | } else { | - | ||||||||||||||||||
773 | ctx->gmult = gcm_gmult_4bit_x86; | - | ||||||||||||||||||
774 | CTX__GHASH(gcm_ghash_4bit_x86); | - | ||||||||||||||||||
775 | } | - | ||||||||||||||||||
776 | # else | - | ||||||||||||||||||
777 | ctx->gmult = gcm_gmult_4bit; | - | ||||||||||||||||||
778 | CTX__GHASH(gcm_ghash_4bit); | - | ||||||||||||||||||
779 | # endif | - | ||||||||||||||||||
780 | # elif defined(GHASH_ASM_ARM) | - | ||||||||||||||||||
781 | # ifdef PMULL_CAPABLE | - | ||||||||||||||||||
782 | if (PMULL_CAPABLE) { | - | ||||||||||||||||||
783 | gcm_init_v8(ctx->Htable, ctx->H.u); | - | ||||||||||||||||||
784 | ctx->gmult = gcm_gmult_v8; | - | ||||||||||||||||||
785 | CTX__GHASH(gcm_ghash_v8); | - | ||||||||||||||||||
786 | } else | - | ||||||||||||||||||
787 | # endif | - | ||||||||||||||||||
788 | # ifdef NEON_CAPABLE | - | ||||||||||||||||||
789 | if (NEON_CAPABLE) { | - | ||||||||||||||||||
790 | gcm_init_neon(ctx->Htable, ctx->H.u); | - | ||||||||||||||||||
791 | ctx->gmult = gcm_gmult_neon; | - | ||||||||||||||||||
792 | CTX__GHASH(gcm_ghash_neon); | - | ||||||||||||||||||
793 | } else | - | ||||||||||||||||||
794 | # endif | - | ||||||||||||||||||
795 | { | - | ||||||||||||||||||
796 | gcm_init_4bit(ctx->Htable, ctx->H.u); | - | ||||||||||||||||||
797 | ctx->gmult = gcm_gmult_4bit; | - | ||||||||||||||||||
798 | CTX__GHASH(gcm_ghash_4bit); | - | ||||||||||||||||||
799 | } | - | ||||||||||||||||||
800 | # elif defined(GHASH_ASM_SPARC) | - | ||||||||||||||||||
801 | if (OPENSSL_sparcv9cap_P[0] & SPARCV9_VIS3) { | - | ||||||||||||||||||
802 | gcm_init_vis3(ctx->Htable, ctx->H.u); | - | ||||||||||||||||||
803 | ctx->gmult = gcm_gmult_vis3; | - | ||||||||||||||||||
804 | CTX__GHASH(gcm_ghash_vis3); | - | ||||||||||||||||||
805 | } else { | - | ||||||||||||||||||
806 | gcm_init_4bit(ctx->Htable, ctx->H.u); | - | ||||||||||||||||||
807 | ctx->gmult = gcm_gmult_4bit; | - | ||||||||||||||||||
808 | CTX__GHASH(gcm_ghash_4bit); | - | ||||||||||||||||||
809 | } | - | ||||||||||||||||||
810 | # elif defined(GHASH_ASM_PPC) | - | ||||||||||||||||||
811 | if (OPENSSL_ppccap_P & PPC_CRYPTO207) { | - | ||||||||||||||||||
812 | gcm_init_p8(ctx->Htable, ctx->H.u); | - | ||||||||||||||||||
813 | ctx->gmult = gcm_gmult_p8; | - | ||||||||||||||||||
814 | CTX__GHASH(gcm_ghash_p8); | - | ||||||||||||||||||
815 | } else { | - | ||||||||||||||||||
816 | gcm_init_4bit(ctx->Htable, ctx->H.u); | - | ||||||||||||||||||
817 | ctx->gmult = gcm_gmult_4bit; | - | ||||||||||||||||||
818 | CTX__GHASH(gcm_ghash_4bit); | - | ||||||||||||||||||
819 | } | - | ||||||||||||||||||
820 | # else | - | ||||||||||||||||||
821 | gcm_init_4bit(ctx->Htable, ctx->H.u); | - | ||||||||||||||||||
822 | # endif | - | ||||||||||||||||||
823 | # undef CTX__GHASH | - | ||||||||||||||||||
824 | #endif | - | ||||||||||||||||||
825 | } executed 7990 times by 2 tests: end of block Executed by:
| 7990 | ||||||||||||||||||
826 | - | |||||||||||||||||||
827 | void CRYPTO_gcm128_setiv(GCM128_CONTEXT *ctx, const unsigned char *iv, | - | ||||||||||||||||||
828 | size_t len) | - | ||||||||||||||||||
829 | { | - | ||||||||||||||||||
830 | const union { | - | ||||||||||||||||||
831 | long one; | - | ||||||||||||||||||
832 | char little; | - | ||||||||||||||||||
833 | } is_endian = { 1 }; | - | ||||||||||||||||||
834 | unsigned int ctr; | - | ||||||||||||||||||
835 | #ifdef GCM_FUNCREF_4BIT | - | ||||||||||||||||||
836 | void (*gcm_gmult_p) (u64 Xi[2], const u128 Htable[16]) = ctx->gmult; | - | ||||||||||||||||||
837 | #endif | - | ||||||||||||||||||
838 | - | |||||||||||||||||||
839 | ctx->len.u[0] = 0; /* AAD length */ | - | ||||||||||||||||||
840 | ctx->len.u[1] = 0; /* message length */ | - | ||||||||||||||||||
841 | ctx->ares = 0; | - | ||||||||||||||||||
842 | ctx->mres = 0; | - | ||||||||||||||||||
843 | - | |||||||||||||||||||
844 | if (len == 12) {
| 233-31380 | ||||||||||||||||||
845 | memcpy(ctx->Yi.c, iv, 12); | - | ||||||||||||||||||
846 | ctx->Yi.c[12] = 0; | - | ||||||||||||||||||
847 | ctx->Yi.c[13] = 0; | - | ||||||||||||||||||
848 | ctx->Yi.c[14] = 0; | - | ||||||||||||||||||
849 | ctx->Yi.c[15] = 1; | - | ||||||||||||||||||
850 | ctr = 1; | - | ||||||||||||||||||
851 | } else { executed 31380 times by 2 tests: end of block Executed by:
| 31380 | ||||||||||||||||||
852 | size_t i; | - | ||||||||||||||||||
853 | u64 len0 = len; | - | ||||||||||||||||||
854 | - | |||||||||||||||||||
855 | /* Borrow ctx->Xi to calculate initial Yi */ | - | ||||||||||||||||||
856 | ctx->Xi.u[0] = 0; | - | ||||||||||||||||||
857 | ctx->Xi.u[1] = 0; | - | ||||||||||||||||||
858 | - | |||||||||||||||||||
859 | while (len >= 16) {
| 233-539 | ||||||||||||||||||
860 | for (i = 0; i < 16; ++i)
| 539-8624 | ||||||||||||||||||
861 | ctx->Xi.c[i] ^= iv[i]; executed 8624 times by 2 tests: ctx->Xi.c[i] ^= iv[i]; Executed by:
| 8624 | ||||||||||||||||||
862 | GCM_MUL(ctx); | - | ||||||||||||||||||
863 | iv += 16; | - | ||||||||||||||||||
864 | len -= 16; | - | ||||||||||||||||||
865 | } executed 539 times by 2 tests: end of block Executed by:
| 539 | ||||||||||||||||||
866 | if (len) {
| 74-159 | ||||||||||||||||||
867 | for (i = 0; i < len; ++i)
| 159-1596 | ||||||||||||||||||
868 | ctx->Xi.c[i] ^= iv[i]; executed 1596 times by 2 tests: ctx->Xi.c[i] ^= iv[i]; Executed by:
| 1596 | ||||||||||||||||||
869 | GCM_MUL(ctx); | - | ||||||||||||||||||
870 | } executed 159 times by 2 tests: end of block Executed by:
| 159 | ||||||||||||||||||
871 | len0 <<= 3; | - | ||||||||||||||||||
872 | if (is_endian.little) {
| 0-233 | ||||||||||||||||||
873 | #ifdef BSWAP8 | - | ||||||||||||||||||
874 | ctx->Xi.u[1] ^= BSWAP8(len0); | - | ||||||||||||||||||
875 | #else | - | ||||||||||||||||||
876 | ctx->Xi.c[8] ^= (u8)(len0 >> 56); | - | ||||||||||||||||||
877 | ctx->Xi.c[9] ^= (u8)(len0 >> 48); | - | ||||||||||||||||||
878 | ctx->Xi.c[10] ^= (u8)(len0 >> 40); | - | ||||||||||||||||||
879 | ctx->Xi.c[11] ^= (u8)(len0 >> 32); | - | ||||||||||||||||||
880 | ctx->Xi.c[12] ^= (u8)(len0 >> 24); | - | ||||||||||||||||||
881 | ctx->Xi.c[13] ^= (u8)(len0 >> 16); | - | ||||||||||||||||||
882 | ctx->Xi.c[14] ^= (u8)(len0 >> 8); | - | ||||||||||||||||||
883 | ctx->Xi.c[15] ^= (u8)(len0); | - | ||||||||||||||||||
884 | #endif | - | ||||||||||||||||||
885 | } else { executed 233 times by 2 tests: end of block Executed by:
| 233 | ||||||||||||||||||
886 | ctx->Xi.u[1] ^= len0; | - | ||||||||||||||||||
887 | } never executed: end of block | 0 | ||||||||||||||||||
888 | - | |||||||||||||||||||
889 | GCM_MUL(ctx); | - | ||||||||||||||||||
890 | - | |||||||||||||||||||
891 | if (is_endian.little)
| 0-233 | ||||||||||||||||||
892 | #ifdef BSWAP4 | - | ||||||||||||||||||
893 | ctr = BSWAP4(ctx->Xi.d[3]); executed 233 times by 2 tests: ctr = ({ u32 ret_=(ctx->Xi.d[3]); asm ("bswapl %0" : "+r"(ret_)); ret_; }); Executed by:
| 233 | ||||||||||||||||||
894 | #else | - | ||||||||||||||||||
895 | ctr = GETU32(ctx->Xi.c + 12); | - | ||||||||||||||||||
896 | #endif | - | ||||||||||||||||||
897 | else | - | ||||||||||||||||||
898 | ctr = ctx->Xi.d[3]; never executed: ctr = ctx->Xi.d[3]; | 0 | ||||||||||||||||||
899 | - | |||||||||||||||||||
900 | /* Copy borrowed Xi to Yi */ | - | ||||||||||||||||||
901 | ctx->Yi.u[0] = ctx->Xi.u[0]; | - | ||||||||||||||||||
902 | ctx->Yi.u[1] = ctx->Xi.u[1]; | - | ||||||||||||||||||
903 | } executed 233 times by 2 tests: end of block Executed by:
| 233 | ||||||||||||||||||
904 | - | |||||||||||||||||||
905 | ctx->Xi.u[0] = 0; | - | ||||||||||||||||||
906 | ctx->Xi.u[1] = 0; | - | ||||||||||||||||||
907 | - | |||||||||||||||||||
908 | (*ctx->block) (ctx->Yi.c, ctx->EK0.c, ctx->key); | - | ||||||||||||||||||
909 | ++ctr; | - | ||||||||||||||||||
910 | if (is_endian.little)
| 0-31613 | ||||||||||||||||||
911 | #ifdef BSWAP4 | - | ||||||||||||||||||
912 | ctx->Yi.d[3] = BSWAP4(ctr); executed 31613 times by 2 tests: ctx->Yi.d[3] = ({ u32 ret_=(ctr); asm ("bswapl %0" : "+r"(ret_)); ret_; }); Executed by:
| 31613 | ||||||||||||||||||
913 | #else | - | ||||||||||||||||||
914 | PUTU32(ctx->Yi.c + 12, ctr); | - | ||||||||||||||||||
915 | #endif | - | ||||||||||||||||||
916 | else | - | ||||||||||||||||||
917 | ctx->Yi.d[3] = ctr; never executed: ctx->Yi.d[3] = ctr; | 0 | ||||||||||||||||||
918 | } | - | ||||||||||||||||||
919 | - | |||||||||||||||||||
920 | int CRYPTO_gcm128_aad(GCM128_CONTEXT *ctx, const unsigned char *aad, | - | ||||||||||||||||||
921 | size_t len) | - | ||||||||||||||||||
922 | { | - | ||||||||||||||||||
923 | size_t i; | - | ||||||||||||||||||
924 | unsigned int n; | - | ||||||||||||||||||
925 | u64 alen = ctx->len.u[0]; | - | ||||||||||||||||||
926 | #ifdef GCM_FUNCREF_4BIT | - | ||||||||||||||||||
927 | void (*gcm_gmult_p) (u64 Xi[2], const u128 Htable[16]) = ctx->gmult; | - | ||||||||||||||||||
928 | # ifdef GHASH | - | ||||||||||||||||||
929 | void (*gcm_ghash_p) (u64 Xi[2], const u128 Htable[16], | - | ||||||||||||||||||
930 | const u8 *inp, size_t len) = ctx->ghash; | - | ||||||||||||||||||
931 | # endif | - | ||||||||||||||||||
932 | #endif | - | ||||||||||||||||||
933 | - | |||||||||||||||||||
934 | if (ctx->len.u[1])
| 0-31713 | ||||||||||||||||||
935 | return -2; never executed: return -2; | 0 | ||||||||||||||||||
936 | - | |||||||||||||||||||
937 | alen += len; | - | ||||||||||||||||||
938 | if (alen > (U64(1) << 61) || (sizeof(len) == 8 && alen < len))
| 0-31713 | ||||||||||||||||||
939 | return -1; never executed: return -1; | 0 | ||||||||||||||||||
940 | ctx->len.u[0] = alen; | - | ||||||||||||||||||
941 | - | |||||||||||||||||||
942 | n = ctx->ares; | - | ||||||||||||||||||
943 | if (n) {
| 312-31401 | ||||||||||||||||||
944 | while (n && len) {
| 156-2532 | ||||||||||||||||||
945 | ctx->Xi.c[n] ^= *(aad++); | - | ||||||||||||||||||
946 | --len; | - | ||||||||||||||||||
947 | n = (n + 1) % 16; | - | ||||||||||||||||||
948 | } executed 2376 times by 1 test: end of block Executed by:
| 2376 | ||||||||||||||||||
949 | if (n == 0)
| 156 | ||||||||||||||||||
950 | GCM_MUL(ctx); executed 156 times by 1 test: (*gcm_gmult_p)(ctx->Xi.u,ctx->Htable); Executed by:
| 156 | ||||||||||||||||||
951 | else { | - | ||||||||||||||||||
952 | ctx->ares = n; | - | ||||||||||||||||||
953 | return 0; executed 156 times by 1 test: return 0; Executed by:
| 156 | ||||||||||||||||||
954 | } | - | ||||||||||||||||||
955 | } | - | ||||||||||||||||||
956 | #ifdef GHASH | - | ||||||||||||||||||
957 | if ((i = (len & (size_t)-16))) {
| 167-31390 | ||||||||||||||||||
958 | GHASH(ctx, aad, i); | - | ||||||||||||||||||
959 | aad += i; | - | ||||||||||||||||||
960 | len -= i; | - | ||||||||||||||||||
961 | } executed 167 times by 2 tests: end of block Executed by:
| 167 | ||||||||||||||||||
962 | #else | - | ||||||||||||||||||
963 | while (len >= 16) { | - | ||||||||||||||||||
964 | for (i = 0; i < 16; ++i) | - | ||||||||||||||||||
965 | ctx->Xi.c[i] ^= aad[i]; | - | ||||||||||||||||||
966 | GCM_MUL(ctx); | - | ||||||||||||||||||
967 | aad += 16; | - | ||||||||||||||||||
968 | len -= 16; | - | ||||||||||||||||||
969 | } | - | ||||||||||||||||||
970 | #endif | - | ||||||||||||||||||
971 | if (len) {
| 242-31315 | ||||||||||||||||||
972 | n = (unsigned int)len; | - | ||||||||||||||||||
973 | for (i = 0; i < len; ++i)
| 31315-201110 | ||||||||||||||||||
974 | ctx->Xi.c[i] ^= aad[i]; executed 201110 times by 2 tests: ctx->Xi.c[i] ^= aad[i]; Executed by:
| 201110 | ||||||||||||||||||
975 | } executed 31315 times by 2 tests: end of block Executed by:
| 31315 | ||||||||||||||||||
976 | - | |||||||||||||||||||
977 | ctx->ares = n; | - | ||||||||||||||||||
978 | return 0; executed 31557 times by 2 tests: return 0; Executed by:
| 31557 | ||||||||||||||||||
979 | } | - | ||||||||||||||||||
980 | - | |||||||||||||||||||
981 | int CRYPTO_gcm128_encrypt(GCM128_CONTEXT *ctx, | - | ||||||||||||||||||
982 | const unsigned char *in, unsigned char *out, | - | ||||||||||||||||||
983 | size_t len) | - | ||||||||||||||||||
984 | { | - | ||||||||||||||||||
985 | const union { | - | ||||||||||||||||||
986 | long one; | - | ||||||||||||||||||
987 | char little; | - | ||||||||||||||||||
988 | } is_endian = { 1 }; | - | ||||||||||||||||||
989 | unsigned int n, ctr, mres; | - | ||||||||||||||||||
990 | size_t i; | - | ||||||||||||||||||
991 | u64 mlen = ctx->len.u[1]; | - | ||||||||||||||||||
992 | block128_f block = ctx->block; | - | ||||||||||||||||||
993 | void *key = ctx->key; | - | ||||||||||||||||||
994 | #ifdef GCM_FUNCREF_4BIT | - | ||||||||||||||||||
995 | void (*gcm_gmult_p) (u64 Xi[2], const u128 Htable[16]) = ctx->gmult; | - | ||||||||||||||||||
996 | # if defined(GHASH) && !defined(OPENSSL_SMALL_FOOTPRINT) | - | ||||||||||||||||||
997 | void (*gcm_ghash_p) (u64 Xi[2], const u128 Htable[16], | - | ||||||||||||||||||
998 | const u8 *inp, size_t len) = ctx->ghash; | - | ||||||||||||||||||
999 | # endif | - | ||||||||||||||||||
1000 | #endif | - | ||||||||||||||||||
1001 | - | |||||||||||||||||||
1002 | mlen += len; | - | ||||||||||||||||||
1003 | if (mlen > ((U64(1) << 36) - 32) || (sizeof(len) == 8 && mlen < len))
| 0-270 | ||||||||||||||||||
1004 | return -1; never executed: return -1; | 0 | ||||||||||||||||||
1005 | ctx->len.u[1] = mlen; | - | ||||||||||||||||||
1006 | - | |||||||||||||||||||
1007 | mres = ctx->mres; | - | ||||||||||||||||||
1008 | - | |||||||||||||||||||
1009 | if (ctx->ares) {
| 31-239 | ||||||||||||||||||
1010 | /* First call to encrypt finalizes GHASH(AAD) */ | - | ||||||||||||||||||
1011 | #if defined(GHASH) && !defined(OPENSSL_SMALL_FOOTPRINT) | - | ||||||||||||||||||
1012 | if (len == 0) {
| 0-239 | ||||||||||||||||||
1013 | GCM_MUL(ctx); | - | ||||||||||||||||||
1014 | ctx->ares = 0; | - | ||||||||||||||||||
1015 | return 0; never executed: return 0; | 0 | ||||||||||||||||||
1016 | } | - | ||||||||||||||||||
1017 | memcpy(ctx->Xn, ctx->Xi.c, sizeof(ctx->Xi)); | - | ||||||||||||||||||
1018 | ctx->Xi.u[0] = 0; | - | ||||||||||||||||||
1019 | ctx->Xi.u[1] = 0; | - | ||||||||||||||||||
1020 | mres = sizeof(ctx->Xi); | - | ||||||||||||||||||
1021 | #else | - | ||||||||||||||||||
1022 | GCM_MUL(ctx); | - | ||||||||||||||||||
1023 | #endif | - | ||||||||||||||||||
1024 | ctx->ares = 0; | - | ||||||||||||||||||
1025 | } executed 239 times by 2 tests: end of block Executed by:
| 239 | ||||||||||||||||||
1026 | - | |||||||||||||||||||
1027 | if (is_endian.little)
| 0-270 | ||||||||||||||||||
1028 | #ifdef BSWAP4 | - | ||||||||||||||||||
1029 | ctr = BSWAP4(ctx->Yi.d[3]); executed 270 times by 2 tests: ctr = ({ u32 ret_=(ctx->Yi.d[3]); asm ("bswapl %0" : "+r"(ret_)); ret_; }); Executed by:
| 270 | ||||||||||||||||||
1030 | #else | - | ||||||||||||||||||
1031 | ctr = GETU32(ctx->Yi.c + 12); | - | ||||||||||||||||||
1032 | #endif | - | ||||||||||||||||||
1033 | else | - | ||||||||||||||||||
1034 | ctr = ctx->Yi.d[3]; never executed: ctr = ctx->Yi.d[3]; | 0 | ||||||||||||||||||
1035 | - | |||||||||||||||||||
1036 | n = mres % 16; | - | ||||||||||||||||||
1037 | #if !defined(OPENSSL_SMALL_FOOTPRINT) | - | ||||||||||||||||||
1038 | if (16 % sizeof(size_t) == 0) { /* always true actually */
| 0-270 | ||||||||||||||||||
1039 | do { | - | ||||||||||||||||||
1040 | if (n) {
| 24-246 | ||||||||||||||||||
1041 | # if defined(GHASH) | - | ||||||||||||||||||
1042 | while (n && len) {
| 0-192 | ||||||||||||||||||
1043 | ctx->Xn[mres++] = *(out++) = *(in++) ^ ctx->EKi.c[n]; | - | ||||||||||||||||||
1044 | --len; | - | ||||||||||||||||||
1045 | n = (n + 1) % 16; | - | ||||||||||||||||||
1046 | } executed 192 times by 1 test: end of block Executed by:
| 192 | ||||||||||||||||||
1047 | if (n == 0) {
| 0-24 | ||||||||||||||||||
1048 | GHASH(ctx, ctx->Xn, mres); | - | ||||||||||||||||||
1049 | mres = 0; | - | ||||||||||||||||||
1050 | } else { executed 24 times by 1 test: end of block Executed by:
| 24 | ||||||||||||||||||
1051 | ctx->mres = mres; | - | ||||||||||||||||||
1052 | return 0; never executed: return 0; | 0 | ||||||||||||||||||
1053 | } | - | ||||||||||||||||||
1054 | # else | - | ||||||||||||||||||
1055 | while (n && len) { | - | ||||||||||||||||||
1056 | ctx->Xi.c[n] ^= *(out++) = *(in++) ^ ctx->EKi.c[n]; | - | ||||||||||||||||||
1057 | --len; | - | ||||||||||||||||||
1058 | n = (n + 1) % 16; | - | ||||||||||||||||||
1059 | } | - | ||||||||||||||||||
1060 | if (n == 0) { | - | ||||||||||||||||||
1061 | GCM_MUL(ctx); | - | ||||||||||||||||||
1062 | mres = 0; | - | ||||||||||||||||||
1063 | } else { | - | ||||||||||||||||||
1064 | ctx->mres = n; | - | ||||||||||||||||||
1065 | return 0; | - | ||||||||||||||||||
1066 | } | - | ||||||||||||||||||
1067 | # endif | - | ||||||||||||||||||
1068 | } | - | ||||||||||||||||||
1069 | # if defined(STRICT_ALIGNMENT) | - | ||||||||||||||||||
1070 | if (((size_t)in | (size_t)out) % sizeof(size_t) != 0) | - | ||||||||||||||||||
1071 | break; | - | ||||||||||||||||||
1072 | # endif | - | ||||||||||||||||||
1073 | # if defined(GHASH) | - | ||||||||||||||||||
1074 | if (len >= 16 && mres) {
| 19-185 | ||||||||||||||||||
1075 | GHASH(ctx, ctx->Xn, mres); | - | ||||||||||||||||||
1076 | mres = 0; | - | ||||||||||||||||||
1077 | } executed 166 times by 2 tests: end of block Executed by:
| 166 | ||||||||||||||||||
1078 | # if defined(GHASH_CHUNK) | - | ||||||||||||||||||
1079 | while (len >= GHASH_CHUNK) {
| 0-270 | ||||||||||||||||||
1080 | size_t j = GHASH_CHUNK; | - | ||||||||||||||||||
1081 | - | |||||||||||||||||||
1082 | while (j) {
| 0 | ||||||||||||||||||
1083 | size_t *out_t = (size_t *)out; | - | ||||||||||||||||||
1084 | const size_t *in_t = (const size_t *)in; | - | ||||||||||||||||||
1085 | - | |||||||||||||||||||
1086 | (*block) (ctx->Yi.c, ctx->EKi.c, key); | - | ||||||||||||||||||
1087 | ++ctr; | - | ||||||||||||||||||
1088 | if (is_endian.little)
| 0 | ||||||||||||||||||
1089 | # ifdef BSWAP4 | - | ||||||||||||||||||
1090 | ctx->Yi.d[3] = BSWAP4(ctr); never executed: ctx->Yi.d[3] = ({ u32 ret_=(ctr); asm ("bswapl %0" : "+r"(ret_)); ret_; }); | 0 | ||||||||||||||||||
1091 | # else | - | ||||||||||||||||||
1092 | PUTU32(ctx->Yi.c + 12, ctr); | - | ||||||||||||||||||
1093 | # endif | - | ||||||||||||||||||
1094 | else | - | ||||||||||||||||||
1095 | ctx->Yi.d[3] = ctr; never executed: ctx->Yi.d[3] = ctr; | 0 | ||||||||||||||||||
1096 | for (i = 0; i < 16 / sizeof(size_t); ++i)
| 0 | ||||||||||||||||||
1097 | out_t[i] = in_t[i] ^ ctx->EKi.t[i]; never executed: out_t[i] = in_t[i] ^ ctx->EKi.t[i]; | 0 | ||||||||||||||||||
1098 | out += 16; | - | ||||||||||||||||||
1099 | in += 16; | - | ||||||||||||||||||
1100 | j -= 16; | - | ||||||||||||||||||
1101 | } never executed: end of block | 0 | ||||||||||||||||||
1102 | GHASH(ctx, out - GHASH_CHUNK, GHASH_CHUNK); | - | ||||||||||||||||||
1103 | len -= GHASH_CHUNK; | - | ||||||||||||||||||
1104 | } never executed: end of block | 0 | ||||||||||||||||||
1105 | # endif | - | ||||||||||||||||||
1106 | if ((i = (len & (size_t)-16))) {
| 85-185 | ||||||||||||||||||
1107 | size_t j = i; | - | ||||||||||||||||||
1108 | - | |||||||||||||||||||
1109 | while (len >= 16) {
| 185-2425 | ||||||||||||||||||
1110 | size_t *out_t = (size_t *)out; | - | ||||||||||||||||||
1111 | const size_t *in_t = (const size_t *)in; | - | ||||||||||||||||||
1112 | - | |||||||||||||||||||
1113 | (*block) (ctx->Yi.c, ctx->EKi.c, key); | - | ||||||||||||||||||
1114 | ++ctr; | - | ||||||||||||||||||
1115 | if (is_endian.little)
| 0-2425 | ||||||||||||||||||
1116 | # ifdef BSWAP4 | - | ||||||||||||||||||
1117 | ctx->Yi.d[3] = BSWAP4(ctr); executed 2425 times by 2 tests: ctx->Yi.d[3] = ({ u32 ret_=(ctr); asm ("bswapl %0" : "+r"(ret_)); ret_; }); Executed by:
| 2425 | ||||||||||||||||||
1118 | # else | - | ||||||||||||||||||
1119 | PUTU32(ctx->Yi.c + 12, ctr); | - | ||||||||||||||||||
1120 | # endif | - | ||||||||||||||||||
1121 | else | - | ||||||||||||||||||
1122 | ctx->Yi.d[3] = ctr; never executed: ctx->Yi.d[3] = ctr; | 0 | ||||||||||||||||||
1123 | for (i = 0; i < 16 / sizeof(size_t); ++i)
| 2425-4850 | ||||||||||||||||||
1124 | out_t[i] = in_t[i] ^ ctx->EKi.t[i]; executed 4850 times by 2 tests: out_t[i] = in_t[i] ^ ctx->EKi.t[i]; Executed by:
| 4850 | ||||||||||||||||||
1125 | out += 16; | - | ||||||||||||||||||
1126 | in += 16; | - | ||||||||||||||||||
1127 | len -= 16; | - | ||||||||||||||||||
1128 | } executed 2425 times by 2 tests: end of block Executed by:
| 2425 | ||||||||||||||||||
1129 | GHASH(ctx, out - j, j); | - | ||||||||||||||||||
1130 | } executed 185 times by 2 tests: end of block Executed by:
| 185 | ||||||||||||||||||
1131 | # else | - | ||||||||||||||||||
1132 | while (len >= 16) { | - | ||||||||||||||||||
1133 | size_t *out_t = (size_t *)out; | - | ||||||||||||||||||
1134 | const size_t *in_t = (const size_t *)in; | - | ||||||||||||||||||
1135 | - | |||||||||||||||||||
1136 | (*block) (ctx->Yi.c, ctx->EKi.c, key); | - | ||||||||||||||||||
1137 | ++ctr; | - | ||||||||||||||||||
1138 | if (is_endian.little) | - | ||||||||||||||||||
1139 | # ifdef BSWAP4 | - | ||||||||||||||||||
1140 | ctx->Yi.d[3] = BSWAP4(ctr); | - | ||||||||||||||||||
1141 | # else | - | ||||||||||||||||||
1142 | PUTU32(ctx->Yi.c + 12, ctr); | - | ||||||||||||||||||
1143 | # endif | - | ||||||||||||||||||
1144 | else | - | ||||||||||||||||||
1145 | ctx->Yi.d[3] = ctr; | - | ||||||||||||||||||
1146 | for (i = 0; i < 16 / sizeof(size_t); ++i) | - | ||||||||||||||||||
1147 | ctx->Xi.t[i] ^= out_t[i] = in_t[i] ^ ctx->EKi.t[i]; | - | ||||||||||||||||||
1148 | GCM_MUL(ctx); | - | ||||||||||||||||||
1149 | out += 16; | - | ||||||||||||||||||
1150 | in += 16; | - | ||||||||||||||||||
1151 | len -= 16; | - | ||||||||||||||||||
1152 | } | - | ||||||||||||||||||
1153 | # endif | - | ||||||||||||||||||
1154 | if (len) {
| 116-154 | ||||||||||||||||||
1155 | (*block) (ctx->Yi.c, ctx->EKi.c, key); | - | ||||||||||||||||||
1156 | ++ctr; | - | ||||||||||||||||||
1157 | if (is_endian.little)
| 0-154 | ||||||||||||||||||
1158 | # ifdef BSWAP4 | - | ||||||||||||||||||
1159 | ctx->Yi.d[3] = BSWAP4(ctr); executed 154 times by 2 tests: ctx->Yi.d[3] = ({ u32 ret_=(ctr); asm ("bswapl %0" : "+r"(ret_)); ret_; }); Executed by:
| 154 | ||||||||||||||||||
1160 | # else | - | ||||||||||||||||||
1161 | PUTU32(ctx->Yi.c + 12, ctr); | - | ||||||||||||||||||
1162 | # endif | - | ||||||||||||||||||
1163 | else | - | ||||||||||||||||||
1164 | ctx->Yi.d[3] = ctr; never executed: ctx->Yi.d[3] = ctr; | 0 | ||||||||||||||||||
1165 | # if defined(GHASH) | - | ||||||||||||||||||
1166 | while (len--) {
| 154-900 | ||||||||||||||||||
1167 | ctx->Xn[mres++] = out[n] = in[n] ^ ctx->EKi.c[n]; | - | ||||||||||||||||||
1168 | ++n; | - | ||||||||||||||||||
1169 | } executed 900 times by 2 tests: end of block Executed by:
| 900 | ||||||||||||||||||
1170 | # else | - | ||||||||||||||||||
1171 | while (len--) { | - | ||||||||||||||||||
1172 | ctx->Xi.c[n] ^= out[n] = in[n] ^ ctx->EKi.c[n]; | - | ||||||||||||||||||
1173 | ++n; | - | ||||||||||||||||||
1174 | } | - | ||||||||||||||||||
1175 | mres = n; | - | ||||||||||||||||||
1176 | # endif | - | ||||||||||||||||||
1177 | } executed 154 times by 2 tests: end of block Executed by:
| 154 | ||||||||||||||||||
1178 | - | |||||||||||||||||||
1179 | ctx->mres = mres; | - | ||||||||||||||||||
1180 | return 0; executed 270 times by 2 tests: return 0; Executed by:
| 270 | ||||||||||||||||||
1181 | } while (0); | - | ||||||||||||||||||
1182 | } never executed: end of block | 0 | ||||||||||||||||||
1183 | #endif | - | ||||||||||||||||||
1184 | for (i = 0; i < len; ++i) {
| 0 | ||||||||||||||||||
1185 | if (n == 0) {
| 0 | ||||||||||||||||||
1186 | (*block) (ctx->Yi.c, ctx->EKi.c, key); | - | ||||||||||||||||||
1187 | ++ctr; | - | ||||||||||||||||||
1188 | if (is_endian.little)
| 0 | ||||||||||||||||||
1189 | #ifdef BSWAP4 | - | ||||||||||||||||||
1190 | ctx->Yi.d[3] = BSWAP4(ctr); never executed: ctx->Yi.d[3] = ({ u32 ret_=(ctr); asm ("bswapl %0" : "+r"(ret_)); ret_; }); | 0 | ||||||||||||||||||
1191 | #else | - | ||||||||||||||||||
1192 | PUTU32(ctx->Yi.c + 12, ctr); | - | ||||||||||||||||||
1193 | #endif | - | ||||||||||||||||||
1194 | else | - | ||||||||||||||||||
1195 | ctx->Yi.d[3] = ctr; never executed: ctx->Yi.d[3] = ctr; | 0 | ||||||||||||||||||
1196 | } | - | ||||||||||||||||||
1197 | #if defined(GHASH) && !defined(OPENSSL_SMALL_FOOTPRINT) | - | ||||||||||||||||||
1198 | ctx->Xn[mres++] = out[i] = in[i] ^ ctx->EKi.c[n]; | - | ||||||||||||||||||
1199 | n = (n + 1) % 16; | - | ||||||||||||||||||
1200 | if (mres == sizeof(ctx->Xn)) {
| 0 | ||||||||||||||||||
1201 | GHASH(ctx,ctx->Xn,sizeof(ctx->Xn)); | - | ||||||||||||||||||
1202 | mres = 0; | - | ||||||||||||||||||
1203 | } never executed: end of block | 0 | ||||||||||||||||||
1204 | #else | - | ||||||||||||||||||
1205 | ctx->Xi.c[n] ^= out[i] = in[i] ^ ctx->EKi.c[n]; | - | ||||||||||||||||||
1206 | mres = n = (n + 1) % 16; | - | ||||||||||||||||||
1207 | if (n == 0) | - | ||||||||||||||||||
1208 | GCM_MUL(ctx); | - | ||||||||||||||||||
1209 | #endif | - | ||||||||||||||||||
1210 | } never executed: end of block | 0 | ||||||||||||||||||
1211 | - | |||||||||||||||||||
1212 | ctx->mres = mres; | - | ||||||||||||||||||
1213 | return 0; never executed: return 0; | 0 | ||||||||||||||||||
1214 | } | - | ||||||||||||||||||
1215 | - | |||||||||||||||||||
1216 | int CRYPTO_gcm128_decrypt(GCM128_CONTEXT *ctx, | - | ||||||||||||||||||
1217 | const unsigned char *in, unsigned char *out, | - | ||||||||||||||||||
1218 | size_t len) | - | ||||||||||||||||||
1219 | { | - | ||||||||||||||||||
1220 | const union { | - | ||||||||||||||||||
1221 | long one; | - | ||||||||||||||||||
1222 | char little; | - | ||||||||||||||||||
1223 | } is_endian = { 1 }; | - | ||||||||||||||||||
1224 | unsigned int n, ctr, mres; | - | ||||||||||||||||||
1225 | size_t i; | - | ||||||||||||||||||
1226 | u64 mlen = ctx->len.u[1]; | - | ||||||||||||||||||
1227 | block128_f block = ctx->block; | - | ||||||||||||||||||
1228 | void *key = ctx->key; | - | ||||||||||||||||||
1229 | #ifdef GCM_FUNCREF_4BIT | - | ||||||||||||||||||
1230 | void (*gcm_gmult_p) (u64 Xi[2], const u128 Htable[16]) = ctx->gmult; | - | ||||||||||||||||||
1231 | # if defined(GHASH) && !defined(OPENSSL_SMALL_FOOTPRINT) | - | ||||||||||||||||||
1232 | void (*gcm_ghash_p) (u64 Xi[2], const u128 Htable[16], | - | ||||||||||||||||||
1233 | const u8 *inp, size_t len) = ctx->ghash; | - | ||||||||||||||||||
1234 | # endif | - | ||||||||||||||||||
1235 | #endif | - | ||||||||||||||||||
1236 | - | |||||||||||||||||||
1237 | mlen += len; | - | ||||||||||||||||||
1238 | if (mlen > ((U64(1) << 36) - 32) || (sizeof(len) == 8 && mlen < len))
| 0-175 | ||||||||||||||||||
1239 | return -1; never executed: return -1; | 0 | ||||||||||||||||||
1240 | ctx->len.u[1] = mlen; | - | ||||||||||||||||||
1241 | - | |||||||||||||||||||
1242 | mres = ctx->mres; | - | ||||||||||||||||||
1243 | - | |||||||||||||||||||
1244 | if (ctx->ares) {
| 31-144 | ||||||||||||||||||
1245 | /* First call to decrypt finalizes GHASH(AAD) */ | - | ||||||||||||||||||
1246 | #if defined(GHASH) && !defined(OPENSSL_SMALL_FOOTPRINT) | - | ||||||||||||||||||
1247 | if (len == 0) {
| 3-141 | ||||||||||||||||||
1248 | GCM_MUL(ctx); | - | ||||||||||||||||||
1249 | ctx->ares = 0; | - | ||||||||||||||||||
1250 | return 0; executed 3 times by 1 test: return 0; Executed by:
| 3 | ||||||||||||||||||
1251 | } | - | ||||||||||||||||||
1252 | memcpy(ctx->Xn, ctx->Xi.c, sizeof(ctx->Xi)); | - | ||||||||||||||||||
1253 | ctx->Xi.u[0] = 0; | - | ||||||||||||||||||
1254 | ctx->Xi.u[1] = 0; | - | ||||||||||||||||||
1255 | mres = sizeof(ctx->Xi); | - | ||||||||||||||||||
1256 | #else | - | ||||||||||||||||||
1257 | GCM_MUL(ctx); | - | ||||||||||||||||||
1258 | #endif | - | ||||||||||||||||||
1259 | ctx->ares = 0; | - | ||||||||||||||||||
1260 | } executed 141 times by 2 tests: end of block Executed by:
| 141 | ||||||||||||||||||
1261 | - | |||||||||||||||||||
1262 | if (is_endian.little)
| 0-172 | ||||||||||||||||||
1263 | #ifdef BSWAP4 | - | ||||||||||||||||||
1264 | ctr = BSWAP4(ctx->Yi.d[3]); executed 172 times by 2 tests: ctr = ({ u32 ret_=(ctx->Yi.d[3]); asm ("bswapl %0" : "+r"(ret_)); ret_; }); Executed by:
| 172 | ||||||||||||||||||
1265 | #else | - | ||||||||||||||||||
1266 | ctr = GETU32(ctx->Yi.c + 12); | - | ||||||||||||||||||
1267 | #endif | - | ||||||||||||||||||
1268 | else | - | ||||||||||||||||||
1269 | ctr = ctx->Yi.d[3]; never executed: ctr = ctx->Yi.d[3]; | 0 | ||||||||||||||||||
1270 | - | |||||||||||||||||||
1271 | n = mres % 16; | - | ||||||||||||||||||
1272 | #if !defined(OPENSSL_SMALL_FOOTPRINT) | - | ||||||||||||||||||
1273 | if (16 % sizeof(size_t) == 0) { /* always true actually */
| 0-172 | ||||||||||||||||||
1274 | do { | - | ||||||||||||||||||
1275 | if (n) {
| 24-148 | ||||||||||||||||||
1276 | # if defined(GHASH) | - | ||||||||||||||||||
1277 | while (n && len) {
| 0-192 | ||||||||||||||||||
1278 | *(out++) = (ctx->Xn[mres++] = *(in++)) ^ ctx->EKi.c[n]; | - | ||||||||||||||||||
1279 | --len; | - | ||||||||||||||||||
1280 | n = (n + 1) % 16; | - | ||||||||||||||||||
1281 | } executed 192 times by 1 test: end of block Executed by:
| 192 | ||||||||||||||||||
1282 | if (n == 0) {
| 0-24 | ||||||||||||||||||
1283 | GHASH(ctx, ctx->Xn, mres); | - | ||||||||||||||||||
1284 | mres = 0; | - | ||||||||||||||||||
1285 | } else { executed 24 times by 1 test: end of block Executed by:
| 24 | ||||||||||||||||||
1286 | ctx->mres = mres; | - | ||||||||||||||||||
1287 | return 0; never executed: return 0; | 0 | ||||||||||||||||||
1288 | } | - | ||||||||||||||||||
1289 | # else | - | ||||||||||||||||||
1290 | while (n && len) { | - | ||||||||||||||||||
1291 | u8 c = *(in++); | - | ||||||||||||||||||
1292 | *(out++) = c ^ ctx->EKi.c[n]; | - | ||||||||||||||||||
1293 | ctx->Xi.c[n] ^= c; | - | ||||||||||||||||||
1294 | --len; | - | ||||||||||||||||||
1295 | n = (n + 1) % 16; | - | ||||||||||||||||||
1296 | } | - | ||||||||||||||||||
1297 | if (n == 0) { | - | ||||||||||||||||||
1298 | GCM_MUL(ctx); | - | ||||||||||||||||||
1299 | mres = 0; | - | ||||||||||||||||||
1300 | } else { | - | ||||||||||||||||||
1301 | ctx->mres = n; | - | ||||||||||||||||||
1302 | return 0; | - | ||||||||||||||||||
1303 | } | - | ||||||||||||||||||
1304 | # endif | - | ||||||||||||||||||
1305 | } | - | ||||||||||||||||||
1306 | # if defined(STRICT_ALIGNMENT) | - | ||||||||||||||||||
1307 | if (((size_t)in | (size_t)out) % sizeof(size_t) != 0) | - | ||||||||||||||||||
1308 | break; | - | ||||||||||||||||||
1309 | # endif | - | ||||||||||||||||||
1310 | # if defined(GHASH) | - | ||||||||||||||||||
1311 | if (len >= 16 && mres) {
| 19-140 | ||||||||||||||||||
1312 | GHASH(ctx, ctx->Xn, mres); | - | ||||||||||||||||||
1313 | mres = 0; | - | ||||||||||||||||||
1314 | } executed 121 times by 2 tests: end of block Executed by:
| 121 | ||||||||||||||||||
1315 | # if defined(GHASH_CHUNK) | - | ||||||||||||||||||
1316 | while (len >= GHASH_CHUNK) {
| 60-172 | ||||||||||||||||||
1317 | size_t j = GHASH_CHUNK; | - | ||||||||||||||||||
1318 | - | |||||||||||||||||||
1319 | GHASH(ctx, in, GHASH_CHUNK); | - | ||||||||||||||||||
1320 | while (j) {
| 60-11520 | ||||||||||||||||||
1321 | size_t *out_t = (size_t *)out; | - | ||||||||||||||||||
1322 | const size_t *in_t = (const size_t *)in; | - | ||||||||||||||||||
1323 | - | |||||||||||||||||||
1324 | (*block) (ctx->Yi.c, ctx->EKi.c, key); | - | ||||||||||||||||||
1325 | ++ctr; | - | ||||||||||||||||||
1326 | if (is_endian.little)
| 0-11520 | ||||||||||||||||||
1327 | # ifdef BSWAP4 | - | ||||||||||||||||||
1328 | ctx->Yi.d[3] = BSWAP4(ctr); executed 11520 times by 1 test: ctx->Yi.d[3] = ({ u32 ret_=(ctr); asm ("bswapl %0" : "+r"(ret_)); ret_; }); Executed by:
| 11520 | ||||||||||||||||||
1329 | # else | - | ||||||||||||||||||
1330 | PUTU32(ctx->Yi.c + 12, ctr); | - | ||||||||||||||||||
1331 | # endif | - | ||||||||||||||||||
1332 | else | - | ||||||||||||||||||
1333 | ctx->Yi.d[3] = ctr; never executed: ctx->Yi.d[3] = ctr; | 0 | ||||||||||||||||||
1334 | for (i = 0; i < 16 / sizeof(size_t); ++i)
| 11520-23040 | ||||||||||||||||||
1335 | out_t[i] = in_t[i] ^ ctx->EKi.t[i]; executed 23040 times by 1 test: out_t[i] = in_t[i] ^ ctx->EKi.t[i]; Executed by:
| 23040 | ||||||||||||||||||
1336 | out += 16; | - | ||||||||||||||||||
1337 | in += 16; | - | ||||||||||||||||||
1338 | j -= 16; | - | ||||||||||||||||||
1339 | } executed 11520 times by 1 test: end of block Executed by:
| 11520 | ||||||||||||||||||
1340 | len -= GHASH_CHUNK; | - | ||||||||||||||||||
1341 | } executed 60 times by 1 test: end of block Executed by:
| 60 | ||||||||||||||||||
1342 | # endif | - | ||||||||||||||||||
1343 | if ((i = (len & (size_t)-16))) {
| 34-138 | ||||||||||||||||||
1344 | GHASH(ctx, in, i); | - | ||||||||||||||||||
1345 | while (len >= 16) {
| 138-3149 | ||||||||||||||||||
1346 | size_t *out_t = (size_t *)out; | - | ||||||||||||||||||
1347 | const size_t *in_t = (const size_t *)in; | - | ||||||||||||||||||
1348 | - | |||||||||||||||||||
1349 | (*block) (ctx->Yi.c, ctx->EKi.c, key); | - | ||||||||||||||||||
1350 | ++ctr; | - | ||||||||||||||||||
1351 | if (is_endian.little)
| 0-3149 | ||||||||||||||||||
1352 | # ifdef BSWAP4 | - | ||||||||||||||||||
1353 | ctx->Yi.d[3] = BSWAP4(ctr); executed 3149 times by 2 tests: ctx->Yi.d[3] = ({ u32 ret_=(ctr); asm ("bswapl %0" : "+r"(ret_)); ret_; }); Executed by:
| 3149 | ||||||||||||||||||
1354 | # else | - | ||||||||||||||||||
1355 | PUTU32(ctx->Yi.c + 12, ctr); | - | ||||||||||||||||||
1356 | # endif | - | ||||||||||||||||||
1357 | else | - | ||||||||||||||||||
1358 | ctx->Yi.d[3] = ctr; never executed: ctx->Yi.d[3] = ctr; | 0 | ||||||||||||||||||
1359 | for (i = 0; i < 16 / sizeof(size_t); ++i)
| 3149-6298 | ||||||||||||||||||
1360 | out_t[i] = in_t[i] ^ ctx->EKi.t[i]; executed 6298 times by 2 tests: out_t[i] = in_t[i] ^ ctx->EKi.t[i]; Executed by:
| 6298 | ||||||||||||||||||
1361 | out += 16; | - | ||||||||||||||||||
1362 | in += 16; | - | ||||||||||||||||||
1363 | len -= 16; | - | ||||||||||||||||||
1364 | } executed 3149 times by 2 tests: end of block Executed by:
| 3149 | ||||||||||||||||||
1365 | } executed 138 times by 2 tests: end of block Executed by:
| 138 | ||||||||||||||||||
1366 | # else | - | ||||||||||||||||||
1367 | while (len >= 16) { | - | ||||||||||||||||||
1368 | size_t *out_t = (size_t *)out; | - | ||||||||||||||||||
1369 | const size_t *in_t = (const size_t *)in; | - | ||||||||||||||||||
1370 | - | |||||||||||||||||||
1371 | (*block) (ctx->Yi.c, ctx->EKi.c, key); | - | ||||||||||||||||||
1372 | ++ctr; | - | ||||||||||||||||||
1373 | if (is_endian.little) | - | ||||||||||||||||||
1374 | # ifdef BSWAP4 | - | ||||||||||||||||||
1375 | ctx->Yi.d[3] = BSWAP4(ctr); | - | ||||||||||||||||||
1376 | # else | - | ||||||||||||||||||
1377 | PUTU32(ctx->Yi.c + 12, ctr); | - | ||||||||||||||||||
1378 | # endif | - | ||||||||||||||||||
1379 | else | - | ||||||||||||||||||
1380 | ctx->Yi.d[3] = ctr; | - | ||||||||||||||||||
1381 | for (i = 0; i < 16 / sizeof(size_t); ++i) { | - | ||||||||||||||||||
1382 | size_t c = in[i]; | - | ||||||||||||||||||
1383 | out[i] = c ^ ctx->EKi.t[i]; | - | ||||||||||||||||||
1384 | ctx->Xi.t[i] ^= c; | - | ||||||||||||||||||
1385 | } | - | ||||||||||||||||||
1386 | GCM_MUL(ctx); | - | ||||||||||||||||||
1387 | out += 16; | - | ||||||||||||||||||
1388 | in += 16; | - | ||||||||||||||||||
1389 | len -= 16; | - | ||||||||||||||||||
1390 | } | - | ||||||||||||||||||
1391 | # endif | - | ||||||||||||||||||
1392 | if (len) {
| 80-92 | ||||||||||||||||||
1393 | (*block) (ctx->Yi.c, ctx->EKi.c, key); | - | ||||||||||||||||||
1394 | ++ctr; | - | ||||||||||||||||||
1395 | if (is_endian.little)
| 0-92 | ||||||||||||||||||
1396 | # ifdef BSWAP4 | - | ||||||||||||||||||
1397 | ctx->Yi.d[3] = BSWAP4(ctr); executed 92 times by 2 tests: ctx->Yi.d[3] = ({ u32 ret_=(ctr); asm ("bswapl %0" : "+r"(ret_)); ret_; }); Executed by:
| 92 | ||||||||||||||||||
1398 | # else | - | ||||||||||||||||||
1399 | PUTU32(ctx->Yi.c + 12, ctr); | - | ||||||||||||||||||
1400 | # endif | - | ||||||||||||||||||
1401 | else | - | ||||||||||||||||||
1402 | ctx->Yi.d[3] = ctr; never executed: ctx->Yi.d[3] = ctr; | 0 | ||||||||||||||||||
1403 | # if defined(GHASH) | - | ||||||||||||||||||
1404 | while (len--) {
| 92-773 | ||||||||||||||||||
1405 | out[n] = (ctx->Xn[mres++] = in[n]) ^ ctx->EKi.c[n]; | - | ||||||||||||||||||
1406 | ++n; | - | ||||||||||||||||||
1407 | } executed 773 times by 2 tests: end of block Executed by:
| 773 | ||||||||||||||||||
1408 | # else | - | ||||||||||||||||||
1409 | while (len--) { | - | ||||||||||||||||||
1410 | u8 c = in[n]; | - | ||||||||||||||||||
1411 | ctx->Xi.c[n] ^= c; | - | ||||||||||||||||||
1412 | out[n] = c ^ ctx->EKi.c[n]; | - | ||||||||||||||||||
1413 | ++n; | - | ||||||||||||||||||
1414 | } | - | ||||||||||||||||||
1415 | mres = n; | - | ||||||||||||||||||
1416 | # endif | - | ||||||||||||||||||
1417 | } executed 92 times by 2 tests: end of block Executed by:
| 92 | ||||||||||||||||||
1418 | - | |||||||||||||||||||
1419 | ctx->mres = mres; | - | ||||||||||||||||||
1420 | return 0; executed 172 times by 2 tests: return 0; Executed by:
| 172 | ||||||||||||||||||
1421 | } while (0); | - | ||||||||||||||||||
1422 | } never executed: end of block | 0 | ||||||||||||||||||
1423 | #endif | - | ||||||||||||||||||
1424 | for (i = 0; i < len; ++i) {
| 0 | ||||||||||||||||||
1425 | u8 c; | - | ||||||||||||||||||
1426 | if (n == 0) {
| 0 | ||||||||||||||||||
1427 | (*block) (ctx->Yi.c, ctx->EKi.c, key); | - | ||||||||||||||||||
1428 | ++ctr; | - | ||||||||||||||||||
1429 | if (is_endian.little)
| 0 | ||||||||||||||||||
1430 | #ifdef BSWAP4 | - | ||||||||||||||||||
1431 | ctx->Yi.d[3] = BSWAP4(ctr); never executed: ctx->Yi.d[3] = ({ u32 ret_=(ctr); asm ("bswapl %0" : "+r"(ret_)); ret_; }); | 0 | ||||||||||||||||||
1432 | #else | - | ||||||||||||||||||
1433 | PUTU32(ctx->Yi.c + 12, ctr); | - | ||||||||||||||||||
1434 | #endif | - | ||||||||||||||||||
1435 | else | - | ||||||||||||||||||
1436 | ctx->Yi.d[3] = ctr; never executed: ctx->Yi.d[3] = ctr; | 0 | ||||||||||||||||||
1437 | } | - | ||||||||||||||||||
1438 | #if defined(GHASH) && !defined(OPENSSL_SMALL_FOOTPRINT) | - | ||||||||||||||||||
1439 | out[i] = (ctx->Xn[mres++] = c = in[i]) ^ ctx->EKi.c[n]; | - | ||||||||||||||||||
1440 | n = (n + 1) % 16; | - | ||||||||||||||||||
1441 | if (mres == sizeof(ctx->Xn)) {
| 0 | ||||||||||||||||||
1442 | GHASH(ctx,ctx->Xn,sizeof(ctx->Xn)); | - | ||||||||||||||||||
1443 | mres = 0; | - | ||||||||||||||||||
1444 | } never executed: end of block | 0 | ||||||||||||||||||
1445 | #else | - | ||||||||||||||||||
1446 | c = in[i]; | - | ||||||||||||||||||
1447 | out[i] = c ^ ctx->EKi.c[n]; | - | ||||||||||||||||||
1448 | ctx->Xi.c[n] ^= c; | - | ||||||||||||||||||
1449 | mres = n = (n + 1) % 16; | - | ||||||||||||||||||
1450 | if (n == 0) | - | ||||||||||||||||||
1451 | GCM_MUL(ctx); | - | ||||||||||||||||||
1452 | #endif | - | ||||||||||||||||||
1453 | } never executed: end of block | 0 | ||||||||||||||||||
1454 | - | |||||||||||||||||||
1455 | ctx->mres = mres; | - | ||||||||||||||||||
1456 | return 0; never executed: return 0; | 0 | ||||||||||||||||||
1457 | } | - | ||||||||||||||||||
1458 | - | |||||||||||||||||||
1459 | int CRYPTO_gcm128_encrypt_ctr32(GCM128_CONTEXT *ctx, | - | ||||||||||||||||||
1460 | const unsigned char *in, unsigned char *out, | - | ||||||||||||||||||
1461 | size_t len, ctr128_f stream) | - | ||||||||||||||||||
1462 | { | - | ||||||||||||||||||
1463 | #if defined(OPENSSL_SMALL_FOOTPRINT) | - | ||||||||||||||||||
1464 | return CRYPTO_gcm128_encrypt(ctx, in, out, len); | - | ||||||||||||||||||
1465 | #else | - | ||||||||||||||||||
1466 | const union { | - | ||||||||||||||||||
1467 | long one; | - | ||||||||||||||||||
1468 | char little; | - | ||||||||||||||||||
1469 | } is_endian = { 1 }; | - | ||||||||||||||||||
1470 | unsigned int n, ctr, mres; | - | ||||||||||||||||||
1471 | size_t i; | - | ||||||||||||||||||
1472 | u64 mlen = ctx->len.u[1]; | - | ||||||||||||||||||
1473 | void *key = ctx->key; | - | ||||||||||||||||||
1474 | # ifdef GCM_FUNCREF_4BIT | - | ||||||||||||||||||
1475 | void (*gcm_gmult_p) (u64 Xi[2], const u128 Htable[16]) = ctx->gmult; | - | ||||||||||||||||||
1476 | # ifdef GHASH | - | ||||||||||||||||||
1477 | void (*gcm_ghash_p) (u64 Xi[2], const u128 Htable[16], | - | ||||||||||||||||||
1478 | const u8 *inp, size_t len) = ctx->ghash; | - | ||||||||||||||||||
1479 | # endif | - | ||||||||||||||||||
1480 | # endif | - | ||||||||||||||||||
1481 | - | |||||||||||||||||||
1482 | mlen += len; | - | ||||||||||||||||||
1483 | if (mlen > ((U64(1) << 36) - 32) || (sizeof(len) == 8 && mlen < len))
| 0-15231 | ||||||||||||||||||
1484 | return -1; never executed: return -1; | 0 | ||||||||||||||||||
1485 | ctx->len.u[1] = mlen; | - | ||||||||||||||||||
1486 | - | |||||||||||||||||||
1487 | mres = ctx->mres; | - | ||||||||||||||||||
1488 | - | |||||||||||||||||||
1489 | if (ctx->ares) {
| 468-14763 | ||||||||||||||||||
1490 | /* First call to encrypt finalizes GHASH(AAD) */ | - | ||||||||||||||||||
1491 | #if defined(GHASH) | - | ||||||||||||||||||
1492 | if (len == 0) {
| 0-14763 | ||||||||||||||||||
1493 | GCM_MUL(ctx); | - | ||||||||||||||||||
1494 | ctx->ares = 0; | - | ||||||||||||||||||
1495 | return 0; never executed: return 0; | 0 | ||||||||||||||||||
1496 | } | - | ||||||||||||||||||
1497 | memcpy(ctx->Xn, ctx->Xi.c, sizeof(ctx->Xi)); | - | ||||||||||||||||||
1498 | ctx->Xi.u[0] = 0; | - | ||||||||||||||||||
1499 | ctx->Xi.u[1] = 0; | - | ||||||||||||||||||
1500 | mres = sizeof(ctx->Xi); | - | ||||||||||||||||||
1501 | #else | - | ||||||||||||||||||
1502 | GCM_MUL(ctx); | - | ||||||||||||||||||
1503 | #endif | - | ||||||||||||||||||
1504 | ctx->ares = 0; | - | ||||||||||||||||||
1505 | } executed 14763 times by 1 test: end of block Executed by:
| 14763 | ||||||||||||||||||
1506 | - | |||||||||||||||||||
1507 | if (is_endian.little)
| 0-15231 | ||||||||||||||||||
1508 | # ifdef BSWAP4 | - | ||||||||||||||||||
1509 | ctr = BSWAP4(ctx->Yi.d[3]); executed 15231 times by 1 test: ctr = ({ u32 ret_=(ctx->Yi.d[3]); asm ("bswapl %0" : "+r"(ret_)); ret_; }); Executed by:
| 15231 | ||||||||||||||||||
1510 | # else | - | ||||||||||||||||||
1511 | ctr = GETU32(ctx->Yi.c + 12); | - | ||||||||||||||||||
1512 | # endif | - | ||||||||||||||||||
1513 | else | - | ||||||||||||||||||
1514 | ctr = ctx->Yi.d[3]; never executed: ctr = ctx->Yi.d[3]; | 0 | ||||||||||||||||||
1515 | - | |||||||||||||||||||
1516 | n = mres % 16; | - | ||||||||||||||||||
1517 | if (n) {
| 276-14955 | ||||||||||||||||||
1518 | # if defined(GHASH) | - | ||||||||||||||||||
1519 | while (n && len) {
| 78-2262 | ||||||||||||||||||
1520 | ctx->Xn[mres++] = *(out++) = *(in++) ^ ctx->EKi.c[n]; | - | ||||||||||||||||||
1521 | --len; | - | ||||||||||||||||||
1522 | n = (n + 1) % 16; | - | ||||||||||||||||||
1523 | } executed 2184 times by 1 test: end of block Executed by:
| 2184 | ||||||||||||||||||
1524 | if (n == 0) {
| 78-198 | ||||||||||||||||||
1525 | GHASH(ctx, ctx->Xn, mres); | - | ||||||||||||||||||
1526 | mres = 0; | - | ||||||||||||||||||
1527 | } else { executed 198 times by 1 test: end of block Executed by:
| 198 | ||||||||||||||||||
1528 | ctx->mres = mres; | - | ||||||||||||||||||
1529 | return 0; executed 78 times by 1 test: return 0; Executed by:
| 78 | ||||||||||||||||||
1530 | } | - | ||||||||||||||||||
1531 | # else | - | ||||||||||||||||||
1532 | while (n && len) { | - | ||||||||||||||||||
1533 | ctx->Xi.c[n] ^= *(out++) = *(in++) ^ ctx->EKi.c[n]; | - | ||||||||||||||||||
1534 | --len; | - | ||||||||||||||||||
1535 | n = (n + 1) % 16; | - | ||||||||||||||||||
1536 | } | - | ||||||||||||||||||
1537 | if (n == 0) { | - | ||||||||||||||||||
1538 | GCM_MUL(ctx); | - | ||||||||||||||||||
1539 | mres = 0; | - | ||||||||||||||||||
1540 | } else { | - | ||||||||||||||||||
1541 | ctx->mres = n; | - | ||||||||||||||||||
1542 | return 0; | - | ||||||||||||||||||
1543 | } | - | ||||||||||||||||||
1544 | # endif | - | ||||||||||||||||||
1545 | } | - | ||||||||||||||||||
1546 | # if defined(GHASH) | - | ||||||||||||||||||
1547 | if (len >= 16 && mres) {
| 198-12286 | ||||||||||||||||||
1548 | GHASH(ctx, ctx->Xn, mres); | - | ||||||||||||||||||
1549 | mres = 0; | - | ||||||||||||||||||
1550 | } executed 12088 times by 1 test: end of block Executed by:
| 12088 | ||||||||||||||||||
1551 | # if defined(GHASH_CHUNK) | - | ||||||||||||||||||
1552 | while (len >= GHASH_CHUNK) {
| 1116-15153 | ||||||||||||||||||
1553 | (*stream) (in, out, GHASH_CHUNK / 16, key, ctx->Yi.c); | - | ||||||||||||||||||
1554 | ctr += GHASH_CHUNK / 16; | - | ||||||||||||||||||
1555 | if (is_endian.little)
| 0-1116 | ||||||||||||||||||
1556 | # ifdef BSWAP4 | - | ||||||||||||||||||
1557 | ctx->Yi.d[3] = BSWAP4(ctr); executed 1116 times by 1 test: ctx->Yi.d[3] = ({ u32 ret_=(ctr); asm ("bswapl %0" : "+r"(ret_)); ret_; }); Executed by:
| 1116 | ||||||||||||||||||
1558 | # else | - | ||||||||||||||||||
1559 | PUTU32(ctx->Yi.c + 12, ctr); | - | ||||||||||||||||||
1560 | # endif | - | ||||||||||||||||||
1561 | else | - | ||||||||||||||||||
1562 | ctx->Yi.d[3] = ctr; never executed: ctx->Yi.d[3] = ctr; | 0 | ||||||||||||||||||
1563 | GHASH(ctx, out, GHASH_CHUNK); | - | ||||||||||||||||||
1564 | out += GHASH_CHUNK; | - | ||||||||||||||||||
1565 | in += GHASH_CHUNK; | - | ||||||||||||||||||
1566 | len -= GHASH_CHUNK; | - | ||||||||||||||||||
1567 | } executed 1116 times by 1 test: end of block Executed by:
| 1116 | ||||||||||||||||||
1568 | # endif | - | ||||||||||||||||||
1569 | # endif | - | ||||||||||||||||||
1570 | if ((i = (len & (size_t)-16))) {
| 2867-12286 | ||||||||||||||||||
1571 | size_t j = i / 16; | - | ||||||||||||||||||
1572 | - | |||||||||||||||||||
1573 | (*stream) (in, out, j, key, ctx->Yi.c); | - | ||||||||||||||||||
1574 | ctr += (unsigned int)j; | - | ||||||||||||||||||
1575 | if (is_endian.little)
| 0-12286 | ||||||||||||||||||
1576 | # ifdef BSWAP4 | - | ||||||||||||||||||
1577 | ctx->Yi.d[3] = BSWAP4(ctr); executed 12286 times by 1 test: ctx->Yi.d[3] = ({ u32 ret_=(ctr); asm ("bswapl %0" : "+r"(ret_)); ret_; }); Executed by:
| 12286 | ||||||||||||||||||
1578 | # else | - | ||||||||||||||||||
1579 | PUTU32(ctx->Yi.c + 12, ctr); | - | ||||||||||||||||||
1580 | # endif | - | ||||||||||||||||||
1581 | else | - | ||||||||||||||||||
1582 | ctx->Yi.d[3] = ctr; never executed: ctx->Yi.d[3] = ctr; | 0 | ||||||||||||||||||
1583 | in += i; | - | ||||||||||||||||||
1584 | len -= i; | - | ||||||||||||||||||
1585 | # if defined(GHASH) | - | ||||||||||||||||||
1586 | GHASH(ctx, out, i); | - | ||||||||||||||||||
1587 | out += i; | - | ||||||||||||||||||
1588 | # else | - | ||||||||||||||||||
1589 | while (j--) { | - | ||||||||||||||||||
1590 | for (i = 0; i < 16; ++i) | - | ||||||||||||||||||
1591 | ctx->Xi.c[i] ^= out[i]; | - | ||||||||||||||||||
1592 | GCM_MUL(ctx); | - | ||||||||||||||||||
1593 | out += 16; | - | ||||||||||||||||||
1594 | } | - | ||||||||||||||||||
1595 | # endif | - | ||||||||||||||||||
1596 | } executed 12286 times by 1 test: end of block Executed by:
| 12286 | ||||||||||||||||||
1597 | if (len) {
| 1751-13402 | ||||||||||||||||||
1598 | (*ctx->block) (ctx->Yi.c, ctx->EKi.c, key); | - | ||||||||||||||||||
1599 | ++ctr; | - | ||||||||||||||||||
1600 | if (is_endian.little)
| 0-13402 | ||||||||||||||||||
1601 | # ifdef BSWAP4 | - | ||||||||||||||||||
1602 | ctx->Yi.d[3] = BSWAP4(ctr); executed 13402 times by 1 test: ctx->Yi.d[3] = ({ u32 ret_=(ctr); asm ("bswapl %0" : "+r"(ret_)); ret_; }); Executed by:
| 13402 | ||||||||||||||||||
1603 | # else | - | ||||||||||||||||||
1604 | PUTU32(ctx->Yi.c + 12, ctr); | - | ||||||||||||||||||
1605 | # endif | - | ||||||||||||||||||
1606 | else | - | ||||||||||||||||||
1607 | ctx->Yi.d[3] = ctr; never executed: ctx->Yi.d[3] = ctr; | 0 | ||||||||||||||||||
1608 | while (len--) {
| 13402-53338 | ||||||||||||||||||
1609 | # if defined(GHASH) | - | ||||||||||||||||||
1610 | ctx->Xn[mres++] = out[n] = in[n] ^ ctx->EKi.c[n]; | - | ||||||||||||||||||
1611 | # else | - | ||||||||||||||||||
1612 | ctx->Xi.c[mres++] ^= out[n] = in[n] ^ ctx->EKi.c[n]; | - | ||||||||||||||||||
1613 | # endif | - | ||||||||||||||||||
1614 | ++n; | - | ||||||||||||||||||
1615 | } executed 53338 times by 1 test: end of block Executed by:
| 53338 | ||||||||||||||||||
1616 | } executed 13402 times by 1 test: end of block Executed by:
| 13402 | ||||||||||||||||||
1617 | - | |||||||||||||||||||
1618 | ctx->mres = mres; | - | ||||||||||||||||||
1619 | return 0; executed 15153 times by 1 test: return 0; Executed by:
| 15153 | ||||||||||||||||||
1620 | #endif | - | ||||||||||||||||||
1621 | } | - | ||||||||||||||||||
1622 | - | |||||||||||||||||||
1623 | int CRYPTO_gcm128_decrypt_ctr32(GCM128_CONTEXT *ctx, | - | ||||||||||||||||||
1624 | const unsigned char *in, unsigned char *out, | - | ||||||||||||||||||
1625 | size_t len, ctr128_f stream) | - | ||||||||||||||||||
1626 | { | - | ||||||||||||||||||
1627 | #if defined(OPENSSL_SMALL_FOOTPRINT) | - | ||||||||||||||||||
1628 | return CRYPTO_gcm128_decrypt(ctx, in, out, len); | - | ||||||||||||||||||
1629 | #else | - | ||||||||||||||||||
1630 | const union { | - | ||||||||||||||||||
1631 | long one; | - | ||||||||||||||||||
1632 | char little; | - | ||||||||||||||||||
1633 | } is_endian = { 1 }; | - | ||||||||||||||||||
1634 | unsigned int n, ctr, mres; | - | ||||||||||||||||||
1635 | size_t i; | - | ||||||||||||||||||
1636 | u64 mlen = ctx->len.u[1]; | - | ||||||||||||||||||
1637 | void *key = ctx->key; | - | ||||||||||||||||||
1638 | # ifdef GCM_FUNCREF_4BIT | - | ||||||||||||||||||
1639 | void (*gcm_gmult_p) (u64 Xi[2], const u128 Htable[16]) = ctx->gmult; | - | ||||||||||||||||||
1640 | # ifdef GHASH | - | ||||||||||||||||||
1641 | void (*gcm_ghash_p) (u64 Xi[2], const u128 Htable[16], | - | ||||||||||||||||||
1642 | const u8 *inp, size_t len) = ctx->ghash; | - | ||||||||||||||||||
1643 | # endif | - | ||||||||||||||||||
1644 | # endif | - | ||||||||||||||||||
1645 | - | |||||||||||||||||||
1646 | mlen += len; | - | ||||||||||||||||||
1647 | if (mlen > ((U64(1) << 36) - 32) || (sizeof(len) == 8 && mlen < len))
| 0-16481 | ||||||||||||||||||
1648 | return -1; never executed: return -1; | 0 | ||||||||||||||||||
1649 | ctx->len.u[1] = mlen; | - | ||||||||||||||||||
1650 | - | |||||||||||||||||||
1651 | mres = ctx->mres; | - | ||||||||||||||||||
1652 | - | |||||||||||||||||||
1653 | if (ctx->ares) {
| 468-16013 | ||||||||||||||||||
1654 | /* First call to decrypt finalizes GHASH(AAD) */ | - | ||||||||||||||||||
1655 | # if defined(GHASH) | - | ||||||||||||||||||
1656 | if (len == 0) {
| 5-16008 | ||||||||||||||||||
1657 | GCM_MUL(ctx); | - | ||||||||||||||||||
1658 | ctx->ares = 0; | - | ||||||||||||||||||
1659 | return 0; executed 5 times by 1 test: return 0; Executed by:
| 5 | ||||||||||||||||||
1660 | } | - | ||||||||||||||||||
1661 | memcpy(ctx->Xn, ctx->Xi.c, sizeof(ctx->Xi)); | - | ||||||||||||||||||
1662 | ctx->Xi.u[0] = 0; | - | ||||||||||||||||||
1663 | ctx->Xi.u[1] = 0; | - | ||||||||||||||||||
1664 | mres = sizeof(ctx->Xi); | - | ||||||||||||||||||
1665 | # else | - | ||||||||||||||||||
1666 | GCM_MUL(ctx); | - | ||||||||||||||||||
1667 | # endif | - | ||||||||||||||||||
1668 | ctx->ares = 0; | - | ||||||||||||||||||
1669 | } executed 16008 times by 1 test: end of block Executed by:
| 16008 | ||||||||||||||||||
1670 | - | |||||||||||||||||||
1671 | if (is_endian.little)
| 0-16476 | ||||||||||||||||||
1672 | # ifdef BSWAP4 | - | ||||||||||||||||||
1673 | ctr = BSWAP4(ctx->Yi.d[3]); executed 16476 times by 1 test: ctr = ({ u32 ret_=(ctx->Yi.d[3]); asm ("bswapl %0" : "+r"(ret_)); ret_; }); Executed by:
| 16476 | ||||||||||||||||||
1674 | # else | - | ||||||||||||||||||
1675 | ctr = GETU32(ctx->Yi.c + 12); | - | ||||||||||||||||||
1676 | # endif | - | ||||||||||||||||||
1677 | else | - | ||||||||||||||||||
1678 | ctr = ctx->Yi.d[3]; never executed: ctr = ctx->Yi.d[3]; | 0 | ||||||||||||||||||
1679 | - | |||||||||||||||||||
1680 | n = mres % 16; | - | ||||||||||||||||||
1681 | if (n) {
| 276-16200 | ||||||||||||||||||
1682 | # if defined(GHASH) | - | ||||||||||||||||||
1683 | while (n && len) {
| 78-2262 | ||||||||||||||||||
1684 | *(out++) = (ctx->Xn[mres++] = *(in++)) ^ ctx->EKi.c[n]; | - | ||||||||||||||||||
1685 | --len; | - | ||||||||||||||||||
1686 | n = (n + 1) % 16; | - | ||||||||||||||||||
1687 | } executed 2184 times by 1 test: end of block Executed by:
| 2184 | ||||||||||||||||||
1688 | if (n == 0) {
| 78-198 | ||||||||||||||||||
1689 | GHASH(ctx, ctx->Xn, mres); | - | ||||||||||||||||||
1690 | mres = 0; | - | ||||||||||||||||||
1691 | } else { executed 198 times by 1 test: end of block Executed by:
| 198 | ||||||||||||||||||
1692 | ctx->mres = mres; | - | ||||||||||||||||||
1693 | return 0; executed 78 times by 1 test: return 0; Executed by:
| 78 | ||||||||||||||||||
1694 | } | - | ||||||||||||||||||
1695 | # else | - | ||||||||||||||||||
1696 | while (n && len) { | - | ||||||||||||||||||
1697 | u8 c = *(in++); | - | ||||||||||||||||||
1698 | *(out++) = c ^ ctx->EKi.c[n]; | - | ||||||||||||||||||
1699 | ctx->Xi.c[n] ^= c; | - | ||||||||||||||||||
1700 | --len; | - | ||||||||||||||||||
1701 | n = (n + 1) % 16; | - | ||||||||||||||||||
1702 | } | - | ||||||||||||||||||
1703 | if (n == 0) { | - | ||||||||||||||||||
1704 | GCM_MUL(ctx); | - | ||||||||||||||||||
1705 | mres = 0; | - | ||||||||||||||||||
1706 | } else { | - | ||||||||||||||||||
1707 | ctx->mres = n; | - | ||||||||||||||||||
1708 | return 0; | - | ||||||||||||||||||
1709 | } | - | ||||||||||||||||||
1710 | # endif | - | ||||||||||||||||||
1711 | } | - | ||||||||||||||||||
1712 | # if defined(GHASH) | - | ||||||||||||||||||
1713 | if (len >= 16 && mres) {
| 198-11605 | ||||||||||||||||||
1714 | GHASH(ctx, ctx->Xn, mres); | - | ||||||||||||||||||
1715 | mres = 0; | - | ||||||||||||||||||
1716 | } executed 11407 times by 1 test: end of block Executed by:
| 11407 | ||||||||||||||||||
1717 | # if defined(GHASH_CHUNK) | - | ||||||||||||||||||
1718 | while (len >= GHASH_CHUNK) {
| 1156-16398 | ||||||||||||||||||
1719 | GHASH(ctx, in, GHASH_CHUNK); | - | ||||||||||||||||||
1720 | (*stream) (in, out, GHASH_CHUNK / 16, key, ctx->Yi.c); | - | ||||||||||||||||||
1721 | ctr += GHASH_CHUNK / 16; | - | ||||||||||||||||||
1722 | if (is_endian.little)
| 0-1156 | ||||||||||||||||||
1723 | # ifdef BSWAP4 | - | ||||||||||||||||||
1724 | ctx->Yi.d[3] = BSWAP4(ctr); executed 1156 times by 1 test: ctx->Yi.d[3] = ({ u32 ret_=(ctr); asm ("bswapl %0" : "+r"(ret_)); ret_; }); Executed by:
| 1156 | ||||||||||||||||||
1725 | # else | - | ||||||||||||||||||
1726 | PUTU32(ctx->Yi.c + 12, ctr); | - | ||||||||||||||||||
1727 | # endif | - | ||||||||||||||||||
1728 | else | - | ||||||||||||||||||
1729 | ctx->Yi.d[3] = ctr; never executed: ctx->Yi.d[3] = ctr; | 0 | ||||||||||||||||||
1730 | out += GHASH_CHUNK; | - | ||||||||||||||||||
1731 | in += GHASH_CHUNK; | - | ||||||||||||||||||
1732 | len -= GHASH_CHUNK; | - | ||||||||||||||||||
1733 | } executed 1156 times by 1 test: end of block Executed by:
| 1156 | ||||||||||||||||||
1734 | # endif | - | ||||||||||||||||||
1735 | # endif | - | ||||||||||||||||||
1736 | if ((i = (len & (size_t)-16))) {
| 4795-11603 | ||||||||||||||||||
1737 | size_t j = i / 16; | - | ||||||||||||||||||
1738 | - | |||||||||||||||||||
1739 | # if defined(GHASH) | - | ||||||||||||||||||
1740 | GHASH(ctx, in, i); | - | ||||||||||||||||||
1741 | # else | - | ||||||||||||||||||
1742 | while (j--) { | - | ||||||||||||||||||
1743 | size_t k; | - | ||||||||||||||||||
1744 | for (k = 0; k < 16; ++k) | - | ||||||||||||||||||
1745 | ctx->Xi.c[k] ^= in[k]; | - | ||||||||||||||||||
1746 | GCM_MUL(ctx); | - | ||||||||||||||||||
1747 | in += 16; | - | ||||||||||||||||||
1748 | } | - | ||||||||||||||||||
1749 | j = i / 16; | - | ||||||||||||||||||
1750 | in -= i; | - | ||||||||||||||||||
1751 | # endif | - | ||||||||||||||||||
1752 | (*stream) (in, out, j, key, ctx->Yi.c); | - | ||||||||||||||||||
1753 | ctr += (unsigned int)j; | - | ||||||||||||||||||
1754 | if (is_endian.little)
| 0-11603 | ||||||||||||||||||
1755 | # ifdef BSWAP4 | - | ||||||||||||||||||
1756 | ctx->Yi.d[3] = BSWAP4(ctr); executed 11603 times by 1 test: ctx->Yi.d[3] = ({ u32 ret_=(ctr); asm ("bswapl %0" : "+r"(ret_)); ret_; }); Executed by:
| 11603 | ||||||||||||||||||
1757 | # else | - | ||||||||||||||||||
1758 | PUTU32(ctx->Yi.c + 12, ctr); | - | ||||||||||||||||||
1759 | # endif | - | ||||||||||||||||||
1760 | else | - | ||||||||||||||||||
1761 | ctx->Yi.d[3] = ctr; never executed: ctx->Yi.d[3] = ctr; | 0 | ||||||||||||||||||
1762 | out += i; | - | ||||||||||||||||||
1763 | in += i; | - | ||||||||||||||||||
1764 | len -= i; | - | ||||||||||||||||||
1765 | } executed 11603 times by 1 test: end of block Executed by:
| 11603 | ||||||||||||||||||
1766 | if (len) {
| 1780-14618 | ||||||||||||||||||
1767 | (*ctx->block) (ctx->Yi.c, ctx->EKi.c, key); | - | ||||||||||||||||||
1768 | ++ctr; | - | ||||||||||||||||||
1769 | if (is_endian.little)
| 0-14618 | ||||||||||||||||||
1770 | # ifdef BSWAP4 | - | ||||||||||||||||||
1771 | ctx->Yi.d[3] = BSWAP4(ctr); executed 14618 times by 1 test: ctx->Yi.d[3] = ({ u32 ret_=(ctr); asm ("bswapl %0" : "+r"(ret_)); ret_; }); Executed by:
| 14618 | ||||||||||||||||||
1772 | # else | - | ||||||||||||||||||
1773 | PUTU32(ctx->Yi.c + 12, ctr); | - | ||||||||||||||||||
1774 | # endif | - | ||||||||||||||||||
1775 | else | - | ||||||||||||||||||
1776 | ctx->Yi.d[3] = ctr; never executed: ctx->Yi.d[3] = ctr; | 0 | ||||||||||||||||||
1777 | while (len--) {
| 14618-83937 | ||||||||||||||||||
1778 | # if defined(GHASH) | - | ||||||||||||||||||
1779 | out[n] = (ctx->Xn[mres++] = in[n]) ^ ctx->EKi.c[n]; | - | ||||||||||||||||||
1780 | # else | - | ||||||||||||||||||
1781 | u8 c = in[n]; | - | ||||||||||||||||||
1782 | ctx->Xi.c[mres++] ^= c; | - | ||||||||||||||||||
1783 | out[n] = c ^ ctx->EKi.c[n]; | - | ||||||||||||||||||
1784 | # endif | - | ||||||||||||||||||
1785 | ++n; | - | ||||||||||||||||||
1786 | } executed 83937 times by 1 test: end of block Executed by:
| 83937 | ||||||||||||||||||
1787 | } executed 14618 times by 1 test: end of block Executed by:
| 14618 | ||||||||||||||||||
1788 | - | |||||||||||||||||||
1789 | ctx->mres = mres; | - | ||||||||||||||||||
1790 | return 0; executed 16398 times by 1 test: return 0; Executed by:
| 16398 | ||||||||||||||||||
1791 | #endif | - | ||||||||||||||||||
1792 | } | - | ||||||||||||||||||
1793 | - | |||||||||||||||||||
1794 | int CRYPTO_gcm128_finish(GCM128_CONTEXT *ctx, const unsigned char *tag, | - | ||||||||||||||||||
1795 | size_t len) | - | ||||||||||||||||||
1796 | { | - | ||||||||||||||||||
1797 | const union { | - | ||||||||||||||||||
1798 | long one; | - | ||||||||||||||||||
1799 | char little; | - | ||||||||||||||||||
1800 | } is_endian = { 1 }; | - | ||||||||||||||||||
1801 | u64 alen = ctx->len.u[0] << 3; | - | ||||||||||||||||||
1802 | u64 clen = ctx->len.u[1] << 3; | - | ||||||||||||||||||
1803 | #ifdef GCM_FUNCREF_4BIT | - | ||||||||||||||||||
1804 | void (*gcm_gmult_p) (u64 Xi[2], const u128 Htable[16]) = ctx->gmult; | - | ||||||||||||||||||
1805 | # if defined(GHASH) && !defined(OPENSSL_SMALL_FOOTPRINT) | - | ||||||||||||||||||
1806 | void (*gcm_ghash_p) (u64 Xi[2], const u128 Htable[16], | - | ||||||||||||||||||
1807 | const u8 *inp, size_t len) = ctx->ghash; | - | ||||||||||||||||||
1808 | # endif | - | ||||||||||||||||||
1809 | #endif | - | ||||||||||||||||||
1810 | - | |||||||||||||||||||
1811 | #if defined(GHASH) && !defined(OPENSSL_SMALL_FOOTPRINT) | - | ||||||||||||||||||
1812 | u128 bitlen; | - | ||||||||||||||||||
1813 | unsigned int mres = ctx->mres; | - | ||||||||||||||||||
1814 | - | |||||||||||||||||||
1815 | if (mres) {
| 3791-27822 | ||||||||||||||||||
1816 | unsigned blocks = (mres + 15) & -16; | - | ||||||||||||||||||
1817 | - | |||||||||||||||||||
1818 | memset(ctx->Xn + mres, 0, blocks - mres); | - | ||||||||||||||||||
1819 | mres = blocks; | - | ||||||||||||||||||
1820 | if (mres == sizeof(ctx->Xn)) {
| 0-27822 | ||||||||||||||||||
1821 | GHASH(ctx, ctx->Xn, mres); | - | ||||||||||||||||||
1822 | mres = 0; | - | ||||||||||||||||||
1823 | } never executed: end of block | 0 | ||||||||||||||||||
1824 | } else if (ctx->ares) { executed 27822 times by 2 tests: end of block Executed by:
| 0-27822 | ||||||||||||||||||
1825 | GCM_MUL(ctx); | - | ||||||||||||||||||
1826 | } never executed: end of block | 0 | ||||||||||||||||||
1827 | #else | - | ||||||||||||||||||
1828 | if (ctx->mres || ctx->ares) | - | ||||||||||||||||||
1829 | GCM_MUL(ctx); | - | ||||||||||||||||||
1830 | #endif | - | ||||||||||||||||||
1831 | - | |||||||||||||||||||
1832 | if (is_endian.little) {
| 0-31613 | ||||||||||||||||||
1833 | #ifdef BSWAP8 | - | ||||||||||||||||||
1834 | alen = BSWAP8(alen); | - | ||||||||||||||||||
1835 | clen = BSWAP8(clen); | - | ||||||||||||||||||
1836 | #else | - | ||||||||||||||||||
1837 | u8 *p = ctx->len.c; | - | ||||||||||||||||||
1838 | - | |||||||||||||||||||
1839 | ctx->len.u[0] = alen; | - | ||||||||||||||||||
1840 | ctx->len.u[1] = clen; | - | ||||||||||||||||||
1841 | - | |||||||||||||||||||
1842 | alen = (u64)GETU32(p) << 32 | GETU32(p + 4); | - | ||||||||||||||||||
1843 | clen = (u64)GETU32(p + 8) << 32 | GETU32(p + 12); | - | ||||||||||||||||||
1844 | #endif | - | ||||||||||||||||||
1845 | } executed 31613 times by 2 tests: end of block Executed by:
| 31613 | ||||||||||||||||||
1846 | - | |||||||||||||||||||
1847 | #if defined(GHASH) && !defined(OPENSSL_SMALL_FOOTPRINT) | - | ||||||||||||||||||
1848 | bitlen.hi = alen; | - | ||||||||||||||||||
1849 | bitlen.lo = clen; | - | ||||||||||||||||||
1850 | memcpy(ctx->Xn + mres, &bitlen, sizeof(bitlen)); | - | ||||||||||||||||||
1851 | mres += sizeof(bitlen); | - | ||||||||||||||||||
1852 | GHASH(ctx, ctx->Xn, mres); | - | ||||||||||||||||||
1853 | #else | - | ||||||||||||||||||
1854 | ctx->Xi.u[0] ^= alen; | - | ||||||||||||||||||
1855 | ctx->Xi.u[1] ^= clen; | - | ||||||||||||||||||
1856 | GCM_MUL(ctx); | - | ||||||||||||||||||
1857 | #endif | - | ||||||||||||||||||
1858 | - | |||||||||||||||||||
1859 | ctx->Xi.u[0] ^= ctx->EK0.u[0]; | - | ||||||||||||||||||
1860 | ctx->Xi.u[1] ^= ctx->EK0.u[1]; | - | ||||||||||||||||||
1861 | - | |||||||||||||||||||
1862 | if (tag && len <= sizeof(ctx->Xi))
| 0-17897 | ||||||||||||||||||
1863 | return CRYPTO_memcmp(ctx->Xi.c, tag, len); executed 13716 times by 2 tests: return CRYPTO_memcmp(ctx->Xi.c, tag, len); Executed by:
| 13716 | ||||||||||||||||||
1864 | else | - | ||||||||||||||||||
1865 | return -1; executed 17897 times by 1 test: return -1; Executed by:
| 17897 | ||||||||||||||||||
1866 | } | - | ||||||||||||||||||
1867 | - | |||||||||||||||||||
1868 | void CRYPTO_gcm128_tag(GCM128_CONTEXT *ctx, unsigned char *tag, size_t len) | - | ||||||||||||||||||
1869 | { | - | ||||||||||||||||||
1870 | CRYPTO_gcm128_finish(ctx, NULL, 0); | - | ||||||||||||||||||
1871 | memcpy(tag, ctx->Xi.c, | - | ||||||||||||||||||
1872 | len <= sizeof(ctx->Xi.c) ? len : sizeof(ctx->Xi.c)); | - | ||||||||||||||||||
1873 | } executed 17897 times by 1 test: end of block Executed by:
| 17897 | ||||||||||||||||||
1874 | - | |||||||||||||||||||
1875 | GCM128_CONTEXT *CRYPTO_gcm128_new(void *key, block128_f block) | - | ||||||||||||||||||
1876 | { | - | ||||||||||||||||||
1877 | GCM128_CONTEXT *ret; | - | ||||||||||||||||||
1878 | - | |||||||||||||||||||
1879 | if ((ret = OPENSSL_malloc(sizeof(*ret))) != NULL)
| 0 | ||||||||||||||||||
1880 | CRYPTO_gcm128_init(ret, key, block); never executed: CRYPTO_gcm128_init(ret, key, block); | 0 | ||||||||||||||||||
1881 | - | |||||||||||||||||||
1882 | return ret; never executed: return ret; | 0 | ||||||||||||||||||
1883 | } | - | ||||||||||||||||||
1884 | - | |||||||||||||||||||
1885 | void CRYPTO_gcm128_release(GCM128_CONTEXT *ctx) | - | ||||||||||||||||||
1886 | { | - | ||||||||||||||||||
1887 | OPENSSL_clear_free(ctx, sizeof(*ctx)); | - | ||||||||||||||||||
1888 | } never executed: end of block | 0 | ||||||||||||||||||
Source code | Switch to Preprocessed file |