| Absolute File Name: | /home/opencoverage/opencoverage/guest-scripts/sqlite/src/src/wal.c |
| Source code | Switch to Preprocessed file |
| Line | Source | Count | ||||||||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| 1 | /* | - | ||||||||||||||||||
| 2 | ** 2010 February 1 | - | ||||||||||||||||||
| 3 | ** | - | ||||||||||||||||||
| 4 | ** The author disclaims copyright to this source code. In place of | - | ||||||||||||||||||
| 5 | ** a legal notice, here is a blessing: | - | ||||||||||||||||||
| 6 | ** | - | ||||||||||||||||||
| 7 | ** May you do good and not evil. | - | ||||||||||||||||||
| 8 | ** May you find forgiveness for yourself and forgive others. | - | ||||||||||||||||||
| 9 | ** May you share freely, never taking more than you give. | - | ||||||||||||||||||
| 10 | ** | - | ||||||||||||||||||
| 11 | ************************************************************************* | - | ||||||||||||||||||
| 12 | ** | - | ||||||||||||||||||
| 13 | ** This file contains the implementation of a write-ahead log (WAL) used in | - | ||||||||||||||||||
| 14 | ** "journal_mode=WAL" mode. | - | ||||||||||||||||||
| 15 | ** | - | ||||||||||||||||||
| 16 | ** WRITE-AHEAD LOG (WAL) FILE FORMAT | - | ||||||||||||||||||
| 17 | ** | - | ||||||||||||||||||
| 18 | ** A WAL file consists of a header followed by zero or more "frames". | - | ||||||||||||||||||
| 19 | ** Each frame records the revised content of a single page from the | - | ||||||||||||||||||
| 20 | ** database file. All changes to the database are recorded by writing | - | ||||||||||||||||||
| 21 | ** frames into the WAL. Transactions commit when a frame is written that | - | ||||||||||||||||||
| 22 | ** contains a commit marker. A single WAL can and usually does record | - | ||||||||||||||||||
| 23 | ** multiple transactions. Periodically, the content of the WAL is | - | ||||||||||||||||||
| 24 | ** transferred back into the database file in an operation called a | - | ||||||||||||||||||
| 25 | ** "checkpoint". | - | ||||||||||||||||||
| 26 | ** | - | ||||||||||||||||||
| 27 | ** A single WAL file can be used multiple times. In other words, the | - | ||||||||||||||||||
| 28 | ** WAL can fill up with frames and then be checkpointed and then new | - | ||||||||||||||||||
| 29 | ** frames can overwrite the old ones. A WAL always grows from beginning | - | ||||||||||||||||||
| 30 | ** toward the end. Checksums and counters attached to each frame are | - | ||||||||||||||||||
| 31 | ** used to determine which frames within the WAL are valid and which | - | ||||||||||||||||||
| 32 | ** are leftovers from prior checkpoints. | - | ||||||||||||||||||
| 33 | ** | - | ||||||||||||||||||
| 34 | ** The WAL header is 32 bytes in size and consists of the following eight | - | ||||||||||||||||||
| 35 | ** big-endian 32-bit unsigned integer values: | - | ||||||||||||||||||
| 36 | ** | - | ||||||||||||||||||
| 37 | ** 0: Magic number. 0x377f0682 or 0x377f0683 | - | ||||||||||||||||||
| 38 | ** 4: File format version. Currently 3007000 | - | ||||||||||||||||||
| 39 | ** 8: Database page size. Example: 1024 | - | ||||||||||||||||||
| 40 | ** 12: Checkpoint sequence number | - | ||||||||||||||||||
| 41 | ** 16: Salt-1, random integer incremented with each checkpoint | - | ||||||||||||||||||
| 42 | ** 20: Salt-2, a different random integer changing with each ckpt | - | ||||||||||||||||||
| 43 | ** 24: Checksum-1 (first part of checksum for first 24 bytes of header). | - | ||||||||||||||||||
| 44 | ** 28: Checksum-2 (second part of checksum for first 24 bytes of header). | - | ||||||||||||||||||
| 45 | ** | - | ||||||||||||||||||
| 46 | ** Immediately following the wal-header are zero or more frames. Each | - | ||||||||||||||||||
| 47 | ** frame consists of a 24-byte frame-header followed by a <page-size> bytes | - | ||||||||||||||||||
| 48 | ** of page data. The frame-header is six big-endian 32-bit unsigned | - | ||||||||||||||||||
| 49 | ** integer values, as follows: | - | ||||||||||||||||||
| 50 | ** | - | ||||||||||||||||||
| 51 | ** 0: Page number. | - | ||||||||||||||||||
| 52 | ** 4: For commit records, the size of the database image in pages | - | ||||||||||||||||||
| 53 | ** after the commit. For all other records, zero. | - | ||||||||||||||||||
| 54 | ** 8: Salt-1 (copied from the header) | - | ||||||||||||||||||
| 55 | ** 12: Salt-2 (copied from the header) | - | ||||||||||||||||||
| 56 | ** 16: Checksum-1. | - | ||||||||||||||||||
| 57 | ** 20: Checksum-2. | - | ||||||||||||||||||
| 58 | ** | - | ||||||||||||||||||
| 59 | ** A frame is considered valid if and only if the following conditions are | - | ||||||||||||||||||
| 60 | ** true: | - | ||||||||||||||||||
| 61 | ** | - | ||||||||||||||||||
| 62 | ** (1) The salt-1 and salt-2 values in the frame-header match | - | ||||||||||||||||||
| 63 | ** salt values in the wal-header | - | ||||||||||||||||||
| 64 | ** | - | ||||||||||||||||||
| 65 | ** (2) The checksum values in the final 8 bytes of the frame-header | - | ||||||||||||||||||
| 66 | ** exactly match the checksum computed consecutively on the | - | ||||||||||||||||||
| 67 | ** WAL header and the first 8 bytes and the content of all frames | - | ||||||||||||||||||
| 68 | ** up to and including the current frame. | - | ||||||||||||||||||
| 69 | ** | - | ||||||||||||||||||
| 70 | ** The checksum is computed using 32-bit big-endian integers if the | - | ||||||||||||||||||
| 71 | ** magic number in the first 4 bytes of the WAL is 0x377f0683 and it | - | ||||||||||||||||||
| 72 | ** is computed using little-endian if the magic number is 0x377f0682. | - | ||||||||||||||||||
| 73 | ** The checksum values are always stored in the frame header in a | - | ||||||||||||||||||
| 74 | ** big-endian format regardless of which byte order is used to compute | - | ||||||||||||||||||
| 75 | ** the checksum. The checksum is computed by interpreting the input as | - | ||||||||||||||||||
| 76 | ** an even number of unsigned 32-bit integers: x[0] through x[N]. The | - | ||||||||||||||||||
| 77 | ** algorithm used for the checksum is as follows: | - | ||||||||||||||||||
| 78 | ** | - | ||||||||||||||||||
| 79 | ** for i from 0 to n-1 step 2: | - | ||||||||||||||||||
| 80 | ** s0 += x[i] + s1; | - | ||||||||||||||||||
| 81 | ** s1 += x[i+1] + s0; | - | ||||||||||||||||||
| 82 | ** endfor | - | ||||||||||||||||||
| 83 | ** | - | ||||||||||||||||||
| 84 | ** Note that s0 and s1 are both weighted checksums using fibonacci weights | - | ||||||||||||||||||
| 85 | ** in reverse order (the largest fibonacci weight occurs on the first element | - | ||||||||||||||||||
| 86 | ** of the sequence being summed.) The s1 value spans all 32-bit | - | ||||||||||||||||||
| 87 | ** terms of the sequence whereas s0 omits the final term. | - | ||||||||||||||||||
| 88 | ** | - | ||||||||||||||||||
| 89 | ** On a checkpoint, the WAL is first VFS.xSync-ed, then valid content of the | - | ||||||||||||||||||
| 90 | ** WAL is transferred into the database, then the database is VFS.xSync-ed. | - | ||||||||||||||||||
| 91 | ** The VFS.xSync operations serve as write barriers - all writes launched | - | ||||||||||||||||||
| 92 | ** before the xSync must complete before any write that launches after the | - | ||||||||||||||||||
| 93 | ** xSync begins. | - | ||||||||||||||||||
| 94 | ** | - | ||||||||||||||||||
| 95 | ** After each checkpoint, the salt-1 value is incremented and the salt-2 | - | ||||||||||||||||||
| 96 | ** value is randomized. This prevents old and new frames in the WAL from | - | ||||||||||||||||||
| 97 | ** being considered valid at the same time and being checkpointing together | - | ||||||||||||||||||
| 98 | ** following a crash. | - | ||||||||||||||||||
| 99 | ** | - | ||||||||||||||||||
| 100 | ** READER ALGORITHM | - | ||||||||||||||||||
| 101 | ** | - | ||||||||||||||||||
| 102 | ** To read a page from the database (call it page number P), a reader | - | ||||||||||||||||||
| 103 | ** first checks the WAL to see if it contains page P. If so, then the | - | ||||||||||||||||||
| 104 | ** last valid instance of page P that is a followed by a commit frame | - | ||||||||||||||||||
| 105 | ** or is a commit frame itself becomes the value read. If the WAL | - | ||||||||||||||||||
| 106 | ** contains no copies of page P that are valid and which are a commit | - | ||||||||||||||||||
| 107 | ** frame or are followed by a commit frame, then page P is read from | - | ||||||||||||||||||
| 108 | ** the database file. | - | ||||||||||||||||||
| 109 | ** | - | ||||||||||||||||||
| 110 | ** To start a read transaction, the reader records the index of the last | - | ||||||||||||||||||
| 111 | ** valid frame in the WAL. The reader uses this recorded "mxFrame" value | - | ||||||||||||||||||
| 112 | ** for all subsequent read operations. New transactions can be appended | - | ||||||||||||||||||
| 113 | ** to the WAL, but as long as the reader uses its original mxFrame value | - | ||||||||||||||||||
| 114 | ** and ignores the newly appended content, it will see a consistent snapshot | - | ||||||||||||||||||
| 115 | ** of the database from a single point in time. This technique allows | - | ||||||||||||||||||
| 116 | ** multiple concurrent readers to view different versions of the database | - | ||||||||||||||||||
| 117 | ** content simultaneously. | - | ||||||||||||||||||
| 118 | ** | - | ||||||||||||||||||
| 119 | ** The reader algorithm in the previous paragraphs works correctly, but | - | ||||||||||||||||||
| 120 | ** because frames for page P can appear anywhere within the WAL, the | - | ||||||||||||||||||
| 121 | ** reader has to scan the entire WAL looking for page P frames. If the | - | ||||||||||||||||||
| 122 | ** WAL is large (multiple megabytes is typical) that scan can be slow, | - | ||||||||||||||||||
| 123 | ** and read performance suffers. To overcome this problem, a separate | - | ||||||||||||||||||
| 124 | ** data structure called the wal-index is maintained to expedite the | - | ||||||||||||||||||
| 125 | ** search for frames of a particular page. | - | ||||||||||||||||||
| 126 | ** | - | ||||||||||||||||||
| 127 | ** WAL-INDEX FORMAT | - | ||||||||||||||||||
| 128 | ** | - | ||||||||||||||||||
| 129 | ** Conceptually, the wal-index is shared memory, though VFS implementations | - | ||||||||||||||||||
| 130 | ** might choose to implement the wal-index using a mmapped file. Because | - | ||||||||||||||||||
| 131 | ** the wal-index is shared memory, SQLite does not support journal_mode=WAL | - | ||||||||||||||||||
| 132 | ** on a network filesystem. All users of the database must be able to | - | ||||||||||||||||||
| 133 | ** share memory. | - | ||||||||||||||||||
| 134 | ** | - | ||||||||||||||||||
| 135 | ** In the default unix and windows implementation, the wal-index is a mmapped | - | ||||||||||||||||||
| 136 | ** file whose name is the database name with a "-shm" suffix added. For that | - | ||||||||||||||||||
| 137 | ** reason, the wal-index is sometimes called the "shm" file. | - | ||||||||||||||||||
| 138 | ** | - | ||||||||||||||||||
| 139 | ** The wal-index is transient. After a crash, the wal-index can (and should | - | ||||||||||||||||||
| 140 | ** be) reconstructed from the original WAL file. In fact, the VFS is required | - | ||||||||||||||||||
| 141 | ** to either truncate or zero the header of the wal-index when the last | - | ||||||||||||||||||
| 142 | ** connection to it closes. Because the wal-index is transient, it can | - | ||||||||||||||||||
| 143 | ** use an architecture-specific format; it does not have to be cross-platform. | - | ||||||||||||||||||
| 144 | ** Hence, unlike the database and WAL file formats which store all values | - | ||||||||||||||||||
| 145 | ** as big endian, the wal-index can store multi-byte values in the native | - | ||||||||||||||||||
| 146 | ** byte order of the host computer. | - | ||||||||||||||||||
| 147 | ** | - | ||||||||||||||||||
| 148 | ** The purpose of the wal-index is to answer this question quickly: Given | - | ||||||||||||||||||
| 149 | ** a page number P and a maximum frame index M, return the index of the | - | ||||||||||||||||||
| 150 | ** last frame in the wal before frame M for page P in the WAL, or return | - | ||||||||||||||||||
| 151 | ** NULL if there are no frames for page P in the WAL prior to M. | - | ||||||||||||||||||
| 152 | ** | - | ||||||||||||||||||
| 153 | ** The wal-index consists of a header region, followed by an one or | - | ||||||||||||||||||
| 154 | ** more index blocks. | - | ||||||||||||||||||
| 155 | ** | - | ||||||||||||||||||
| 156 | ** The wal-index header contains the total number of frames within the WAL | - | ||||||||||||||||||
| 157 | ** in the mxFrame field. | - | ||||||||||||||||||
| 158 | ** | - | ||||||||||||||||||
| 159 | ** Each index block except for the first contains information on | - | ||||||||||||||||||
| 160 | ** HASHTABLE_NPAGE frames. The first index block contains information on | - | ||||||||||||||||||
| 161 | ** HASHTABLE_NPAGE_ONE frames. The values of HASHTABLE_NPAGE_ONE and | - | ||||||||||||||||||
| 162 | ** HASHTABLE_NPAGE are selected so that together the wal-index header and | - | ||||||||||||||||||
| 163 | ** first index block are the same size as all other index blocks in the | - | ||||||||||||||||||
| 164 | ** wal-index. | - | ||||||||||||||||||
| 165 | ** | - | ||||||||||||||||||
| 166 | ** Each index block contains two sections, a page-mapping that contains the | - | ||||||||||||||||||
| 167 | ** database page number associated with each wal frame, and a hash-table | - | ||||||||||||||||||
| 168 | ** that allows readers to query an index block for a specific page number. | - | ||||||||||||||||||
| 169 | ** The page-mapping is an array of HASHTABLE_NPAGE (or HASHTABLE_NPAGE_ONE | - | ||||||||||||||||||
| 170 | ** for the first index block) 32-bit page numbers. The first entry in the | - | ||||||||||||||||||
| 171 | ** first index-block contains the database page number corresponding to the | - | ||||||||||||||||||
| 172 | ** first frame in the WAL file. The first entry in the second index block | - | ||||||||||||||||||
| 173 | ** in the WAL file corresponds to the (HASHTABLE_NPAGE_ONE+1)th frame in | - | ||||||||||||||||||
| 174 | ** the log, and so on. | - | ||||||||||||||||||
| 175 | ** | - | ||||||||||||||||||
| 176 | ** The last index block in a wal-index usually contains less than the full | - | ||||||||||||||||||
| 177 | ** complement of HASHTABLE_NPAGE (or HASHTABLE_NPAGE_ONE) page-numbers, | - | ||||||||||||||||||
| 178 | ** depending on the contents of the WAL file. This does not change the | - | ||||||||||||||||||
| 179 | ** allocated size of the page-mapping array - the page-mapping array merely | - | ||||||||||||||||||
| 180 | ** contains unused entries. | - | ||||||||||||||||||
| 181 | ** | - | ||||||||||||||||||
| 182 | ** Even without using the hash table, the last frame for page P | - | ||||||||||||||||||
| 183 | ** can be found by scanning the page-mapping sections of each index block | - | ||||||||||||||||||
| 184 | ** starting with the last index block and moving toward the first, and | - | ||||||||||||||||||
| 185 | ** within each index block, starting at the end and moving toward the | - | ||||||||||||||||||
| 186 | ** beginning. The first entry that equals P corresponds to the frame | - | ||||||||||||||||||
| 187 | ** holding the content for that page. | - | ||||||||||||||||||
| 188 | ** | - | ||||||||||||||||||
| 189 | ** The hash table consists of HASHTABLE_NSLOT 16-bit unsigned integers. | - | ||||||||||||||||||
| 190 | ** HASHTABLE_NSLOT = 2*HASHTABLE_NPAGE, and there is one entry in the | - | ||||||||||||||||||
| 191 | ** hash table for each page number in the mapping section, so the hash | - | ||||||||||||||||||
| 192 | ** table is never more than half full. The expected number of collisions | - | ||||||||||||||||||
| 193 | ** prior to finding a match is 1. Each entry of the hash table is an | - | ||||||||||||||||||
| 194 | ** 1-based index of an entry in the mapping section of the same | - | ||||||||||||||||||
| 195 | ** index block. Let K be the 1-based index of the largest entry in | - | ||||||||||||||||||
| 196 | ** the mapping section. (For index blocks other than the last, K will | - | ||||||||||||||||||
| 197 | ** always be exactly HASHTABLE_NPAGE (4096) and for the last index block | - | ||||||||||||||||||
| 198 | ** K will be (mxFrame%HASHTABLE_NPAGE).) Unused slots of the hash table | - | ||||||||||||||||||
| 199 | ** contain a value of 0. | - | ||||||||||||||||||
| 200 | ** | - | ||||||||||||||||||
| 201 | ** To look for page P in the hash table, first compute a hash iKey on | - | ||||||||||||||||||
| 202 | ** P as follows: | - | ||||||||||||||||||
| 203 | ** | - | ||||||||||||||||||
| 204 | ** iKey = (P * 383) % HASHTABLE_NSLOT | - | ||||||||||||||||||
| 205 | ** | - | ||||||||||||||||||
| 206 | ** Then start scanning entries of the hash table, starting with iKey | - | ||||||||||||||||||
| 207 | ** (wrapping around to the beginning when the end of the hash table is | - | ||||||||||||||||||
| 208 | ** reached) until an unused hash slot is found. Let the first unused slot | - | ||||||||||||||||||
| 209 | ** be at index iUnused. (iUnused might be less than iKey if there was | - | ||||||||||||||||||
| 210 | ** wrap-around.) Because the hash table is never more than half full, | - | ||||||||||||||||||
| 211 | ** the search is guaranteed to eventually hit an unused entry. Let | - | ||||||||||||||||||
| 212 | ** iMax be the value between iKey and iUnused, closest to iUnused, | - | ||||||||||||||||||
| 213 | ** where aHash[iMax]==P. If there is no iMax entry (if there exists | - | ||||||||||||||||||
| 214 | ** no hash slot such that aHash[i]==p) then page P is not in the | - | ||||||||||||||||||
| 215 | ** current index block. Otherwise the iMax-th mapping entry of the | - | ||||||||||||||||||
| 216 | ** current index block corresponds to the last entry that references | - | ||||||||||||||||||
| 217 | ** page P. | - | ||||||||||||||||||
| 218 | ** | - | ||||||||||||||||||
| 219 | ** A hash search begins with the last index block and moves toward the | - | ||||||||||||||||||
| 220 | ** first index block, looking for entries corresponding to page P. On | - | ||||||||||||||||||
| 221 | ** average, only two or three slots in each index block need to be | - | ||||||||||||||||||
| 222 | ** examined in order to either find the last entry for page P, or to | - | ||||||||||||||||||
| 223 | ** establish that no such entry exists in the block. Each index block | - | ||||||||||||||||||
| 224 | ** holds over 4000 entries. So two or three index blocks are sufficient | - | ||||||||||||||||||
| 225 | ** to cover a typical 10 megabyte WAL file, assuming 1K pages. 8 or 10 | - | ||||||||||||||||||
| 226 | ** comparisons (on average) suffice to either locate a frame in the | - | ||||||||||||||||||
| 227 | ** WAL or to establish that the frame does not exist in the WAL. This | - | ||||||||||||||||||
| 228 | ** is much faster than scanning the entire 10MB WAL. | - | ||||||||||||||||||
| 229 | ** | - | ||||||||||||||||||
| 230 | ** Note that entries are added in order of increasing K. Hence, one | - | ||||||||||||||||||
| 231 | ** reader might be using some value K0 and a second reader that started | - | ||||||||||||||||||
| 232 | ** at a later time (after additional transactions were added to the WAL | - | ||||||||||||||||||
| 233 | ** and to the wal-index) might be using a different value K1, where K1>K0. | - | ||||||||||||||||||
| 234 | ** Both readers can use the same hash table and mapping section to get | - | ||||||||||||||||||
| 235 | ** the correct result. There may be entries in the hash table with | - | ||||||||||||||||||
| 236 | ** K>K0 but to the first reader, those entries will appear to be unused | - | ||||||||||||||||||
| 237 | ** slots in the hash table and so the first reader will get an answer as | - | ||||||||||||||||||
| 238 | ** if no values greater than K0 had ever been inserted into the hash table | - | ||||||||||||||||||
| 239 | ** in the first place - which is what reader one wants. Meanwhile, the | - | ||||||||||||||||||
| 240 | ** second reader using K1 will see additional values that were inserted | - | ||||||||||||||||||
| 241 | ** later, which is exactly what reader two wants. | - | ||||||||||||||||||
| 242 | ** | - | ||||||||||||||||||
| 243 | ** When a rollback occurs, the value of K is decreased. Hash table entries | - | ||||||||||||||||||
| 244 | ** that correspond to frames greater than the new K value are removed | - | ||||||||||||||||||
| 245 | ** from the hash table at this point. | - | ||||||||||||||||||
| 246 | */ | - | ||||||||||||||||||
| 247 | #ifndef SQLITE_OMIT_WAL | - | ||||||||||||||||||
| 248 | - | |||||||||||||||||||
| 249 | #include "wal.h" | - | ||||||||||||||||||
| 250 | - | |||||||||||||||||||
| 251 | /* | - | ||||||||||||||||||
| 252 | ** Trace output macros | - | ||||||||||||||||||
| 253 | */ | - | ||||||||||||||||||
| 254 | #if defined(SQLITE_TEST) && defined(SQLITE_DEBUG) | - | ||||||||||||||||||
| 255 | int sqlite3WalTrace = 0; | - | ||||||||||||||||||
| 256 | # define WALTRACE(X) if(sqlite3WalTrace) sqlite3DebugPrintf X | - | ||||||||||||||||||
| 257 | #else | - | ||||||||||||||||||
| 258 | # define WALTRACE(X) | - | ||||||||||||||||||
| 259 | #endif | - | ||||||||||||||||||
| 260 | - | |||||||||||||||||||
| 261 | /* | - | ||||||||||||||||||
| 262 | ** WAL mode depends on atomic aligned 32-bit loads and stores in a few | - | ||||||||||||||||||
| 263 | ** places. The following macros try to make this explicit. | - | ||||||||||||||||||
| 264 | */ | - | ||||||||||||||||||
| 265 | #if GCC_VESRION>=5004000 | - | ||||||||||||||||||
| 266 | # define AtomicLoad(PTR) __atomic_load_n((PTR),__ATOMIC_RELAXED) | - | ||||||||||||||||||
| 267 | # define AtomicStore(PTR,VAL) __atomic_store_n((PTR),(VAL),__ATOMIC_RELAXED) | - | ||||||||||||||||||
| 268 | #else | - | ||||||||||||||||||
| 269 | # define AtomicLoad(PTR) (*(PTR)) | - | ||||||||||||||||||
| 270 | # define AtomicStore(PTR,VAL) (*(PTR) = (VAL)) | - | ||||||||||||||||||
| 271 | #endif | - | ||||||||||||||||||
| 272 | - | |||||||||||||||||||
| 273 | /* | - | ||||||||||||||||||
| 274 | ** The maximum (and only) versions of the wal and wal-index formats | - | ||||||||||||||||||
| 275 | ** that may be interpreted by this version of SQLite. | - | ||||||||||||||||||
| 276 | ** | - | ||||||||||||||||||
| 277 | ** If a client begins recovering a WAL file and finds that (a) the checksum | - | ||||||||||||||||||
| 278 | ** values in the wal-header are correct and (b) the version field is not | - | ||||||||||||||||||
| 279 | ** WAL_MAX_VERSION, recovery fails and SQLite returns SQLITE_CANTOPEN. | - | ||||||||||||||||||
| 280 | ** | - | ||||||||||||||||||
| 281 | ** Similarly, if a client successfully reads a wal-index header (i.e. the | - | ||||||||||||||||||
| 282 | ** checksum test is successful) and finds that the version field is not | - | ||||||||||||||||||
| 283 | ** WALINDEX_MAX_VERSION, then no read-transaction is opened and SQLite | - | ||||||||||||||||||
| 284 | ** returns SQLITE_CANTOPEN. | - | ||||||||||||||||||
| 285 | */ | - | ||||||||||||||||||
| 286 | #define WAL_MAX_VERSION 3007000 | - | ||||||||||||||||||
| 287 | #define WALINDEX_MAX_VERSION 3007000 | - | ||||||||||||||||||
| 288 | - | |||||||||||||||||||
| 289 | /* | - | ||||||||||||||||||
| 290 | ** Index numbers for various locking bytes. WAL_NREADER is the number | - | ||||||||||||||||||
| 291 | ** of available reader locks and should be at least 3. The default | - | ||||||||||||||||||
| 292 | ** is SQLITE_SHM_NLOCK==8 and WAL_NREADER==5. | - | ||||||||||||||||||
| 293 | ** | - | ||||||||||||||||||
| 294 | ** Technically, the various VFSes are free to implement these locks however | - | ||||||||||||||||||
| 295 | ** they see fit. However, compatibility is encouraged so that VFSes can | - | ||||||||||||||||||
| 296 | ** interoperate. The standard implemention used on both unix and windows | - | ||||||||||||||||||
| 297 | ** is for the index number to indicate a byte offset into the | - | ||||||||||||||||||
| 298 | ** WalCkptInfo.aLock[] array in the wal-index header. In other words, all | - | ||||||||||||||||||
| 299 | ** locks are on the shm file. The WALINDEX_LOCK_OFFSET constant (which | - | ||||||||||||||||||
| 300 | ** should be 120) is the location in the shm file for the first locking | - | ||||||||||||||||||
| 301 | ** byte. | - | ||||||||||||||||||
| 302 | */ | - | ||||||||||||||||||
| 303 | #define WAL_WRITE_LOCK 0 | - | ||||||||||||||||||
| 304 | #define WAL_ALL_BUT_WRITE 1 | - | ||||||||||||||||||
| 305 | #define WAL_CKPT_LOCK 1 | - | ||||||||||||||||||
| 306 | #define WAL_RECOVER_LOCK 2 | - | ||||||||||||||||||
| 307 | #define WAL_READ_LOCK(I) (3+(I)) | - | ||||||||||||||||||
| 308 | #define WAL_NREADER (SQLITE_SHM_NLOCK-3) | - | ||||||||||||||||||
| 309 | - | |||||||||||||||||||
| 310 | - | |||||||||||||||||||
| 311 | /* Object declarations */ | - | ||||||||||||||||||
| 312 | typedef struct WalIndexHdr WalIndexHdr; | - | ||||||||||||||||||
| 313 | typedef struct WalIterator WalIterator; | - | ||||||||||||||||||
| 314 | typedef struct WalCkptInfo WalCkptInfo; | - | ||||||||||||||||||
| 315 | - | |||||||||||||||||||
| 316 | - | |||||||||||||||||||
| 317 | /* | - | ||||||||||||||||||
| 318 | ** The following object holds a copy of the wal-index header content. | - | ||||||||||||||||||
| 319 | ** | - | ||||||||||||||||||
| 320 | ** The actual header in the wal-index consists of two copies of this | - | ||||||||||||||||||
| 321 | ** object followed by one instance of the WalCkptInfo object. | - | ||||||||||||||||||
| 322 | ** For all versions of SQLite through 3.10.0 and probably beyond, | - | ||||||||||||||||||
| 323 | ** the locking bytes (WalCkptInfo.aLock) start at offset 120 and | - | ||||||||||||||||||
| 324 | ** the total header size is 136 bytes. | - | ||||||||||||||||||
| 325 | ** | - | ||||||||||||||||||
| 326 | ** The szPage value can be any power of 2 between 512 and 32768, inclusive. | - | ||||||||||||||||||
| 327 | ** Or it can be 1 to represent a 65536-byte page. The latter case was | - | ||||||||||||||||||
| 328 | ** added in 3.7.1 when support for 64K pages was added. | - | ||||||||||||||||||
| 329 | */ | - | ||||||||||||||||||
| 330 | struct WalIndexHdr { | - | ||||||||||||||||||
| 331 | u32 iVersion; /* Wal-index version */ | - | ||||||||||||||||||
| 332 | u32 unused; /* Unused (padding) field */ | - | ||||||||||||||||||
| 333 | u32 iChange; /* Counter incremented each transaction */ | - | ||||||||||||||||||
| 334 | u8 isInit; /* 1 when initialized */ | - | ||||||||||||||||||
| 335 | u8 bigEndCksum; /* True if checksums in WAL are big-endian */ | - | ||||||||||||||||||
| 336 | u16 szPage; /* Database page size in bytes. 1==64K */ | - | ||||||||||||||||||
| 337 | u32 mxFrame; /* Index of last valid frame in the WAL */ | - | ||||||||||||||||||
| 338 | u32 nPage; /* Size of database in pages */ | - | ||||||||||||||||||
| 339 | u32 aFrameCksum[2]; /* Checksum of last frame in log */ | - | ||||||||||||||||||
| 340 | u32 aSalt[2]; /* Two salt values copied from WAL header */ | - | ||||||||||||||||||
| 341 | u32 aCksum[2]; /* Checksum over all prior fields */ | - | ||||||||||||||||||
| 342 | }; | - | ||||||||||||||||||
| 343 | - | |||||||||||||||||||
| 344 | /* | - | ||||||||||||||||||
| 345 | ** A copy of the following object occurs in the wal-index immediately | - | ||||||||||||||||||
| 346 | ** following the second copy of the WalIndexHdr. This object stores | - | ||||||||||||||||||
| 347 | ** information used by checkpoint. | - | ||||||||||||||||||
| 348 | ** | - | ||||||||||||||||||
| 349 | ** nBackfill is the number of frames in the WAL that have been written | - | ||||||||||||||||||
| 350 | ** back into the database. (We call the act of moving content from WAL to | - | ||||||||||||||||||
| 351 | ** database "backfilling".) The nBackfill number is never greater than | - | ||||||||||||||||||
| 352 | ** WalIndexHdr.mxFrame. nBackfill can only be increased by threads | - | ||||||||||||||||||
| 353 | ** holding the WAL_CKPT_LOCK lock (which includes a recovery thread). | - | ||||||||||||||||||
| 354 | ** However, a WAL_WRITE_LOCK thread can move the value of nBackfill from | - | ||||||||||||||||||
| 355 | ** mxFrame back to zero when the WAL is reset. | - | ||||||||||||||||||
| 356 | ** | - | ||||||||||||||||||
| 357 | ** nBackfillAttempted is the largest value of nBackfill that a checkpoint | - | ||||||||||||||||||
| 358 | ** has attempted to achieve. Normally nBackfill==nBackfillAtempted, however | - | ||||||||||||||||||
| 359 | ** the nBackfillAttempted is set before any backfilling is done and the | - | ||||||||||||||||||
| 360 | ** nBackfill is only set after all backfilling completes. So if a checkpoint | - | ||||||||||||||||||
| 361 | ** crashes, nBackfillAttempted might be larger than nBackfill. The | - | ||||||||||||||||||
| 362 | ** WalIndexHdr.mxFrame must never be less than nBackfillAttempted. | - | ||||||||||||||||||
| 363 | ** | - | ||||||||||||||||||
| 364 | ** The aLock[] field is a set of bytes used for locking. These bytes should | - | ||||||||||||||||||
| 365 | ** never be read or written. | - | ||||||||||||||||||
| 366 | ** | - | ||||||||||||||||||
| 367 | ** There is one entry in aReadMark[] for each reader lock. If a reader | - | ||||||||||||||||||
| 368 | ** holds read-lock K, then the value in aReadMark[K] is no greater than | - | ||||||||||||||||||
| 369 | ** the mxFrame for that reader. The value READMARK_NOT_USED (0xffffffff) | - | ||||||||||||||||||
| 370 | ** for any aReadMark[] means that entry is unused. aReadMark[0] is | - | ||||||||||||||||||
| 371 | ** a special case; its value is never used and it exists as a place-holder | - | ||||||||||||||||||
| 372 | ** to avoid having to offset aReadMark[] indexs by one. Readers holding | - | ||||||||||||||||||
| 373 | ** WAL_READ_LOCK(0) always ignore the entire WAL and read all content | - | ||||||||||||||||||
| 374 | ** directly from the database. | - | ||||||||||||||||||
| 375 | ** | - | ||||||||||||||||||
| 376 | ** The value of aReadMark[K] may only be changed by a thread that | - | ||||||||||||||||||
| 377 | ** is holding an exclusive lock on WAL_READ_LOCK(K). Thus, the value of | - | ||||||||||||||||||
| 378 | ** aReadMark[K] cannot changed while there is a reader is using that mark | - | ||||||||||||||||||
| 379 | ** since the reader will be holding a shared lock on WAL_READ_LOCK(K). | - | ||||||||||||||||||
| 380 | ** | - | ||||||||||||||||||
| 381 | ** The checkpointer may only transfer frames from WAL to database where | - | ||||||||||||||||||
| 382 | ** the frame numbers are less than or equal to every aReadMark[] that is | - | ||||||||||||||||||
| 383 | ** in use (that is, every aReadMark[j] for which there is a corresponding | - | ||||||||||||||||||
| 384 | ** WAL_READ_LOCK(j)). New readers (usually) pick the aReadMark[] with the | - | ||||||||||||||||||
| 385 | ** largest value and will increase an unused aReadMark[] to mxFrame if there | - | ||||||||||||||||||
| 386 | ** is not already an aReadMark[] equal to mxFrame. The exception to the | - | ||||||||||||||||||
| 387 | ** previous sentence is when nBackfill equals mxFrame (meaning that everything | - | ||||||||||||||||||
| 388 | ** in the WAL has been backfilled into the database) then new readers | - | ||||||||||||||||||
| 389 | ** will choose aReadMark[0] which has value 0 and hence such reader will | - | ||||||||||||||||||
| 390 | ** get all their all content directly from the database file and ignore | - | ||||||||||||||||||
| 391 | ** the WAL. | - | ||||||||||||||||||
| 392 | ** | - | ||||||||||||||||||
| 393 | ** Writers normally append new frames to the end of the WAL. However, | - | ||||||||||||||||||
| 394 | ** if nBackfill equals mxFrame (meaning that all WAL content has been | - | ||||||||||||||||||
| 395 | ** written back into the database) and if no readers are using the WAL | - | ||||||||||||||||||
| 396 | ** (in other words, if there are no WAL_READ_LOCK(i) where i>0) then | - | ||||||||||||||||||
| 397 | ** the writer will first "reset" the WAL back to the beginning and start | - | ||||||||||||||||||
| 398 | ** writing new content beginning at frame 1. | - | ||||||||||||||||||
| 399 | ** | - | ||||||||||||||||||
| 400 | ** We assume that 32-bit loads are atomic and so no locks are needed in | - | ||||||||||||||||||
| 401 | ** order to read from any aReadMark[] entries. | - | ||||||||||||||||||
| 402 | */ | - | ||||||||||||||||||
| 403 | struct WalCkptInfo { | - | ||||||||||||||||||
| 404 | u32 nBackfill; /* Number of WAL frames backfilled into DB */ | - | ||||||||||||||||||
| 405 | u32 aReadMark[WAL_NREADER]; /* Reader marks */ | - | ||||||||||||||||||
| 406 | u8 aLock[SQLITE_SHM_NLOCK]; /* Reserved space for locks */ | - | ||||||||||||||||||
| 407 | u32 nBackfillAttempted; /* WAL frames perhaps written, or maybe not */ | - | ||||||||||||||||||
| 408 | u32 notUsed0; /* Available for future enhancements */ | - | ||||||||||||||||||
| 409 | }; | - | ||||||||||||||||||
| 410 | #define READMARK_NOT_USED 0xffffffff | - | ||||||||||||||||||
| 411 | - | |||||||||||||||||||
| 412 | - | |||||||||||||||||||
| 413 | /* A block of WALINDEX_LOCK_RESERVED bytes beginning at | - | ||||||||||||||||||
| 414 | ** WALINDEX_LOCK_OFFSET is reserved for locks. Since some systems | - | ||||||||||||||||||
| 415 | ** only support mandatory file-locks, we do not read or write data | - | ||||||||||||||||||
| 416 | ** from the region of the file on which locks are applied. | - | ||||||||||||||||||
| 417 | */ | - | ||||||||||||||||||
| 418 | #define WALINDEX_LOCK_OFFSET (sizeof(WalIndexHdr)*2+offsetof(WalCkptInfo,aLock)) | - | ||||||||||||||||||
| 419 | #define WALINDEX_HDR_SIZE (sizeof(WalIndexHdr)*2+sizeof(WalCkptInfo)) | - | ||||||||||||||||||
| 420 | - | |||||||||||||||||||
| 421 | /* Size of header before each frame in wal */ | - | ||||||||||||||||||
| 422 | #define WAL_FRAME_HDRSIZE 24 | - | ||||||||||||||||||
| 423 | - | |||||||||||||||||||
| 424 | /* Size of write ahead log header, including checksum. */ | - | ||||||||||||||||||
| 425 | #define WAL_HDRSIZE 32 | - | ||||||||||||||||||
| 426 | - | |||||||||||||||||||
| 427 | /* WAL magic value. Either this value, or the same value with the least | - | ||||||||||||||||||
| 428 | ** significant bit also set (WAL_MAGIC | 0x00000001) is stored in 32-bit | - | ||||||||||||||||||
| 429 | ** big-endian format in the first 4 bytes of a WAL file. | - | ||||||||||||||||||
| 430 | ** | - | ||||||||||||||||||
| 431 | ** If the LSB is set, then the checksums for each frame within the WAL | - | ||||||||||||||||||
| 432 | ** file are calculated by treating all data as an array of 32-bit | - | ||||||||||||||||||
| 433 | ** big-endian words. Otherwise, they are calculated by interpreting | - | ||||||||||||||||||
| 434 | ** all data as 32-bit little-endian words. | - | ||||||||||||||||||
| 435 | */ | - | ||||||||||||||||||
| 436 | #define WAL_MAGIC 0x377f0682 | - | ||||||||||||||||||
| 437 | - | |||||||||||||||||||
| 438 | /* | - | ||||||||||||||||||
| 439 | ** Return the offset of frame iFrame in the write-ahead log file, | - | ||||||||||||||||||
| 440 | ** assuming a database page size of szPage bytes. The offset returned | - | ||||||||||||||||||
| 441 | ** is to the start of the write-ahead log frame-header. | - | ||||||||||||||||||
| 442 | */ | - | ||||||||||||||||||
| 443 | #define walFrameOffset(iFrame, szPage) ( \ | - | ||||||||||||||||||
| 444 | WAL_HDRSIZE + ((iFrame)-1)*(i64)((szPage)+WAL_FRAME_HDRSIZE) \ | - | ||||||||||||||||||
| 445 | ) | - | ||||||||||||||||||
| 446 | - | |||||||||||||||||||
| 447 | /* | - | ||||||||||||||||||
| 448 | ** An open write-ahead log file is represented by an instance of the | - | ||||||||||||||||||
| 449 | ** following object. | - | ||||||||||||||||||
| 450 | */ | - | ||||||||||||||||||
| 451 | struct Wal { | - | ||||||||||||||||||
| 452 | sqlite3_vfs *pVfs; /* The VFS used to create pDbFd */ | - | ||||||||||||||||||
| 453 | sqlite3_file *pDbFd; /* File handle for the database file */ | - | ||||||||||||||||||
| 454 | sqlite3_file *pWalFd; /* File handle for WAL file */ | - | ||||||||||||||||||
| 455 | u32 iCallback; /* Value to pass to log callback (or 0) */ | - | ||||||||||||||||||
| 456 | i64 mxWalSize; /* Truncate WAL to this size upon reset */ | - | ||||||||||||||||||
| 457 | int nWiData; /* Size of array apWiData */ | - | ||||||||||||||||||
| 458 | int szFirstBlock; /* Size of first block written to WAL file */ | - | ||||||||||||||||||
| 459 | volatile u32 **apWiData; /* Pointer to wal-index content in memory */ | - | ||||||||||||||||||
| 460 | u32 szPage; /* Database page size */ | - | ||||||||||||||||||
| 461 | i16 readLock; /* Which read lock is being held. -1 for none */ | - | ||||||||||||||||||
| 462 | u8 syncFlags; /* Flags to use to sync header writes */ | - | ||||||||||||||||||
| 463 | u8 exclusiveMode; /* Non-zero if connection is in exclusive mode */ | - | ||||||||||||||||||
| 464 | u8 writeLock; /* True if in a write transaction */ | - | ||||||||||||||||||
| 465 | u8 ckptLock; /* True if holding a checkpoint lock */ | - | ||||||||||||||||||
| 466 | u8 readOnly; /* WAL_RDWR, WAL_RDONLY, or WAL_SHM_RDONLY */ | - | ||||||||||||||||||
| 467 | u8 truncateOnCommit; /* True to truncate WAL file on commit */ | - | ||||||||||||||||||
| 468 | u8 syncHeader; /* Fsync the WAL header if true */ | - | ||||||||||||||||||
| 469 | u8 padToSectorBoundary; /* Pad transactions out to the next sector */ | - | ||||||||||||||||||
| 470 | u8 bShmUnreliable; /* SHM content is read-only and unreliable */ | - | ||||||||||||||||||
| 471 | WalIndexHdr hdr; /* Wal-index header for current transaction */ | - | ||||||||||||||||||
| 472 | u32 minFrame; /* Ignore wal frames before this one */ | - | ||||||||||||||||||
| 473 | u32 iReCksum; /* On commit, recalculate checksums from here */ | - | ||||||||||||||||||
| 474 | const char *zWalName; /* Name of WAL file */ | - | ||||||||||||||||||
| 475 | u32 nCkpt; /* Checkpoint sequence counter in the wal-header */ | - | ||||||||||||||||||
| 476 | #ifdef SQLITE_DEBUG | - | ||||||||||||||||||
| 477 | u8 lockError; /* True if a locking error has occurred */ | - | ||||||||||||||||||
| 478 | #endif | - | ||||||||||||||||||
| 479 | #ifdef SQLITE_ENABLE_SNAPSHOT | - | ||||||||||||||||||
| 480 | WalIndexHdr *pSnapshot; /* Start transaction here if not NULL */ | - | ||||||||||||||||||
| 481 | #endif | - | ||||||||||||||||||
| 482 | }; | - | ||||||||||||||||||
| 483 | - | |||||||||||||||||||
| 484 | /* | - | ||||||||||||||||||
| 485 | ** Candidate values for Wal.exclusiveMode. | - | ||||||||||||||||||
| 486 | */ | - | ||||||||||||||||||
| 487 | #define WAL_NORMAL_MODE 0 | - | ||||||||||||||||||
| 488 | #define WAL_EXCLUSIVE_MODE 1 | - | ||||||||||||||||||
| 489 | #define WAL_HEAPMEMORY_MODE 2 | - | ||||||||||||||||||
| 490 | - | |||||||||||||||||||
| 491 | /* | - | ||||||||||||||||||
| 492 | ** Possible values for WAL.readOnly | - | ||||||||||||||||||
| 493 | */ | - | ||||||||||||||||||
| 494 | #define WAL_RDWR 0 /* Normal read/write connection */ | - | ||||||||||||||||||
| 495 | #define WAL_RDONLY 1 /* The WAL file is readonly */ | - | ||||||||||||||||||
| 496 | #define WAL_SHM_RDONLY 2 /* The SHM file is readonly */ | - | ||||||||||||||||||
| 497 | - | |||||||||||||||||||
| 498 | /* | - | ||||||||||||||||||
| 499 | ** Each page of the wal-index mapping contains a hash-table made up of | - | ||||||||||||||||||
| 500 | ** an array of HASHTABLE_NSLOT elements of the following type. | - | ||||||||||||||||||
| 501 | */ | - | ||||||||||||||||||
| 502 | typedef u16 ht_slot; | - | ||||||||||||||||||
| 503 | - | |||||||||||||||||||
| 504 | /* | - | ||||||||||||||||||
| 505 | ** This structure is used to implement an iterator that loops through | - | ||||||||||||||||||
| 506 | ** all frames in the WAL in database page order. Where two or more frames | - | ||||||||||||||||||
| 507 | ** correspond to the same database page, the iterator visits only the | - | ||||||||||||||||||
| 508 | ** frame most recently written to the WAL (in other words, the frame with | - | ||||||||||||||||||
| 509 | ** the largest index). | - | ||||||||||||||||||
| 510 | ** | - | ||||||||||||||||||
| 511 | ** The internals of this structure are only accessed by: | - | ||||||||||||||||||
| 512 | ** | - | ||||||||||||||||||
| 513 | ** walIteratorInit() - Create a new iterator, | - | ||||||||||||||||||
| 514 | ** walIteratorNext() - Step an iterator, | - | ||||||||||||||||||
| 515 | ** walIteratorFree() - Free an iterator. | - | ||||||||||||||||||
| 516 | ** | - | ||||||||||||||||||
| 517 | ** This functionality is used by the checkpoint code (see walCheckpoint()). | - | ||||||||||||||||||
| 518 | */ | - | ||||||||||||||||||
| 519 | struct WalIterator { | - | ||||||||||||||||||
| 520 | int iPrior; /* Last result returned from the iterator */ | - | ||||||||||||||||||
| 521 | int nSegment; /* Number of entries in aSegment[] */ | - | ||||||||||||||||||
| 522 | struct WalSegment { | - | ||||||||||||||||||
| 523 | int iNext; /* Next slot in aIndex[] not yet returned */ | - | ||||||||||||||||||
| 524 | ht_slot *aIndex; /* i0, i1, i2... such that aPgno[iN] ascend */ | - | ||||||||||||||||||
| 525 | u32 *aPgno; /* Array of page numbers. */ | - | ||||||||||||||||||
| 526 | int nEntry; /* Nr. of entries in aPgno[] and aIndex[] */ | - | ||||||||||||||||||
| 527 | int iZero; /* Frame number associated with aPgno[0] */ | - | ||||||||||||||||||
| 528 | } aSegment[1]; /* One for every 32KB page in the wal-index */ | - | ||||||||||||||||||
| 529 | }; | - | ||||||||||||||||||
| 530 | - | |||||||||||||||||||
| 531 | /* | - | ||||||||||||||||||
| 532 | ** Define the parameters of the hash tables in the wal-index file. There | - | ||||||||||||||||||
| 533 | ** is a hash-table following every HASHTABLE_NPAGE page numbers in the | - | ||||||||||||||||||
| 534 | ** wal-index. | - | ||||||||||||||||||
| 535 | ** | - | ||||||||||||||||||
| 536 | ** Changing any of these constants will alter the wal-index format and | - | ||||||||||||||||||
| 537 | ** create incompatibilities. | - | ||||||||||||||||||
| 538 | */ | - | ||||||||||||||||||
| 539 | #define HASHTABLE_NPAGE 4096 /* Must be power of 2 */ | - | ||||||||||||||||||
| 540 | #define HASHTABLE_HASH_1 383 /* Should be prime */ | - | ||||||||||||||||||
| 541 | #define HASHTABLE_NSLOT (HASHTABLE_NPAGE*2) /* Must be a power of 2 */ | - | ||||||||||||||||||
| 542 | - | |||||||||||||||||||
| 543 | /* | - | ||||||||||||||||||
| 544 | ** The block of page numbers associated with the first hash-table in a | - | ||||||||||||||||||
| 545 | ** wal-index is smaller than usual. This is so that there is a complete | - | ||||||||||||||||||
| 546 | ** hash-table on each aligned 32KB page of the wal-index. | - | ||||||||||||||||||
| 547 | */ | - | ||||||||||||||||||
| 548 | #define HASHTABLE_NPAGE_ONE (HASHTABLE_NPAGE - (WALINDEX_HDR_SIZE/sizeof(u32))) | - | ||||||||||||||||||
| 549 | - | |||||||||||||||||||
| 550 | /* The wal-index is divided into pages of WALINDEX_PGSZ bytes each. */ | - | ||||||||||||||||||
| 551 | #define WALINDEX_PGSZ ( \ | - | ||||||||||||||||||
| 552 | sizeof(ht_slot)*HASHTABLE_NSLOT + HASHTABLE_NPAGE*sizeof(u32) \ | - | ||||||||||||||||||
| 553 | ) | - | ||||||||||||||||||
| 554 | - | |||||||||||||||||||
| 555 | /* | - | ||||||||||||||||||
| 556 | ** Obtain a pointer to the iPage'th page of the wal-index. The wal-index | - | ||||||||||||||||||
| 557 | ** is broken into pages of WALINDEX_PGSZ bytes. Wal-index pages are | - | ||||||||||||||||||
| 558 | ** numbered from zero. | - | ||||||||||||||||||
| 559 | ** | - | ||||||||||||||||||
| 560 | ** If the wal-index is currently smaller the iPage pages then the size | - | ||||||||||||||||||
| 561 | ** of the wal-index might be increased, but only if it is safe to do | - | ||||||||||||||||||
| 562 | ** so. It is safe to enlarge the wal-index if pWal->writeLock is true | - | ||||||||||||||||||
| 563 | ** or pWal->exclusiveMode==WAL_HEAPMEMORY_MODE. | - | ||||||||||||||||||
| 564 | ** | - | ||||||||||||||||||
| 565 | ** If this call is successful, *ppPage is set to point to the wal-index | - | ||||||||||||||||||
| 566 | ** page and SQLITE_OK is returned. If an error (an OOM or VFS error) occurs, | - | ||||||||||||||||||
| 567 | ** then an SQLite error code is returned and *ppPage is set to 0. | - | ||||||||||||||||||
| 568 | */ | - | ||||||||||||||||||
| 569 | static SQLITE_NOINLINE int walIndexPageRealloc( | - | ||||||||||||||||||
| 570 | Wal *pWal, /* The WAL context */ | - | ||||||||||||||||||
| 571 | int iPage, /* The page we seek */ | - | ||||||||||||||||||
| 572 | volatile u32 **ppPage /* Write the page pointer here */ | - | ||||||||||||||||||
| 573 | ){ | - | ||||||||||||||||||
| 574 | int rc = SQLITE_OK; | - | ||||||||||||||||||
| 575 | - | |||||||||||||||||||
| 576 | /* Enlarge the pWal->apWiData[] array if required */ | - | ||||||||||||||||||
| 577 | if( pWal->nWiData<=iPage ){
| 920-1514 | ||||||||||||||||||
| 578 | int nByte = sizeof(u32*)*(iPage+1); | - | ||||||||||||||||||
| 579 | volatile u32 **apNew; | - | ||||||||||||||||||
| 580 | apNew = (volatile u32 **)sqlite3_realloc64((void *)pWal->apWiData, nByte); | - | ||||||||||||||||||
| 581 | if( !apNew ){
| 0-1514 | ||||||||||||||||||
| 582 | *ppPage = 0; | - | ||||||||||||||||||
| 583 | return SQLITE_NOMEM_BKPT; never executed: return 7; | 0 | ||||||||||||||||||
| 584 | } | - | ||||||||||||||||||
| 585 | memset((void*)&apNew[pWal->nWiData], 0, | - | ||||||||||||||||||
| 586 | sizeof(u32*)*(iPage+1-pWal->nWiData)); | - | ||||||||||||||||||
| 587 | pWal->apWiData = apNew; | - | ||||||||||||||||||
| 588 | pWal->nWiData = iPage+1; | - | ||||||||||||||||||
| 589 | } executed 1514 times by 49 tests: end of blockExecuted by:
| 1514 | ||||||||||||||||||
| 590 | - | |||||||||||||||||||
| 591 | /* Request a pointer to the required page from the VFS */ | - | ||||||||||||||||||
| 592 | assert( pWal->apWiData[iPage]==0 ); | - | ||||||||||||||||||
| 593 | if( pWal->exclusiveMode==WAL_HEAPMEMORY_MODE ){
| 34-2400 | ||||||||||||||||||
| 594 | pWal->apWiData[iPage] = (u32 volatile *)sqlite3MallocZero(WALINDEX_PGSZ); | - | ||||||||||||||||||
| 595 | if( !pWal->apWiData[iPage] ) rc = SQLITE_NOMEM_BKPT; never executed: rc = 7;
| 0-34 | ||||||||||||||||||
| 596 | }else{ executed 34 times by 2 tests: end of blockExecuted by:
| 34 | ||||||||||||||||||
| 597 | rc = sqlite3OsShmMap(pWal->pDbFd, iPage, WALINDEX_PGSZ, | - | ||||||||||||||||||
| 598 | pWal->writeLock, (void volatile **)&pWal->apWiData[iPage] | - | ||||||||||||||||||
| 599 | ); | - | ||||||||||||||||||
| 600 | assert( pWal->apWiData[iPage]!=0 || rc!=SQLITE_OK || pWal->writeLock==0 ); | - | ||||||||||||||||||
| 601 | testcase( pWal->apWiData[iPage]==0 && rc==SQLITE_OK ); | - | ||||||||||||||||||
| 602 | if( (rc&0xff)==SQLITE_READONLY ){
| 32-2368 | ||||||||||||||||||
| 603 | pWal->readOnly |= WAL_SHM_RDONLY; | - | ||||||||||||||||||
| 604 | if( rc==SQLITE_READONLY ){
| 10-22 | ||||||||||||||||||
| 605 | rc = SQLITE_OK; | - | ||||||||||||||||||
| 606 | } executed 10 times by 3 tests: end of blockExecuted by:
| 10 | ||||||||||||||||||
| 607 | } executed 32 times by 3 tests: end of blockExecuted by:
| 32 | ||||||||||||||||||
| 608 | } executed 2400 times by 49 tests: end of blockExecuted by:
| 2400 | ||||||||||||||||||
| 609 | - | |||||||||||||||||||
| 610 | *ppPage = pWal->apWiData[iPage]; | - | ||||||||||||||||||
| 611 | assert( iPage==0 || *ppPage || rc!=SQLITE_OK ); | - | ||||||||||||||||||
| 612 | return rc; executed 2434 times by 49 tests: return rc;Executed by:
| 2434 | ||||||||||||||||||
| 613 | } | - | ||||||||||||||||||
| 614 | static int walIndexPage( | - | ||||||||||||||||||
| 615 | Wal *pWal, /* The WAL context */ | - | ||||||||||||||||||
| 616 | int iPage, /* The page we seek */ | - | ||||||||||||||||||
| 617 | volatile u32 **ppPage /* Write the page pointer here */ | - | ||||||||||||||||||
| 618 | ){ | - | ||||||||||||||||||
| 619 | if( pWal->nWiData<=iPage || (*ppPage = pWal->apWiData[iPage])==0 ){
| 920-3607105 | ||||||||||||||||||
| 620 | return walIndexPageRealloc(pWal, iPage, ppPage); executed 2434 times by 49 tests: return walIndexPageRealloc(pWal, iPage, ppPage);Executed by:
| 2434 | ||||||||||||||||||
| 621 | } | - | ||||||||||||||||||
| 622 | return SQLITE_OK; executed 3606185 times by 49 tests: return 0;Executed by:
| 3606185 | ||||||||||||||||||
| 623 | } | - | ||||||||||||||||||
| 624 | - | |||||||||||||||||||
| 625 | /* | - | ||||||||||||||||||
| 626 | ** Return a pointer to the WalCkptInfo structure in the wal-index. | - | ||||||||||||||||||
| 627 | */ | - | ||||||||||||||||||
| 628 | static volatile WalCkptInfo *walCkptInfo(Wal *pWal){ | - | ||||||||||||||||||
| 629 | assert( pWal->nWiData>0 && pWal->apWiData[0] ); | - | ||||||||||||||||||
| 630 | return (volatile WalCkptInfo*)&(pWal->apWiData[0][sizeof(WalIndexHdr)/2]); executed 85059 times by 49 tests: return (volatile WalCkptInfo*)&(pWal->apWiData[0][sizeof(WalIndexHdr)/2]);Executed by:
| 85059 | ||||||||||||||||||
| 631 | } | - | ||||||||||||||||||
| 632 | - | |||||||||||||||||||
| 633 | /* | - | ||||||||||||||||||
| 634 | ** Return a pointer to the WalIndexHdr structure in the wal-index. | - | ||||||||||||||||||
| 635 | */ | - | ||||||||||||||||||
| 636 | static volatile WalIndexHdr *walIndexHdr(Wal *pWal){ | - | ||||||||||||||||||
| 637 | assert( pWal->nWiData>0 && pWal->apWiData[0] ); | - | ||||||||||||||||||
| 638 | return (volatile WalIndexHdr*)pWal->apWiData[0]; executed 403297 times by 49 tests: return (volatile WalIndexHdr*)pWal->apWiData[0];Executed by:
| 403297 | ||||||||||||||||||
| 639 | } | - | ||||||||||||||||||
| 640 | - | |||||||||||||||||||
| 641 | /* | - | ||||||||||||||||||
| 642 | ** The argument to this macro must be of type u32. On a little-endian | - | ||||||||||||||||||
| 643 | ** architecture, it returns the u32 value that results from interpreting | - | ||||||||||||||||||
| 644 | ** the 4 bytes as a big-endian value. On a big-endian architecture, it | - | ||||||||||||||||||
| 645 | ** returns the value that would be produced by interpreting the 4 bytes | - | ||||||||||||||||||
| 646 | ** of the input value as a little-endian integer. | - | ||||||||||||||||||
| 647 | */ | - | ||||||||||||||||||
| 648 | #define BYTESWAP32(x) ( \ | - | ||||||||||||||||||
| 649 | (((x)&0x000000FF)<<24) + (((x)&0x0000FF00)<<8) \ | - | ||||||||||||||||||
| 650 | + (((x)&0x00FF0000)>>8) + (((x)&0xFF000000)>>24) \ | - | ||||||||||||||||||
| 651 | ) | - | ||||||||||||||||||
| 652 | - | |||||||||||||||||||
| 653 | /* | - | ||||||||||||||||||
| 654 | ** Generate or extend an 8 byte checksum based on the data in | - | ||||||||||||||||||
| 655 | ** array aByte[] and the initial values of aIn[0] and aIn[1] (or | - | ||||||||||||||||||
| 656 | ** initial values of 0 and 0 if aIn==NULL). | - | ||||||||||||||||||
| 657 | ** | - | ||||||||||||||||||
| 658 | ** The checksum is written back into aOut[] before returning. | - | ||||||||||||||||||
| 659 | ** | - | ||||||||||||||||||
| 660 | ** nByte must be a positive multiple of 8. | - | ||||||||||||||||||
| 661 | */ | - | ||||||||||||||||||
| 662 | static void walChecksumBytes( | - | ||||||||||||||||||
| 663 | int nativeCksum, /* True for native byte-order, false for non-native */ | - | ||||||||||||||||||
| 664 | u8 *a, /* Content to be checksummed */ | - | ||||||||||||||||||
| 665 | int nByte, /* Bytes of content in a[]. Must be a multiple of 8. */ | - | ||||||||||||||||||
| 666 | const u32 *aIn, /* Initial checksum value input */ | - | ||||||||||||||||||
| 667 | u32 *aOut /* OUT: Final checksum value output */ | - | ||||||||||||||||||
| 668 | ){ | - | ||||||||||||||||||
| 669 | u32 s1, s2; | - | ||||||||||||||||||
| 670 | u32 *aData = (u32 *)a; | - | ||||||||||||||||||
| 671 | u32 *aEnd = (u32 *)&a[nByte]; | - | ||||||||||||||||||
| 672 | - | |||||||||||||||||||
| 673 | if( aIn ){
| 130607-876618 | ||||||||||||||||||
| 674 | s1 = aIn[0]; | - | ||||||||||||||||||
| 675 | s2 = aIn[1]; | - | ||||||||||||||||||
| 676 | }else{ executed 876618 times by 26 tests: end of blockExecuted by:
| 876618 | ||||||||||||||||||
| 677 | s1 = s2 = 0; | - | ||||||||||||||||||
| 678 | } executed 130607 times by 49 tests: end of blockExecuted by:
| 130607 | ||||||||||||||||||
| 679 | - | |||||||||||||||||||
| 680 | assert( nByte>=8 ); | - | ||||||||||||||||||
| 681 | assert( (nByte&0x00000007)==0 ); | - | ||||||||||||||||||
| 682 | - | |||||||||||||||||||
| 683 | if( nativeCksum ){
| 42-1007183 | ||||||||||||||||||
| 684 | do { | - | ||||||||||||||||||
| 685 | s1 += *aData++ + s2; | - | ||||||||||||||||||
| 686 | s2 += *aData++ + s1; | - | ||||||||||||||||||
| 687 | }while( aData<aEnd ); executed 57119004 times by 49 tests: end of blockExecuted by:
| 1007183-57119004 | ||||||||||||||||||
| 688 | }else{ executed 1007183 times by 49 tests: end of blockExecuted by:
| 1007183 | ||||||||||||||||||
| 689 | do { | - | ||||||||||||||||||
| 690 | s1 += BYTESWAP32(aData[0]) + s2; | - | ||||||||||||||||||
| 691 | s2 += BYTESWAP32(aData[1]) + s1; | - | ||||||||||||||||||
| 692 | aData += 2; | - | ||||||||||||||||||
| 693 | }while( aData<aEnd ); executed 2586 times by 1 test: end of blockExecuted by:
| 42-2586 | ||||||||||||||||||
| 694 | } executed 42 times by 1 test: end of blockExecuted by:
| 42 | ||||||||||||||||||
| 695 | - | |||||||||||||||||||
| 696 | aOut[0] = s1; | - | ||||||||||||||||||
| 697 | aOut[1] = s2; | - | ||||||||||||||||||
| 698 | } executed 1007225 times by 49 tests: end of blockExecuted by:
| 1007225 | ||||||||||||||||||
| 699 | - | |||||||||||||||||||
| 700 | static void walShmBarrier(Wal *pWal){ | - | ||||||||||||||||||
| 701 | if( pWal->exclusiveMode!=WAL_HEAPMEMORY_MODE ){
| 146-189453 | ||||||||||||||||||
| 702 | sqlite3OsShmBarrier(pWal->pDbFd); | - | ||||||||||||||||||
| 703 | } executed 189453 times by 49 tests: end of blockExecuted by:
| 189453 | ||||||||||||||||||
| 704 | } executed 189599 times by 49 tests: end of blockExecuted by:
| 189599 | ||||||||||||||||||
| 705 | - | |||||||||||||||||||
| 706 | /* | - | ||||||||||||||||||
| 707 | ** Write the header information in pWal->hdr into the wal-index. | - | ||||||||||||||||||
| 708 | ** | - | ||||||||||||||||||
| 709 | ** The checksum on pWal->hdr is updated before it is written. | - | ||||||||||||||||||
| 710 | */ | - | ||||||||||||||||||
| 711 | static void walIndexWriteHdr(Wal *pWal){ | - | ||||||||||||||||||
| 712 | volatile WalIndexHdr *aHdr = walIndexHdr(pWal); | - | ||||||||||||||||||
| 713 | const int nCksum = offsetof(WalIndexHdr, aCksum); | - | ||||||||||||||||||
| 714 | - | |||||||||||||||||||
| 715 | assert( pWal->writeLock ); | - | ||||||||||||||||||
| 716 | pWal->hdr.isInit = 1; | - | ||||||||||||||||||
| 717 | pWal->hdr.iVersion = WALINDEX_MAX_VERSION; | - | ||||||||||||||||||
| 718 | walChecksumBytes(1, (u8*)&pWal->hdr, nCksum, 0, pWal->hdr.aCksum); | - | ||||||||||||||||||
| 719 | memcpy((void*)&aHdr[1], (const void*)&pWal->hdr, sizeof(WalIndexHdr)); | - | ||||||||||||||||||
| 720 | walShmBarrier(pWal); | - | ||||||||||||||||||
| 721 | memcpy((void*)&aHdr[0], (const void*)&pWal->hdr, sizeof(WalIndexHdr)); | - | ||||||||||||||||||
| 722 | } executed 60765 times by 29 tests: end of blockExecuted by:
| 60765 | ||||||||||||||||||
| 723 | - | |||||||||||||||||||
| 724 | /* | - | ||||||||||||||||||
| 725 | ** This function encodes a single frame header and writes it to a buffer | - | ||||||||||||||||||
| 726 | ** supplied by the caller. A frame-header is made up of a series of | - | ||||||||||||||||||
| 727 | ** 4-byte big-endian integers, as follows: | - | ||||||||||||||||||
| 728 | ** | - | ||||||||||||||||||
| 729 | ** 0: Page number. | - | ||||||||||||||||||
| 730 | ** 4: For commit records, the size of the database image in pages | - | ||||||||||||||||||
| 731 | ** after the commit. For all other records, zero. | - | ||||||||||||||||||
| 732 | ** 8: Salt-1 (copied from the wal-header) | - | ||||||||||||||||||
| 733 | ** 12: Salt-2 (copied from the wal-header) | - | ||||||||||||||||||
| 734 | ** 16: Checksum-1. | - | ||||||||||||||||||
| 735 | ** 20: Checksum-2. | - | ||||||||||||||||||
| 736 | */ | - | ||||||||||||||||||
| 737 | static void walEncodeFrame( | - | ||||||||||||||||||
| 738 | Wal *pWal, /* The write-ahead log */ | - | ||||||||||||||||||
| 739 | u32 iPage, /* Database page number for frame */ | - | ||||||||||||||||||
| 740 | u32 nTruncate, /* New db size (or 0 for non-commit frames) */ | - | ||||||||||||||||||
| 741 | u8 *aData, /* Pointer to page data */ | - | ||||||||||||||||||
| 742 | u8 *aFrame /* OUT: Write encoded frame here */ | - | ||||||||||||||||||
| 743 | ){ | - | ||||||||||||||||||
| 744 | int nativeCksum; /* True for native byte-order checksums */ | - | ||||||||||||||||||
| 745 | u32 *aCksum = pWal->hdr.aFrameCksum; | - | ||||||||||||||||||
| 746 | assert( WAL_FRAME_HDRSIZE==24 ); | - | ||||||||||||||||||
| 747 | sqlite3Put4byte(&aFrame[0], iPage); | - | ||||||||||||||||||
| 748 | sqlite3Put4byte(&aFrame[4], nTruncate); | - | ||||||||||||||||||
| 749 | if( pWal->iReCksum==0 ){
| 11917-194920 | ||||||||||||||||||
| 750 | memcpy(&aFrame[8], pWal->hdr.aSalt, 8); | - | ||||||||||||||||||
| 751 | - | |||||||||||||||||||
| 752 | nativeCksum = (pWal->hdr.bigEndCksum==SQLITE_BIGENDIAN); | - | ||||||||||||||||||
| 753 | walChecksumBytes(nativeCksum, aFrame, 8, aCksum, aCksum); | - | ||||||||||||||||||
| 754 | walChecksumBytes(nativeCksum, aData, pWal->szPage, aCksum, aCksum); | - | ||||||||||||||||||
| 755 | - | |||||||||||||||||||
| 756 | sqlite3Put4byte(&aFrame[16], aCksum[0]); | - | ||||||||||||||||||
| 757 | sqlite3Put4byte(&aFrame[20], aCksum[1]); | - | ||||||||||||||||||
| 758 | }else{ executed 194920 times by 26 tests: end of blockExecuted by:
| 194920 | ||||||||||||||||||
| 759 | memset(&aFrame[8], 0, 16); | - | ||||||||||||||||||
| 760 | } executed 11917 times by 1 test: end of blockExecuted by:
| 11917 | ||||||||||||||||||
| 761 | } | - | ||||||||||||||||||
| 762 | - | |||||||||||||||||||
| 763 | /* | - | ||||||||||||||||||
| 764 | ** Check to see if the frame with header in aFrame[] and content | - | ||||||||||||||||||
| 765 | ** in aData[] is valid. If it is a valid frame, fill *piPage and | - | ||||||||||||||||||
| 766 | ** *pnTruncate and return true. Return if the frame is not valid. | - | ||||||||||||||||||
| 767 | */ | - | ||||||||||||||||||
| 768 | static int walDecodeFrame( | - | ||||||||||||||||||
| 769 | Wal *pWal, /* The write-ahead log */ | - | ||||||||||||||||||
| 770 | u32 *piPage, /* OUT: Database page number for frame */ | - | ||||||||||||||||||
| 771 | u32 *pnTruncate, /* OUT: New db size (or 0 if not commit) */ | - | ||||||||||||||||||
| 772 | u8 *aData, /* Pointer to page data (for checksum) */ | - | ||||||||||||||||||
| 773 | u8 *aFrame /* Frame data */ | - | ||||||||||||||||||
| 774 | ){ | - | ||||||||||||||||||
| 775 | int nativeCksum; /* True for native byte-order checksums */ | - | ||||||||||||||||||
| 776 | u32 *aCksum = pWal->hdr.aFrameCksum; | - | ||||||||||||||||||
| 777 | u32 pgno; /* Page number of the frame */ | - | ||||||||||||||||||
| 778 | assert( WAL_FRAME_HDRSIZE==24 ); | - | ||||||||||||||||||
| 779 | - | |||||||||||||||||||
| 780 | /* A frame is only valid if the salt values in the frame-header | - | ||||||||||||||||||
| 781 | ** match the salt values in the wal-header. | - | ||||||||||||||||||
| 782 | */ | - | ||||||||||||||||||
| 783 | if( memcmp(&pWal->hdr.aSalt, &aFrame[8], 8)!=0 ){
| 29-243389 | ||||||||||||||||||
| 784 | return 0; executed 29 times by 2 tests: return 0;Executed by:
| 29 | ||||||||||||||||||
| 785 | } | - | ||||||||||||||||||
| 786 | - | |||||||||||||||||||
| 787 | /* A frame is only valid if the page number is creater than zero. | - | ||||||||||||||||||
| 788 | */ | - | ||||||||||||||||||
| 789 | pgno = sqlite3Get4byte(&aFrame[0]); | - | ||||||||||||||||||
| 790 | if( pgno==0 ){
| 0-243389 | ||||||||||||||||||
| 791 | return 0; never executed: return 0; | 0 | ||||||||||||||||||
| 792 | } | - | ||||||||||||||||||
| 793 | - | |||||||||||||||||||
| 794 | /* A frame is only valid if a checksum of the WAL header, | - | ||||||||||||||||||
| 795 | ** all prior frams, the first 16 bytes of this frame-header, | - | ||||||||||||||||||
| 796 | ** and the frame-data matches the checksum in the last 8 | - | ||||||||||||||||||
| 797 | ** bytes of this frame-header. | - | ||||||||||||||||||
| 798 | */ | - | ||||||||||||||||||
| 799 | nativeCksum = (pWal->hdr.bigEndCksum==SQLITE_BIGENDIAN); | - | ||||||||||||||||||
| 800 | walChecksumBytes(nativeCksum, aFrame, 8, aCksum, aCksum); | - | ||||||||||||||||||
| 801 | walChecksumBytes(nativeCksum, aData, pWal->szPage, aCksum, aCksum); | - | ||||||||||||||||||
| 802 | if( aCksum[0]!=sqlite3Get4byte(&aFrame[16])
| 59-243330 | ||||||||||||||||||
| 803 | || aCksum[1]!=sqlite3Get4byte(&aFrame[20])
| 0-243330 | ||||||||||||||||||
| 804 | ){ | - | ||||||||||||||||||
| 805 | /* Checksum failed. */ | - | ||||||||||||||||||
| 806 | return 0; executed 59 times by 2 tests: return 0;Executed by:
| 59 | ||||||||||||||||||
| 807 | } | - | ||||||||||||||||||
| 808 | - | |||||||||||||||||||
| 809 | /* If we reach this point, the frame is valid. Return the page number | - | ||||||||||||||||||
| 810 | ** and the new database size. | - | ||||||||||||||||||
| 811 | */ | - | ||||||||||||||||||
| 812 | *piPage = pgno; | - | ||||||||||||||||||
| 813 | *pnTruncate = sqlite3Get4byte(&aFrame[4]); | - | ||||||||||||||||||
| 814 | return 1; executed 243330 times by 5 tests: return 1;Executed by:
| 243330 | ||||||||||||||||||
| 815 | } | - | ||||||||||||||||||
| 816 | - | |||||||||||||||||||
| 817 | - | |||||||||||||||||||
| 818 | #if defined(SQLITE_TEST) && defined(SQLITE_DEBUG) | - | ||||||||||||||||||
| 819 | /* | - | ||||||||||||||||||
| 820 | ** Names of locks. This routine is used to provide debugging output and is not | - | ||||||||||||||||||
| 821 | ** a part of an ordinary build. | - | ||||||||||||||||||
| 822 | */ | - | ||||||||||||||||||
| 823 | static const char *walLockName(int lockIdx){ | - | ||||||||||||||||||
| 824 | if( lockIdx==WAL_WRITE_LOCK ){ | - | ||||||||||||||||||
| 825 | return "WRITE-LOCK"; | - | ||||||||||||||||||
| 826 | }else if( lockIdx==WAL_CKPT_LOCK ){ | - | ||||||||||||||||||
| 827 | return "CKPT-LOCK"; | - | ||||||||||||||||||
| 828 | }else if( lockIdx==WAL_RECOVER_LOCK ){ | - | ||||||||||||||||||
| 829 | return "RECOVER-LOCK"; | - | ||||||||||||||||||
| 830 | }else{ | - | ||||||||||||||||||
| 831 | static char zName[15]; | - | ||||||||||||||||||
| 832 | sqlite3_snprintf(sizeof(zName), zName, "READ-LOCK[%d]", | - | ||||||||||||||||||
| 833 | lockIdx-WAL_READ_LOCK(0)); | - | ||||||||||||||||||
| 834 | return zName; | - | ||||||||||||||||||
| 835 | } | - | ||||||||||||||||||
| 836 | } | - | ||||||||||||||||||
| 837 | #endif /*defined(SQLITE_TEST) || defined(SQLITE_DEBUG) */ | - | ||||||||||||||||||
| 838 | - | |||||||||||||||||||
| 839 | - | |||||||||||||||||||
| 840 | /* | - | ||||||||||||||||||
| 841 | ** Set or release locks on the WAL. Locks are either shared or exclusive. | - | ||||||||||||||||||
| 842 | ** A lock cannot be moved directly between shared and exclusive - it must go | - | ||||||||||||||||||
| 843 | ** through the unlocked state first. | - | ||||||||||||||||||
| 844 | ** | - | ||||||||||||||||||
| 845 | ** In locking_mode=EXCLUSIVE, all of these routines become no-ops. | - | ||||||||||||||||||
| 846 | */ | - | ||||||||||||||||||
| 847 | static int walLockShared(Wal *pWal, int lockIdx){ | - | ||||||||||||||||||
| 848 | int rc; | - | ||||||||||||||||||
| 849 | if( pWal->exclusiveMode ) return SQLITE_OK; executed 52 times by 1 test: return 0;Executed by:
| 52-63102 | ||||||||||||||||||
| 850 | rc = sqlite3OsShmLock(pWal->pDbFd, lockIdx, 1, | - | ||||||||||||||||||
| 851 | SQLITE_SHM_LOCK | SQLITE_SHM_SHARED); | - | ||||||||||||||||||
| 852 | WALTRACE(("WAL%p: acquire SHARED-%s %s\n", pWal, | - | ||||||||||||||||||
| 853 | walLockName(lockIdx), rc ? "failed" : "ok")); | - | ||||||||||||||||||
| 854 | VVA_ONLY( pWal->lockError = (u8)(rc!=SQLITE_OK && rc!=SQLITE_BUSY); ) | - | ||||||||||||||||||
| 855 | return rc; executed 63102 times by 49 tests: return rc;Executed by:
| 63102 | ||||||||||||||||||
| 856 | } | - | ||||||||||||||||||
| 857 | static void walUnlockShared(Wal *pWal, int lockIdx){ | - | ||||||||||||||||||
| 858 | if( pWal->exclusiveMode ) return; executed 54 times by 1 test: return;Executed by:
| 54-63082 | ||||||||||||||||||
| 859 | (void)sqlite3OsShmLock(pWal->pDbFd, lockIdx, 1, | - | ||||||||||||||||||
| 860 | SQLITE_SHM_UNLOCK | SQLITE_SHM_SHARED); | - | ||||||||||||||||||
| 861 | WALTRACE(("WAL%p: release SHARED-%s\n", pWal, walLockName(lockIdx))); | - | ||||||||||||||||||
| 862 | } executed 63082 times by 49 tests: end of blockExecuted by:
| 63082 | ||||||||||||||||||
| 863 | static int walLockExclusive(Wal *pWal, int lockIdx, int n){ | - | ||||||||||||||||||
| 864 | int rc; | - | ||||||||||||||||||
| 865 | if( pWal->exclusiveMode ) return SQLITE_OK; executed 1724 times by 10 tests: return 0;Executed by:
| 1724-134790 | ||||||||||||||||||
| 866 | rc = sqlite3OsShmLock(pWal->pDbFd, lockIdx, n, | - | ||||||||||||||||||
| 867 | SQLITE_SHM_LOCK | SQLITE_SHM_EXCLUSIVE); | - | ||||||||||||||||||
| 868 | WALTRACE(("WAL%p: acquire EXCLUSIVE-%s cnt=%d %s\n", pWal, | - | ||||||||||||||||||
| 869 | walLockName(lockIdx), n, rc ? "failed" : "ok")); | - | ||||||||||||||||||
| 870 | VVA_ONLY( pWal->lockError = (u8)(rc!=SQLITE_OK && rc!=SQLITE_BUSY); ) | - | ||||||||||||||||||
| 871 | return rc; executed 134790 times by 46 tests: return rc;Executed by:
| 134790 | ||||||||||||||||||
| 872 | } | - | ||||||||||||||||||
| 873 | static void walUnlockExclusive(Wal *pWal, int lockIdx, int n){ | - | ||||||||||||||||||
| 874 | if( pWal->exclusiveMode ) return; executed 1724 times by 10 tests: return;Executed by:
| 1724-129675 | ||||||||||||||||||
| 875 | (void)sqlite3OsShmLock(pWal->pDbFd, lockIdx, n, | - | ||||||||||||||||||
| 876 | SQLITE_SHM_UNLOCK | SQLITE_SHM_EXCLUSIVE); | - | ||||||||||||||||||
| 877 | WALTRACE(("WAL%p: release EXCLUSIVE-%s cnt=%d\n", pWal, | - | ||||||||||||||||||
| 878 | walLockName(lockIdx), n)); | - | ||||||||||||||||||
| 879 | } executed 129675 times by 46 tests: end of blockExecuted by:
| 129675 | ||||||||||||||||||
| 880 | - | |||||||||||||||||||
| 881 | /* | - | ||||||||||||||||||
| 882 | ** Compute a hash on a page number. The resulting hash value must land | - | ||||||||||||||||||
| 883 | ** between 0 and (HASHTABLE_NSLOT-1). The walHashNext() function advances | - | ||||||||||||||||||
| 884 | ** the hash to the next value in the event of a collision. | - | ||||||||||||||||||
| 885 | */ | - | ||||||||||||||||||
| 886 | static int walHash(u32 iPage){ | - | ||||||||||||||||||
| 887 | assert( iPage>0 ); | - | ||||||||||||||||||
| 888 | assert( (HASHTABLE_NSLOT & (HASHTABLE_NSLOT-1))==0 ); | - | ||||||||||||||||||
| 889 | return (iPage*HASHTABLE_HASH_1) & (HASHTABLE_NSLOT-1); executed 3536740 times by 48 tests: return (iPage*383) & ((4096*2)-1);Executed by:
| 3536740 | ||||||||||||||||||
| 890 | } | - | ||||||||||||||||||
| 891 | static int walNextHash(int iPriorHash){ | - | ||||||||||||||||||
| 892 | return (iPriorHash+1)&(HASHTABLE_NSLOT-1); executed 15557106 times by 45 tests: return (iPriorHash+1)&((4096*2)-1);Executed by:
| 15557106 | ||||||||||||||||||
| 893 | } | - | ||||||||||||||||||
| 894 | - | |||||||||||||||||||
| 895 | /* | - | ||||||||||||||||||
| 896 | ** An instance of the WalHashLoc object is used to describe the location | - | ||||||||||||||||||
| 897 | ** of a page hash table in the wal-index. This becomes the return value | - | ||||||||||||||||||
| 898 | ** from walHashGet(). | - | ||||||||||||||||||
| 899 | */ | - | ||||||||||||||||||
| 900 | typedef struct WalHashLoc WalHashLoc; | - | ||||||||||||||||||
| 901 | struct WalHashLoc { | - | ||||||||||||||||||
| 902 | volatile ht_slot *aHash; /* Start of the wal-index hash table */ | - | ||||||||||||||||||
| 903 | volatile u32 *aPgno; /* aPgno[1] is the page of first frame indexed */ | - | ||||||||||||||||||
| 904 | u32 iZero; /* One less than the frame number of first indexed*/ | - | ||||||||||||||||||
| 905 | }; | - | ||||||||||||||||||
| 906 | - | |||||||||||||||||||
| 907 | /* | - | ||||||||||||||||||
| 908 | ** Return pointers to the hash table and page number array stored on | - | ||||||||||||||||||
| 909 | ** page iHash of the wal-index. The wal-index is broken into 32KB pages | - | ||||||||||||||||||
| 910 | ** numbered starting from 0. | - | ||||||||||||||||||
| 911 | ** | - | ||||||||||||||||||
| 912 | ** Set output variable pLoc->aHash to point to the start of the hash table | - | ||||||||||||||||||
| 913 | ** in the wal-index file. Set pLoc->iZero to one less than the frame | - | ||||||||||||||||||
| 914 | ** number of the first frame indexed by this hash table. If a | - | ||||||||||||||||||
| 915 | ** slot in the hash table is set to N, it refers to frame number | - | ||||||||||||||||||
| 916 | ** (pLoc->iZero+N) in the log. | - | ||||||||||||||||||
| 917 | ** | - | ||||||||||||||||||
| 918 | ** Finally, set pLoc->aPgno so that pLoc->aPgno[1] is the page number of the | - | ||||||||||||||||||
| 919 | ** first frame indexed by the hash table, frame (pLoc->iZero+1). | - | ||||||||||||||||||
| 920 | */ | - | ||||||||||||||||||
| 921 | static int walHashGet( | - | ||||||||||||||||||
| 922 | Wal *pWal, /* WAL handle */ | - | ||||||||||||||||||
| 923 | int iHash, /* Find the iHash'th table */ | - | ||||||||||||||||||
| 924 | WalHashLoc *pLoc /* OUT: Hash table location */ | - | ||||||||||||||||||
| 925 | ){ | - | ||||||||||||||||||
| 926 | int rc; /* Return code */ | - | ||||||||||||||||||
| 927 | - | |||||||||||||||||||
| 928 | rc = walIndexPage(pWal, iHash, &pLoc->aPgno); | - | ||||||||||||||||||
| 929 | assert( rc==SQLITE_OK || iHash>0 ); | - | ||||||||||||||||||
| 930 | - | |||||||||||||||||||
| 931 | if( rc==SQLITE_OK ){
| 0-3541959 | ||||||||||||||||||
| 932 | pLoc->aHash = (volatile ht_slot *)&pLoc->aPgno[HASHTABLE_NPAGE]; | - | ||||||||||||||||||
| 933 | if( iHash==0 ){
| 1701921-1840038 | ||||||||||||||||||
| 934 | pLoc->aPgno = &pLoc->aPgno[WALINDEX_HDR_SIZE/sizeof(u32)]; | - | ||||||||||||||||||
| 935 | pLoc->iZero = 0; | - | ||||||||||||||||||
| 936 | }else{ executed 1840038 times by 48 tests: end of blockExecuted by:
| 1840038 | ||||||||||||||||||
| 937 | pLoc->iZero = HASHTABLE_NPAGE_ONE + (iHash-1)*HASHTABLE_NPAGE; | - | ||||||||||||||||||
| 938 | } executed 1701921 times by 3 tests: end of blockExecuted by:
| 1701921 | ||||||||||||||||||
| 939 | pLoc->aPgno = &pLoc->aPgno[-1]; | - | ||||||||||||||||||
| 940 | } executed 3541959 times by 48 tests: end of blockExecuted by:
| 3541959 | ||||||||||||||||||
| 941 | return rc; executed 3541959 times by 48 tests: return rc;Executed by:
| 3541959 | ||||||||||||||||||
| 942 | } | - | ||||||||||||||||||
| 943 | - | |||||||||||||||||||
| 944 | /* | - | ||||||||||||||||||
| 945 | ** Return the number of the wal-index page that contains the hash-table | - | ||||||||||||||||||
| 946 | ** and page-number array that contain entries corresponding to WAL frame | - | ||||||||||||||||||
| 947 | ** iFrame. The wal-index is broken up into 32KB pages. Wal-index pages | - | ||||||||||||||||||
| 948 | ** are numbered starting from 0. | - | ||||||||||||||||||
| 949 | */ | - | ||||||||||||||||||
| 950 | static int walFramePage(u32 iFrame){ | - | ||||||||||||||||||
| 951 | int iHash = (iFrame+HASHTABLE_NPAGE-HASHTABLE_NPAGE_ONE-1) / HASHTABLE_NPAGE; | - | ||||||||||||||||||
| 952 | assert( (iHash==0 || iFrame>HASHTABLE_NPAGE_ONE) | - | ||||||||||||||||||
| 953 | && (iHash>=1 || iFrame<=HASHTABLE_NPAGE_ONE) | - | ||||||||||||||||||
| 954 | && (iHash<=1 || iFrame>(HASHTABLE_NPAGE_ONE+HASHTABLE_NPAGE)) | - | ||||||||||||||||||
| 955 | && (iHash>=2 || iFrame<=HASHTABLE_NPAGE_ONE+HASHTABLE_NPAGE) | - | ||||||||||||||||||
| 956 | && (iHash<=2 || iFrame>(HASHTABLE_NPAGE_ONE+2*HASHTABLE_NPAGE)) | - | ||||||||||||||||||
| 957 | ); | - | ||||||||||||||||||
| 958 | return iHash; executed 3715446 times by 48 tests: return iHash;Executed by:
| 3715446 | ||||||||||||||||||
| 959 | } | - | ||||||||||||||||||
| 960 | - | |||||||||||||||||||
| 961 | /* | - | ||||||||||||||||||
| 962 | ** Return the page number associated with frame iFrame in this WAL. | - | ||||||||||||||||||
| 963 | */ | - | ||||||||||||||||||
| 964 | static u32 walFramePgno(Wal *pWal, u32 iFrame){ | - | ||||||||||||||||||
| 965 | int iHash = walFramePage(iFrame); | - | ||||||||||||||||||
| 966 | if( iHash==0 ){
| 1971-4738 | ||||||||||||||||||
| 967 | return pWal->apWiData[0][WALINDEX_HDR_SIZE/sizeof(u32) + iFrame - 1]; executed 1971 times by 1 test: return pWal->apWiData[0][(sizeof(WalIndexHdr)*2+sizeof(WalCkptInfo))/sizeof(u32) + iFrame - 1];Executed by:
| 1971 | ||||||||||||||||||
| 968 | } | - | ||||||||||||||||||
| 969 | return pWal->apWiData[iHash][(iFrame-1-HASHTABLE_NPAGE_ONE)%HASHTABLE_NPAGE]; executed 4738 times by 1 test: return pWal->apWiData[iHash][(iFrame-1-(4096 - ((sizeof(WalIndexHdr)*2+sizeof(WalCkptInfo))/sizeof(u32))))%4096];Executed by:
| 4738 | ||||||||||||||||||
| 970 | } | - | ||||||||||||||||||
| 971 | - | |||||||||||||||||||
| 972 | /* | - | ||||||||||||||||||
| 973 | ** Remove entries from the hash table that point to WAL slots greater | - | ||||||||||||||||||
| 974 | ** than pWal->hdr.mxFrame. | - | ||||||||||||||||||
| 975 | ** | - | ||||||||||||||||||
| 976 | ** This function is called whenever pWal->hdr.mxFrame is decreased due | - | ||||||||||||||||||
| 977 | ** to a rollback or savepoint. | - | ||||||||||||||||||
| 978 | ** | - | ||||||||||||||||||
| 979 | ** At most only the hash table containing pWal->hdr.mxFrame needs to be | - | ||||||||||||||||||
| 980 | ** updated. Any later hash tables will be automatically cleared when | - | ||||||||||||||||||
| 981 | ** pWal->hdr.mxFrame advances to the point where those hash tables are | - | ||||||||||||||||||
| 982 | ** actually needed. | - | ||||||||||||||||||
| 983 | */ | - | ||||||||||||||||||
| 984 | static void walCleanupHash(Wal *pWal){ | - | ||||||||||||||||||
| 985 | WalHashLoc sLoc; /* Hash table location */ | - | ||||||||||||||||||
| 986 | int iLimit = 0; /* Zero values greater than this */ | - | ||||||||||||||||||
| 987 | int nByte; /* Number of bytes to zero in aPgno[] */ | - | ||||||||||||||||||
| 988 | int i; /* Used to iterate through aHash[] */ | - | ||||||||||||||||||
| 989 | - | |||||||||||||||||||
| 990 | assert( pWal->writeLock ); | - | ||||||||||||||||||
| 991 | testcase( pWal->hdr.mxFrame==HASHTABLE_NPAGE_ONE-1 ); | - | ||||||||||||||||||
| 992 | testcase( pWal->hdr.mxFrame==HASHTABLE_NPAGE_ONE ); | - | ||||||||||||||||||
| 993 | testcase( pWal->hdr.mxFrame==HASHTABLE_NPAGE_ONE+1 ); | - | ||||||||||||||||||
| 994 | - | |||||||||||||||||||
| 995 | if( pWal->hdr.mxFrame==0 ) return; executed 3 times by 1 test: return;Executed by:
| 3-80 | ||||||||||||||||||
| 996 | - | |||||||||||||||||||
| 997 | /* Obtain pointers to the hash-table and page-number array containing | - | ||||||||||||||||||
| 998 | ** the entry that corresponds to frame pWal->hdr.mxFrame. It is guaranteed | - | ||||||||||||||||||
| 999 | ** that the page said hash-table and array reside on is already mapped. | - | ||||||||||||||||||
| 1000 | */ | - | ||||||||||||||||||
| 1001 | assert( pWal->nWiData>walFramePage(pWal->hdr.mxFrame) ); | - | ||||||||||||||||||
| 1002 | assert( pWal->apWiData[walFramePage(pWal->hdr.mxFrame)] ); | - | ||||||||||||||||||
| 1003 | walHashGet(pWal, walFramePage(pWal->hdr.mxFrame), &sLoc); | - | ||||||||||||||||||
| 1004 | - | |||||||||||||||||||
| 1005 | /* Zero all hash-table entries that correspond to frame numbers greater | - | ||||||||||||||||||
| 1006 | ** than pWal->hdr.mxFrame. | - | ||||||||||||||||||
| 1007 | */ | - | ||||||||||||||||||
| 1008 | iLimit = pWal->hdr.mxFrame - sLoc.iZero; | - | ||||||||||||||||||
| 1009 | assert( iLimit>0 ); | - | ||||||||||||||||||
| 1010 | for(i=0; i<HASHTABLE_NSLOT; i++){
| 80-655360 | ||||||||||||||||||
| 1011 | if( sLoc.aHash[i]>iLimit ){
| 7218-648142 | ||||||||||||||||||
| 1012 | sLoc.aHash[i] = 0; | - | ||||||||||||||||||
| 1013 | } executed 7218 times by 1 test: end of blockExecuted by:
| 7218 | ||||||||||||||||||
| 1014 | } executed 655360 times by 1 test: end of blockExecuted by:
| 655360 | ||||||||||||||||||
| 1015 | - | |||||||||||||||||||
| 1016 | /* Zero the entries in the aPgno array that correspond to frames with | - | ||||||||||||||||||
| 1017 | ** frame numbers greater than pWal->hdr.mxFrame. | - | ||||||||||||||||||
| 1018 | */ | - | ||||||||||||||||||
| 1019 | nByte = (int)((char *)sLoc.aHash - (char *)&sLoc.aPgno[iLimit+1]); | - | ||||||||||||||||||
| 1020 | memset((void *)&sLoc.aPgno[iLimit+1], 0, nByte); | - | ||||||||||||||||||
| 1021 | - | |||||||||||||||||||
| 1022 | #ifdef SQLITE_ENABLE_EXPENSIVE_ASSERT | - | ||||||||||||||||||
| 1023 | /* Verify that the every entry in the mapping region is still reachable | - | ||||||||||||||||||
| 1024 | ** via the hash table even after the cleanup. | - | ||||||||||||||||||
| 1025 | */ | - | ||||||||||||||||||
| 1026 | if( iLimit ){ | - | ||||||||||||||||||
| 1027 | int j; /* Loop counter */ | - | ||||||||||||||||||
| 1028 | int iKey; /* Hash key */ | - | ||||||||||||||||||
| 1029 | for(j=1; j<=iLimit; j++){ | - | ||||||||||||||||||
| 1030 | for(iKey=walHash(sLoc.aPgno[j]);sLoc.aHash[iKey];iKey=walNextHash(iKey)){ | - | ||||||||||||||||||
| 1031 | if( sLoc.aHash[iKey]==j ) break; | - | ||||||||||||||||||
| 1032 | } | - | ||||||||||||||||||
| 1033 | assert( sLoc.aHash[iKey]==j ); | - | ||||||||||||||||||
| 1034 | } | - | ||||||||||||||||||
| 1035 | } | - | ||||||||||||||||||
| 1036 | #endif /* SQLITE_ENABLE_EXPENSIVE_ASSERT */ | - | ||||||||||||||||||
| 1037 | } executed 80 times by 1 test: end of blockExecuted by:
| 80 | ||||||||||||||||||
| 1038 | - | |||||||||||||||||||
| 1039 | - | |||||||||||||||||||
| 1040 | /* | - | ||||||||||||||||||
| 1041 | ** Set an entry in the wal-index that will map database page number | - | ||||||||||||||||||
| 1042 | ** pPage into WAL frame iFrame. | - | ||||||||||||||||||
| 1043 | */ | - | ||||||||||||||||||
| 1044 | static int walIndexAppend(Wal *pWal, u32 iFrame, u32 iPage){ | - | ||||||||||||||||||
| 1045 | int rc; /* Return code */ | - | ||||||||||||||||||
| 1046 | WalHashLoc sLoc; /* Wal-index hash table location */ | - | ||||||||||||||||||
| 1047 | - | |||||||||||||||||||
| 1048 | rc = walHashGet(pWal, walFramePage(iFrame), &sLoc); | - | ||||||||||||||||||
| 1049 | - | |||||||||||||||||||
| 1050 | /* Assuming the wal-index file was successfully mapped, populate the | - | ||||||||||||||||||
| 1051 | ** page number array and hash table entry. | - | ||||||||||||||||||
| 1052 | */ | - | ||||||||||||||||||
| 1053 | if( rc==SQLITE_OK ){
| 0-439729 | ||||||||||||||||||
| 1054 | int iKey; /* Hash table key */ | - | ||||||||||||||||||
| 1055 | int idx; /* Value to write to hash-table slot */ | - | ||||||||||||||||||
| 1056 | int nCollide; /* Number of hash collisions */ | - | ||||||||||||||||||
| 1057 | - | |||||||||||||||||||
| 1058 | idx = iFrame - sLoc.iZero; | - | ||||||||||||||||||
| 1059 | assert( idx <= HASHTABLE_NSLOT/2 + 1 ); | - | ||||||||||||||||||
| 1060 | - | |||||||||||||||||||
| 1061 | /* If this is the first entry to be added to this hash-table, zero the | - | ||||||||||||||||||
| 1062 | ** entire hash table and aPgno[] array before proceeding. | - | ||||||||||||||||||
| 1063 | */ | - | ||||||||||||||||||
| 1064 | if( idx==1 ){
| 5184-434545 | ||||||||||||||||||
| 1065 | int nByte = (int)((u8 *)&sLoc.aHash[HASHTABLE_NSLOT] | - | ||||||||||||||||||
| 1066 | - (u8 *)&sLoc.aPgno[1]); | - | ||||||||||||||||||
| 1067 | memset((void*)&sLoc.aPgno[1], 0, nByte); | - | ||||||||||||||||||
| 1068 | } executed 5184 times by 20 tests: end of blockExecuted by:
| 5184 | ||||||||||||||||||
| 1069 | - | |||||||||||||||||||
| 1070 | /* If the entry in aPgno[] is already set, then the previous writer | - | ||||||||||||||||||
| 1071 | ** must have exited unexpectedly in the middle of a transaction (after | - | ||||||||||||||||||
| 1072 | ** writing one or more dirty pages to the WAL to free up memory). | - | ||||||||||||||||||
| 1073 | ** Remove the remnants of that writers uncommitted transaction from | - | ||||||||||||||||||
| 1074 | ** the hash-table before writing any new entries. | - | ||||||||||||||||||
| 1075 | */ | - | ||||||||||||||||||
| 1076 | if( sLoc.aPgno[idx] ){
| 0-439729 | ||||||||||||||||||
| 1077 | walCleanupHash(pWal); | - | ||||||||||||||||||
| 1078 | assert( !sLoc.aPgno[idx] ); | - | ||||||||||||||||||
| 1079 | } never executed: end of block | 0 | ||||||||||||||||||
| 1080 | - | |||||||||||||||||||
| 1081 | /* Write the aPgno[] array entry and the hash-table slot. */ | - | ||||||||||||||||||
| 1082 | nCollide = idx; | - | ||||||||||||||||||
| 1083 | for(iKey=walHash(iPage); sLoc.aHash[iKey]; iKey=walNextHash(iKey)){
| 439728-6814097 | ||||||||||||||||||
| 1084 | if( (nCollide--)==0 ) return SQLITE_CORRUPT_BKPT; executed 1 time by 1 test: return sqlite3CorruptError(1084);Executed by:
| 1-6814096 | ||||||||||||||||||
| 1085 | } executed 6814096 times by 22 tests: end of blockExecuted by:
| 6814096 | ||||||||||||||||||
| 1086 | sLoc.aPgno[idx] = iPage; | - | ||||||||||||||||||
| 1087 | sLoc.aHash[iKey] = (ht_slot)idx; | - | ||||||||||||||||||
| 1088 | - | |||||||||||||||||||
| 1089 | #ifdef SQLITE_ENABLE_EXPENSIVE_ASSERT | - | ||||||||||||||||||
| 1090 | /* Verify that the number of entries in the hash table exactly equals | - | ||||||||||||||||||
| 1091 | ** the number of entries in the mapping region. | - | ||||||||||||||||||
| 1092 | */ | - | ||||||||||||||||||
| 1093 | { | - | ||||||||||||||||||
| 1094 | int i; /* Loop counter */ | - | ||||||||||||||||||
| 1095 | int nEntry = 0; /* Number of entries in the hash table */ | - | ||||||||||||||||||
| 1096 | for(i=0; i<HASHTABLE_NSLOT; i++){ if( sLoc.aHash[i] ) nEntry++; } | - | ||||||||||||||||||
| 1097 | assert( nEntry==idx ); | - | ||||||||||||||||||
| 1098 | } | - | ||||||||||||||||||
| 1099 | - | |||||||||||||||||||
| 1100 | /* Verify that the every entry in the mapping region is reachable | - | ||||||||||||||||||
| 1101 | ** via the hash table. This turns out to be a really, really expensive | - | ||||||||||||||||||
| 1102 | ** thing to check, so only do this occasionally - not on every | - | ||||||||||||||||||
| 1103 | ** iteration. | - | ||||||||||||||||||
| 1104 | */ | - | ||||||||||||||||||
| 1105 | if( (idx&0x3ff)==0 ){ | - | ||||||||||||||||||
| 1106 | int i; /* Loop counter */ | - | ||||||||||||||||||
| 1107 | for(i=1; i<=idx; i++){ | - | ||||||||||||||||||
| 1108 | for(iKey=walHash(sLoc.aPgno[i]); | - | ||||||||||||||||||
| 1109 | sLoc.aHash[iKey]; | - | ||||||||||||||||||
| 1110 | iKey=walNextHash(iKey)){ | - | ||||||||||||||||||
| 1111 | if( sLoc.aHash[iKey]==i ) break; | - | ||||||||||||||||||
| 1112 | } | - | ||||||||||||||||||
| 1113 | assert( sLoc.aHash[iKey]==i ); | - | ||||||||||||||||||
| 1114 | } | - | ||||||||||||||||||
| 1115 | } | - | ||||||||||||||||||
| 1116 | #endif /* SQLITE_ENABLE_EXPENSIVE_ASSERT */ | - | ||||||||||||||||||
| 1117 | } executed 439728 times by 26 tests: end of blockExecuted by:
| 439728 | ||||||||||||||||||
| 1118 | - | |||||||||||||||||||
| 1119 | - | |||||||||||||||||||
| 1120 | return rc; executed 439728 times by 26 tests: return rc;Executed by:
| 439728 | ||||||||||||||||||
| 1121 | } | - | ||||||||||||||||||
| 1122 | - | |||||||||||||||||||
| 1123 | - | |||||||||||||||||||
| 1124 | /* | - | ||||||||||||||||||
| 1125 | ** Recover the wal-index by reading the write-ahead log file. | - | ||||||||||||||||||
| 1126 | ** | - | ||||||||||||||||||
| 1127 | ** This routine first tries to establish an exclusive lock on the | - | ||||||||||||||||||
| 1128 | ** wal-index to prevent other threads/processes from doing anything | - | ||||||||||||||||||
| 1129 | ** with the WAL or wal-index while recovery is running. The | - | ||||||||||||||||||
| 1130 | ** WAL_RECOVER_LOCK is also held so that other threads will know | - | ||||||||||||||||||
| 1131 | ** that this thread is running recovery. If unable to establish | - | ||||||||||||||||||
| 1132 | ** the necessary locks, this routine returns SQLITE_BUSY. | - | ||||||||||||||||||
| 1133 | */ | - | ||||||||||||||||||
| 1134 | static int walIndexRecover(Wal *pWal){ | - | ||||||||||||||||||
| 1135 | int rc; /* Return Code */ | - | ||||||||||||||||||
| 1136 | i64 nSize; /* Size of log file */ | - | ||||||||||||||||||
| 1137 | u32 aFrameCksum[2] = {0, 0}; | - | ||||||||||||||||||
| 1138 | int iLock; /* Lock offset to lock for checkpoint */ | - | ||||||||||||||||||
| 1139 | - | |||||||||||||||||||
| 1140 | /* Obtain an exclusive lock on all byte in the locking range not already | - | ||||||||||||||||||
| 1141 | ** locked by the caller. The caller is guaranteed to have locked the | - | ||||||||||||||||||
| 1142 | ** WAL_WRITE_LOCK byte, and may have also locked the WAL_CKPT_LOCK byte. | - | ||||||||||||||||||
| 1143 | ** If successful, the same bytes that are locked here are unlocked before | - | ||||||||||||||||||
| 1144 | ** this function returns. | - | ||||||||||||||||||
| 1145 | */ | - | ||||||||||||||||||
| 1146 | assert( pWal->ckptLock==1 || pWal->ckptLock==0 ); | - | ||||||||||||||||||
| 1147 | assert( WAL_ALL_BUT_WRITE==WAL_WRITE_LOCK+1 ); | - | ||||||||||||||||||
| 1148 | assert( WAL_CKPT_LOCK==WAL_ALL_BUT_WRITE ); | - | ||||||||||||||||||
| 1149 | assert( pWal->writeLock ); | - | ||||||||||||||||||
| 1150 | iLock = WAL_ALL_BUT_WRITE + pWal->ckptLock; | - | ||||||||||||||||||
| 1151 | rc = walLockExclusive(pWal, iLock, WAL_READ_LOCK(0)-iLock); | - | ||||||||||||||||||
| 1152 | if( rc==SQLITE_OK ){
| 15-960 | ||||||||||||||||||
| 1153 | rc = walLockExclusive(pWal, WAL_READ_LOCK(1), WAL_NREADER-1); | - | ||||||||||||||||||
| 1154 | if( rc!=SQLITE_OK ){
| 0-960 | ||||||||||||||||||
| 1155 | walUnlockExclusive(pWal, iLock, WAL_READ_LOCK(0)-iLock); | - | ||||||||||||||||||
| 1156 | } never executed: end of block | 0 | ||||||||||||||||||
| 1157 | } executed 960 times by 21 tests: end of blockExecuted by:
| 960 | ||||||||||||||||||
| 1158 | if( rc ){
| 15-960 | ||||||||||||||||||
| 1159 | return rc; executed 15 times by 3 tests: return rc;Executed by:
| 15 | ||||||||||||||||||
| 1160 | } | - | ||||||||||||||||||
| 1161 | - | |||||||||||||||||||
| 1162 | WALTRACE(("WAL%p: recovery begin...\n", pWal)); | - | ||||||||||||||||||
| 1163 | - | |||||||||||||||||||
| 1164 | memset(&pWal->hdr, 0, sizeof(WalIndexHdr)); | - | ||||||||||||||||||
| 1165 | - | |||||||||||||||||||
| 1166 | rc = sqlite3OsFileSize(pWal->pWalFd, &nSize); | - | ||||||||||||||||||
| 1167 | if( rc!=SQLITE_OK ){
| 0-960 | ||||||||||||||||||
| 1168 | goto recovery_error; never executed: goto recovery_error; | 0 | ||||||||||||||||||
| 1169 | } | - | ||||||||||||||||||
| 1170 | - | |||||||||||||||||||
| 1171 | if( nSize>WAL_HDRSIZE ){
| 305-655 | ||||||||||||||||||
| 1172 | u8 aBuf[WAL_HDRSIZE]; /* Buffer to load WAL header into */ | - | ||||||||||||||||||
| 1173 | u8 *aFrame = 0; /* Malloc'd buffer to load entire frame */ | - | ||||||||||||||||||
| 1174 | int szFrame; /* Number of bytes in buffer aFrame[] */ | - | ||||||||||||||||||
| 1175 | u8 *aData; /* Pointer to data part of aFrame buffer */ | - | ||||||||||||||||||
| 1176 | int iFrame; /* Index of last frame read */ | - | ||||||||||||||||||
| 1177 | i64 iOffset; /* Next offset to read from log file */ | - | ||||||||||||||||||
| 1178 | int szPage; /* Page size according to the log */ | - | ||||||||||||||||||
| 1179 | u32 magic; /* Magic value read from WAL header */ | - | ||||||||||||||||||
| 1180 | u32 version; /* Magic value read from WAL header */ | - | ||||||||||||||||||
| 1181 | int isValid; /* True if this frame is valid */ | - | ||||||||||||||||||
| 1182 | - | |||||||||||||||||||
| 1183 | /* Read in the WAL header. */ | - | ||||||||||||||||||
| 1184 | rc = sqlite3OsRead(pWal->pWalFd, aBuf, WAL_HDRSIZE, 0); | - | ||||||||||||||||||
| 1185 | if( rc!=SQLITE_OK ){
| 0-305 | ||||||||||||||||||
| 1186 | goto recovery_error; never executed: goto recovery_error; | 0 | ||||||||||||||||||
| 1187 | } | - | ||||||||||||||||||
| 1188 | - | |||||||||||||||||||
| 1189 | /* If the database page size is not a power of two, or is greater than | - | ||||||||||||||||||
| 1190 | ** SQLITE_MAX_PAGE_SIZE, conclude that the WAL file contains no valid | - | ||||||||||||||||||
| 1191 | ** data. Similarly, if the 'magic' value is invalid, ignore the whole | - | ||||||||||||||||||
| 1192 | ** WAL file. | - | ||||||||||||||||||
| 1193 | */ | - | ||||||||||||||||||
| 1194 | magic = sqlite3Get4byte(&aBuf[0]); | - | ||||||||||||||||||
| 1195 | szPage = sqlite3Get4byte(&aBuf[8]); | - | ||||||||||||||||||
| 1196 | if( (magic&0xFFFFFFFE)!=WAL_MAGIC
| 0-305 | ||||||||||||||||||
| 1197 | || szPage&(szPage-1)
| 3-302 | ||||||||||||||||||
| 1198 | || szPage>SQLITE_MAX_PAGE_SIZE
| 3-299 | ||||||||||||||||||
| 1199 | || szPage<512
| 6-293 | ||||||||||||||||||
| 1200 | ){ | - | ||||||||||||||||||
| 1201 | goto finished; executed 12 times by 1 test: goto finished;Executed by:
| 12 | ||||||||||||||||||
| 1202 | } | - | ||||||||||||||||||
| 1203 | pWal->hdr.bigEndCksum = (u8)(magic&0x00000001); | - | ||||||||||||||||||
| 1204 | pWal->szPage = szPage; | - | ||||||||||||||||||
| 1205 | pWal->nCkpt = sqlite3Get4byte(&aBuf[12]); | - | ||||||||||||||||||
| 1206 | memcpy(&pWal->hdr.aSalt, &aBuf[16], 8); | - | ||||||||||||||||||
| 1207 | - | |||||||||||||||||||
| 1208 | /* Verify that the WAL header checksum is correct */ | - | ||||||||||||||||||
| 1209 | walChecksumBytes(pWal->hdr.bigEndCksum==SQLITE_BIGENDIAN, | - | ||||||||||||||||||
| 1210 | aBuf, WAL_HDRSIZE-2*4, 0, pWal->hdr.aFrameCksum | - | ||||||||||||||||||
| 1211 | ); | - | ||||||||||||||||||
| 1212 | if( pWal->hdr.aFrameCksum[0]!=sqlite3Get4byte(&aBuf[24])
| 0-293 | ||||||||||||||||||
| 1213 | || pWal->hdr.aFrameCksum[1]!=sqlite3Get4byte(&aBuf[28])
| 0-293 | ||||||||||||||||||
| 1214 | ){ | - | ||||||||||||||||||
| 1215 | goto finished; never executed: goto finished; | 0 | ||||||||||||||||||
| 1216 | } | - | ||||||||||||||||||
| 1217 | - | |||||||||||||||||||
| 1218 | /* Verify that the version number on the WAL format is one that | - | ||||||||||||||||||
| 1219 | ** are able to understand */ | - | ||||||||||||||||||
| 1220 | version = sqlite3Get4byte(&aBuf[4]); | - | ||||||||||||||||||
| 1221 | if( version!=WAL_MAX_VERSION ){
| 2-291 | ||||||||||||||||||
| 1222 | rc = SQLITE_CANTOPEN_BKPT; | - | ||||||||||||||||||
| 1223 | goto finished; executed 2 times by 1 test: goto finished;Executed by:
| 2 | ||||||||||||||||||
| 1224 | } | - | ||||||||||||||||||
| 1225 | - | |||||||||||||||||||
| 1226 | /* Malloc a buffer to read frames into. */ | - | ||||||||||||||||||
| 1227 | szFrame = szPage + WAL_FRAME_HDRSIZE; | - | ||||||||||||||||||
| 1228 | aFrame = (u8 *)sqlite3_malloc64(szFrame); | - | ||||||||||||||||||
| 1229 | if( !aFrame ){
| 0-291 | ||||||||||||||||||
| 1230 | rc = SQLITE_NOMEM_BKPT; | - | ||||||||||||||||||
| 1231 | goto recovery_error; never executed: goto recovery_error; | 0 | ||||||||||||||||||
| 1232 | } | - | ||||||||||||||||||
| 1233 | aData = &aFrame[WAL_FRAME_HDRSIZE]; | - | ||||||||||||||||||
| 1234 | - | |||||||||||||||||||
| 1235 | /* Read all frames from the log file. */ | - | ||||||||||||||||||
| 1236 | iFrame = 0; | - | ||||||||||||||||||
| 1237 | for(iOffset=WAL_HDRSIZE; (iOffset+szFrame)<=nSize; iOffset+=szFrame){
| 213-243001 | ||||||||||||||||||
| 1238 | u32 pgno; /* Database page number for frame */ | - | ||||||||||||||||||
| 1239 | u32 nTruncate; /* dbsize field from frame header */ | - | ||||||||||||||||||
| 1240 | - | |||||||||||||||||||
| 1241 | /* Read and decode the next log frame. */ | - | ||||||||||||||||||
| 1242 | iFrame++; | - | ||||||||||||||||||
| 1243 | rc = sqlite3OsRead(pWal->pWalFd, aFrame, szFrame, iOffset); | - | ||||||||||||||||||
| 1244 | if( rc!=SQLITE_OK ) break; executed 2 times by 1 test: break;Executed by:
| 2-242999 | ||||||||||||||||||
| 1245 | isValid = walDecodeFrame(pWal, &pgno, &nTruncate, aData, aFrame); | - | ||||||||||||||||||
| 1246 | if( !isValid ) break; executed 76 times by 3 tests: break;Executed by:
| 76-242923 | ||||||||||||||||||
| 1247 | rc = walIndexAppend(pWal, iFrame, pgno); | - | ||||||||||||||||||
| 1248 | if( rc!=SQLITE_OK ) break; never executed: break;
| 0-242923 | ||||||||||||||||||
| 1249 | - | |||||||||||||||||||
| 1250 | /* If nTruncate is non-zero, this is a commit record. */ | - | ||||||||||||||||||
| 1251 | if( nTruncate ){
| 2073-240850 | ||||||||||||||||||
| 1252 | pWal->hdr.mxFrame = iFrame; | - | ||||||||||||||||||
| 1253 | pWal->hdr.nPage = nTruncate; | - | ||||||||||||||||||
| 1254 | pWal->hdr.szPage = (u16)((szPage&0xff00) | (szPage>>16)); | - | ||||||||||||||||||
| 1255 | testcase( szPage<=32768 ); | - | ||||||||||||||||||
| 1256 | testcase( szPage>=65536 ); | - | ||||||||||||||||||
| 1257 | aFrameCksum[0] = pWal->hdr.aFrameCksum[0]; | - | ||||||||||||||||||
| 1258 | aFrameCksum[1] = pWal->hdr.aFrameCksum[1]; | - | ||||||||||||||||||
| 1259 | } executed 2073 times by 5 tests: end of blockExecuted by:
| 2073 | ||||||||||||||||||
| 1260 | } executed 242923 times by 5 tests: end of blockExecuted by:
| 242923 | ||||||||||||||||||
| 1261 | - | |||||||||||||||||||
| 1262 | sqlite3_free(aFrame); | - | ||||||||||||||||||
| 1263 | } executed 291 times by 5 tests: end of blockExecuted by:
| 291 | ||||||||||||||||||
| 1264 | - | |||||||||||||||||||
| 1265 | finished: code before this statement executed 946 times by 21 tests: finished:Executed by:
| 946 | ||||||||||||||||||
| 1266 | if( rc==SQLITE_OK ){
| 4-956 | ||||||||||||||||||
| 1267 | volatile WalCkptInfo *pInfo; | - | ||||||||||||||||||
| 1268 | int i; | - | ||||||||||||||||||
| 1269 | pWal->hdr.aFrameCksum[0] = aFrameCksum[0]; | - | ||||||||||||||||||
| 1270 | pWal->hdr.aFrameCksum[1] = aFrameCksum[1]; | - | ||||||||||||||||||
| 1271 | walIndexWriteHdr(pWal); | - | ||||||||||||||||||
| 1272 | - | |||||||||||||||||||
| 1273 | /* Reset the checkpoint-header. This is safe because this thread is | - | ||||||||||||||||||
| 1274 | ** currently holding locks that exclude all other readers, writers and | - | ||||||||||||||||||
| 1275 | ** checkpointers. | - | ||||||||||||||||||
| 1276 | */ | - | ||||||||||||||||||
| 1277 | pInfo = walCkptInfo(pWal); | - | ||||||||||||||||||
| 1278 | pInfo->nBackfill = 0; | - | ||||||||||||||||||
| 1279 | pInfo->nBackfillAttempted = pWal->hdr.mxFrame; | - | ||||||||||||||||||
| 1280 | pInfo->aReadMark[0] = 0; | - | ||||||||||||||||||
| 1281 | for(i=1; i<WAL_NREADER; i++) pInfo->aReadMark[i] = READMARK_NOT_USED; executed 3824 times by 21 tests: pInfo->aReadMark[i] = 0xffffffff;Executed by:
| 956-3824 | ||||||||||||||||||
| 1282 | if( pWal->hdr.mxFrame ) pInfo->aReadMark[1] = pWal->hdr.mxFrame; executed 286 times by 5 tests: pInfo->aReadMark[1] = pWal->hdr.mxFrame;Executed by:
| 286-670 | ||||||||||||||||||
| 1283 | - | |||||||||||||||||||
| 1284 | /* If more than one frame was recovered from the log file, report an | - | ||||||||||||||||||
| 1285 | ** event via sqlite3_log(). This is to help with identifying performance | - | ||||||||||||||||||
| 1286 | ** problems caused by applications routinely shutting down without | - | ||||||||||||||||||
| 1287 | ** checkpointing the log file. | - | ||||||||||||||||||
| 1288 | */ | - | ||||||||||||||||||
| 1289 | if( pWal->hdr.nPage ){
| 286-670 | ||||||||||||||||||
| 1290 | sqlite3_log(SQLITE_NOTICE_RECOVER_WAL, | - | ||||||||||||||||||
| 1291 | "recovered %d frames from WAL file %s", | - | ||||||||||||||||||
| 1292 | pWal->hdr.mxFrame, pWal->zWalName | - | ||||||||||||||||||
| 1293 | ); | - | ||||||||||||||||||
| 1294 | } executed 286 times by 5 tests: end of blockExecuted by:
| 286 | ||||||||||||||||||
| 1295 | } executed 956 times by 21 tests: end of blockExecuted by:
| 956 | ||||||||||||||||||
| 1296 | - | |||||||||||||||||||
| 1297 | recovery_error: code before this statement executed 960 times by 21 tests: recovery_error:Executed by:
| 960 | ||||||||||||||||||
| 1298 | WALTRACE(("WAL%p: recovery %s\n", pWal, rc ? "failed" : "ok")); | - | ||||||||||||||||||
| 1299 | walUnlockExclusive(pWal, iLock, WAL_READ_LOCK(0)-iLock); | - | ||||||||||||||||||
| 1300 | walUnlockExclusive(pWal, WAL_READ_LOCK(1), WAL_NREADER-1); | - | ||||||||||||||||||
| 1301 | return rc; executed 960 times by 21 tests: return rc;Executed by:
| 960 | ||||||||||||||||||
| 1302 | } | - | ||||||||||||||||||
| 1303 | - | |||||||||||||||||||
| 1304 | /* | - | ||||||||||||||||||
| 1305 | ** Close an open wal-index. | - | ||||||||||||||||||
| 1306 | */ | - | ||||||||||||||||||
| 1307 | static void walIndexClose(Wal *pWal, int isDelete){ | - | ||||||||||||||||||
| 1308 | if( pWal->exclusiveMode==WAL_HEAPMEMORY_MODE || pWal->bShmUnreliable ){
| 11-1369 | ||||||||||||||||||
| 1309 | int i; | - | ||||||||||||||||||
| 1310 | for(i=0; i<pWal->nWiData; i++){
| 25 | ||||||||||||||||||
| 1311 | sqlite3_free((void *)pWal->apWiData[i]); | - | ||||||||||||||||||
| 1312 | pWal->apWiData[i] = 0; | - | ||||||||||||||||||
| 1313 | } executed 25 times by 2 tests: end of blockExecuted by:
| 25 | ||||||||||||||||||
| 1314 | } executed 25 times by 2 tests: end of blockExecuted by:
| 25 | ||||||||||||||||||
| 1315 | if( pWal->exclusiveMode!=WAL_HEAPMEMORY_MODE ){
| 14-1369 | ||||||||||||||||||
| 1316 | sqlite3OsShmUnmap(pWal->pDbFd, isDelete); | - | ||||||||||||||||||
| 1317 | } executed 1369 times by 38 tests: end of blockExecuted by:
| 1369 | ||||||||||||||||||
| 1318 | } executed 1383 times by 38 tests: end of blockExecuted by:
| 1383 | ||||||||||||||||||
| 1319 | - | |||||||||||||||||||
| 1320 | /* | - | ||||||||||||||||||
| 1321 | ** Open a connection to the WAL file zWalName. The database file must | - | ||||||||||||||||||
| 1322 | ** already be opened on connection pDbFd. The buffer that zWalName points | - | ||||||||||||||||||
| 1323 | ** to must remain valid for the lifetime of the returned Wal* handle. | - | ||||||||||||||||||
| 1324 | ** | - | ||||||||||||||||||
| 1325 | ** A SHARED lock should be held on the database file when this function | - | ||||||||||||||||||
| 1326 | ** is called. The purpose of this SHARED lock is to prevent any other | - | ||||||||||||||||||
| 1327 | ** client from unlinking the WAL or wal-index file. If another process | - | ||||||||||||||||||
| 1328 | ** were to do this just after this client opened one of these files, the | - | ||||||||||||||||||
| 1329 | ** system would be badly broken. | - | ||||||||||||||||||
| 1330 | ** | - | ||||||||||||||||||
| 1331 | ** If the log file is successfully opened, SQLITE_OK is returned and | - | ||||||||||||||||||
| 1332 | ** *ppWal is set to point to a new WAL handle. If an error occurs, | - | ||||||||||||||||||
| 1333 | ** an SQLite error code is returned and *ppWal is left unmodified. | - | ||||||||||||||||||
| 1334 | */ | - | ||||||||||||||||||
| 1335 | int sqlite3WalOpen( | - | ||||||||||||||||||
| 1336 | sqlite3_vfs *pVfs, /* vfs module to open wal and wal-index */ | - | ||||||||||||||||||
| 1337 | sqlite3_file *pDbFd, /* The open database file */ | - | ||||||||||||||||||
| 1338 | const char *zWalName, /* Name of the WAL file */ | - | ||||||||||||||||||
| 1339 | int bNoShm, /* True to run in heap-memory mode */ | - | ||||||||||||||||||
| 1340 | i64 mxWalSize, /* Truncate WAL to this size on reset */ | - | ||||||||||||||||||
| 1341 | Wal **ppWal /* OUT: Allocated Wal handle */ | - | ||||||||||||||||||
| 1342 | ){ | - | ||||||||||||||||||
| 1343 | int rc; /* Return Code */ | - | ||||||||||||||||||
| 1344 | Wal *pRet; /* Object to allocate and return */ | - | ||||||||||||||||||
| 1345 | int flags; /* Flags passed to OsOpen() */ | - | ||||||||||||||||||
| 1346 | - | |||||||||||||||||||
| 1347 | assert( zWalName && zWalName[0] ); | - | ||||||||||||||||||
| 1348 | assert( pDbFd ); | - | ||||||||||||||||||
| 1349 | - | |||||||||||||||||||
| 1350 | /* In the amalgamation, the os_unix.c and os_win.c source files come before | - | ||||||||||||||||||
| 1351 | ** this source file. Verify that the #defines of the locking byte offsets | - | ||||||||||||||||||
| 1352 | ** in os_unix.c and os_win.c agree with the WALINDEX_LOCK_OFFSET value. | - | ||||||||||||||||||
| 1353 | ** For that matter, if the lock offset ever changes from its initial design | - | ||||||||||||||||||
| 1354 | ** value of 120, we need to know that so there is an assert() to check it. | - | ||||||||||||||||||
| 1355 | */ | - | ||||||||||||||||||
| 1356 | assert( 120==WALINDEX_LOCK_OFFSET ); | - | ||||||||||||||||||
| 1357 | assert( 136==WALINDEX_HDR_SIZE ); | - | ||||||||||||||||||
| 1358 | #ifdef WIN_SHM_BASE | - | ||||||||||||||||||
| 1359 | assert( WIN_SHM_BASE==WALINDEX_LOCK_OFFSET ); | - | ||||||||||||||||||
| 1360 | #endif | - | ||||||||||||||||||
| 1361 | #ifdef UNIX_SHM_BASE | - | ||||||||||||||||||
| 1362 | assert( UNIX_SHM_BASE==WALINDEX_LOCK_OFFSET ); | - | ||||||||||||||||||
| 1363 | #endif | - | ||||||||||||||||||
| 1364 | - | |||||||||||||||||||
| 1365 | - | |||||||||||||||||||
| 1366 | /* Allocate an instance of struct Wal to return. */ | - | ||||||||||||||||||
| 1367 | *ppWal = 0; | - | ||||||||||||||||||
| 1368 | pRet = (Wal*)sqlite3MallocZero(sizeof(Wal) + pVfs->szOsFile); | - | ||||||||||||||||||
| 1369 | if( !pRet ){
| 0-1392 | ||||||||||||||||||
| 1370 | return SQLITE_NOMEM_BKPT; never executed: return 7; | 0 | ||||||||||||||||||
| 1371 | } | - | ||||||||||||||||||
| 1372 | - | |||||||||||||||||||
| 1373 | pRet->pVfs = pVfs; | - | ||||||||||||||||||
| 1374 | pRet->pWalFd = (sqlite3_file *)&pRet[1]; | - | ||||||||||||||||||
| 1375 | pRet->pDbFd = pDbFd; | - | ||||||||||||||||||
| 1376 | pRet->readLock = -1; | - | ||||||||||||||||||
| 1377 | pRet->mxWalSize = mxWalSize; | - | ||||||||||||||||||
| 1378 | pRet->zWalName = zWalName; | - | ||||||||||||||||||
| 1379 | pRet->syncHeader = 1; | - | ||||||||||||||||||
| 1380 | pRet->padToSectorBoundary = 1; | - | ||||||||||||||||||
| 1381 | pRet->exclusiveMode = (bNoShm ? WAL_HEAPMEMORY_MODE: WAL_NORMAL_MODE);
| 12-1380 | ||||||||||||||||||
| 1382 | - | |||||||||||||||||||
| 1383 | /* Open file handle on the write-ahead log file. */ | - | ||||||||||||||||||
| 1384 | flags = (SQLITE_OPEN_READWRITE|SQLITE_OPEN_CREATE|SQLITE_OPEN_WAL); | - | ||||||||||||||||||
| 1385 | rc = sqlite3OsOpen(pVfs, zWalName, pRet->pWalFd, flags, &flags); | - | ||||||||||||||||||
| 1386 | if( rc==SQLITE_OK && flags&SQLITE_OPEN_READONLY ){
| 1-1390 | ||||||||||||||||||
| 1387 | pRet->readOnly = WAL_RDONLY; | - | ||||||||||||||||||
| 1388 | } executed 1 time by 1 test: end of blockExecuted by:
| 1 | ||||||||||||||||||
| 1389 | - | |||||||||||||||||||
| 1390 | if( rc!=SQLITE_OK ){
| 2-1390 | ||||||||||||||||||
| 1391 | walIndexClose(pRet, 0); | - | ||||||||||||||||||
| 1392 | sqlite3OsClose(pRet->pWalFd); | - | ||||||||||||||||||
| 1393 | sqlite3_free(pRet); | - | ||||||||||||||||||
| 1394 | }else{ executed 2 times by 1 test: end of blockExecuted by:
| 2 | ||||||||||||||||||
| 1395 | int iDC = sqlite3OsDeviceCharacteristics(pDbFd); | - | ||||||||||||||||||
| 1396 | if( iDC & SQLITE_IOCAP_SEQUENTIAL ){ pRet->syncHeader = 0; } never executed: end of block
| 0-1390 | ||||||||||||||||||
| 1397 | if( iDC & SQLITE_IOCAP_POWERSAFE_OVERWRITE ){
| 30-1360 | ||||||||||||||||||
| 1398 | pRet->padToSectorBoundary = 0; | - | ||||||||||||||||||
| 1399 | } executed 1360 times by 39 tests: end of blockExecuted by:
| 1360 | ||||||||||||||||||
| 1400 | *ppWal = pRet; | - | ||||||||||||||||||
| 1401 | WALTRACE(("WAL%d: opened\n", pRet)); | - | ||||||||||||||||||
| 1402 | } executed 1390 times by 49 tests: end of blockExecuted by:
| 1390 | ||||||||||||||||||
| 1403 | return rc; executed 1392 times by 49 tests: return rc;Executed by:
| 1392 | ||||||||||||||||||
| 1404 | } | - | ||||||||||||||||||
| 1405 | - | |||||||||||||||||||
| 1406 | /* | - | ||||||||||||||||||
| 1407 | ** Change the size to which the WAL file is trucated on each reset. | - | ||||||||||||||||||
| 1408 | */ | - | ||||||||||||||||||
| 1409 | void sqlite3WalLimit(Wal *pWal, i64 iLimit){ | - | ||||||||||||||||||
| 1410 | if( pWal ) pWal->mxWalSize = iLimit; never executed: pWal->mxWalSize = iLimit;
| 0-10 | ||||||||||||||||||
| 1411 | } executed 10 times by 1 test: end of blockExecuted by:
| 10 | ||||||||||||||||||
| 1412 | - | |||||||||||||||||||
| 1413 | /* | - | ||||||||||||||||||
| 1414 | ** Find the smallest page number out of all pages held in the WAL that | - | ||||||||||||||||||
| 1415 | ** has not been returned by any prior invocation of this method on the | - | ||||||||||||||||||
| 1416 | ** same WalIterator object. Write into *piFrame the frame index where | - | ||||||||||||||||||
| 1417 | ** that page was last written into the WAL. Write into *piPage the page | - | ||||||||||||||||||
| 1418 | ** number. | - | ||||||||||||||||||
| 1419 | ** | - | ||||||||||||||||||
| 1420 | ** Return 0 on success. If there are no pages in the WAL with a page | - | ||||||||||||||||||
| 1421 | ** number larger than *piPage, then return 1. | - | ||||||||||||||||||
| 1422 | */ | - | ||||||||||||||||||
| 1423 | static int walIteratorNext( | - | ||||||||||||||||||
| 1424 | WalIterator *p, /* Iterator */ | - | ||||||||||||||||||
| 1425 | u32 *piPage, /* OUT: The page number of the next page */ | - | ||||||||||||||||||
| 1426 | u32 *piFrame /* OUT: Wal frame index of next page */ | - | ||||||||||||||||||
| 1427 | ){ | - | ||||||||||||||||||
| 1428 | u32 iMin; /* Result pgno must be greater than iMin */ | - | ||||||||||||||||||
| 1429 | u32 iRet = 0xFFFFFFFF; /* 0xffffffff is never a valid page number */ | - | ||||||||||||||||||
| 1430 | int i; /* For looping through segments */ | - | ||||||||||||||||||
| 1431 | - | |||||||||||||||||||
| 1432 | iMin = p->iPrior; | - | ||||||||||||||||||
| 1433 | assert( iMin<0xffffffff ); | - | ||||||||||||||||||
| 1434 | for(i=p->nSegment-1; i>=0; i--){
| 361376-855010 | ||||||||||||||||||
| 1435 | struct WalSegment *pSegment = &p->aSegment[i]; | - | ||||||||||||||||||
| 1436 | while( pSegment->iNext<pSegment->nEntry ){
| 308881-903509 | ||||||||||||||||||
| 1437 | u32 iPg = pSegment->aPgno[pSegment->aIndex[pSegment->iNext]]; | - | ||||||||||||||||||
| 1438 | if( iPg>iMin ){
| 357380-546129 | ||||||||||||||||||
| 1439 | if( iPg<iRet ){
| 2576-543553 | ||||||||||||||||||
| 1440 | iRet = iPg; | - | ||||||||||||||||||
| 1441 | *piFrame = pSegment->iZero + pSegment->aIndex[pSegment->iNext]; | - | ||||||||||||||||||
| 1442 | } executed 543553 times by 8 tests: end of blockExecuted by:
| 543553 | ||||||||||||||||||
| 1443 | break; executed 546129 times by 8 tests: break;Executed by:
| 546129 | ||||||||||||||||||
| 1444 | } | - | ||||||||||||||||||
| 1445 | pSegment->iNext++; | - | ||||||||||||||||||
| 1446 | } executed 357380 times by 8 tests: end of blockExecuted by:
| 357380 | ||||||||||||||||||
| 1447 | } executed 855010 times by 8 tests: end of blockExecuted by:
| 855010 | ||||||||||||||||||
| 1448 | - | |||||||||||||||||||
| 1449 | *piPage = p->iPrior = iRet; | - | ||||||||||||||||||
| 1450 | return (iRet==0xFFFFFFFF); executed 361376 times by 8 tests: return (iRet==0xFFFFFFFF);Executed by:
| 361376 | ||||||||||||||||||
| 1451 | } | - | ||||||||||||||||||
| 1452 | - | |||||||||||||||||||
| 1453 | /* | - | ||||||||||||||||||
| 1454 | ** This function merges two sorted lists into a single sorted list. | - | ||||||||||||||||||
| 1455 | ** | - | ||||||||||||||||||
| 1456 | ** aLeft[] and aRight[] are arrays of indices. The sort key is | - | ||||||||||||||||||
| 1457 | ** aContent[aLeft[]] and aContent[aRight[]]. Upon entry, the following | - | ||||||||||||||||||
| 1458 | ** is guaranteed for all J<K: | - | ||||||||||||||||||
| 1459 | ** | - | ||||||||||||||||||
| 1460 | ** aContent[aLeft[J]] < aContent[aLeft[K]] | - | ||||||||||||||||||
| 1461 | ** aContent[aRight[J]] < aContent[aRight[K]] | - | ||||||||||||||||||
| 1462 | ** | - | ||||||||||||||||||
| 1463 | ** This routine overwrites aRight[] with a new (probably longer) sequence | - | ||||||||||||||||||
| 1464 | ** of indices such that the aRight[] contains every index that appears in | - | ||||||||||||||||||
| 1465 | ** either aLeft[] or the old aRight[] and such that the second condition | - | ||||||||||||||||||
| 1466 | ** above is still met. | - | ||||||||||||||||||
| 1467 | ** | - | ||||||||||||||||||
| 1468 | ** The aContent[aLeft[X]] values will be unique for all X. And the | - | ||||||||||||||||||
| 1469 | ** aContent[aRight[X]] values will be unique too. But there might be | - | ||||||||||||||||||
| 1470 | ** one or more combinations of X and Y such that | - | ||||||||||||||||||
| 1471 | ** | - | ||||||||||||||||||
| 1472 | ** aLeft[X]!=aRight[Y] && aContent[aLeft[X]] == aContent[aRight[Y]] | - | ||||||||||||||||||
| 1473 | ** | - | ||||||||||||||||||
| 1474 | ** When that happens, omit the aLeft[X] and use the aRight[Y] index. | - | ||||||||||||||||||
| 1475 | */ | - | ||||||||||||||||||
| 1476 | static void walMerge( | - | ||||||||||||||||||
| 1477 | const u32 *aContent, /* Pages in wal - keys for the sort */ | - | ||||||||||||||||||
| 1478 | ht_slot *aLeft, /* IN: Left hand input list */ | - | ||||||||||||||||||
| 1479 | int nLeft, /* IN: Elements in array *paLeft */ | - | ||||||||||||||||||
| 1480 | ht_slot **paRight, /* IN/OUT: Right hand input list */ | - | ||||||||||||||||||
| 1481 | int *pnRight, /* IN/OUT: Elements in *paRight */ | - | ||||||||||||||||||
| 1482 | ht_slot *aTmp /* Temporary buffer */ | - | ||||||||||||||||||
| 1483 | ){ | - | ||||||||||||||||||
| 1484 | int iLeft = 0; /* Current index in aLeft */ | - | ||||||||||||||||||
| 1485 | int iRight = 0; /* Current index in aRight */ | - | ||||||||||||||||||
| 1486 | int iOut = 0; /* Current index in output buffer */ | - | ||||||||||||||||||
| 1487 | int nRight = *pnRight; | - | ||||||||||||||||||
| 1488 | ht_slot *aRight = *paRight; | - | ||||||||||||||||||
| 1489 | - | |||||||||||||||||||
| 1490 | assert( nLeft>0 && nRight>0 ); | - | ||||||||||||||||||
| 1491 | while( iRight<nRight || iLeft<nLeft ){
| 32122-4143709 | ||||||||||||||||||
| 1492 | ht_slot logpage; | - | ||||||||||||||||||
| 1493 | Pgno dbpage; | - | ||||||||||||||||||
| 1494 | - | |||||||||||||||||||
| 1495 | if( (iLeft<nLeft)
| 1868060-2307771 | ||||||||||||||||||
| 1496 | && (iRight>=nRight || aContent[aLeft[iLeft]]<aContent[aRight[iRight]])
| 32122-2275649 | ||||||||||||||||||
| 1497 | ){ | - | ||||||||||||||||||
| 1498 | logpage = aLeft[iLeft++]; | - | ||||||||||||||||||
| 1499 | }else{ executed 2078761 times by 8 tests: end of blockExecuted by:
| 2078761 | ||||||||||||||||||
| 1500 | logpage = aRight[iRight++]; | - | ||||||||||||||||||
| 1501 | } executed 2097070 times by 8 tests: end of blockExecuted by:
| 2097070 | ||||||||||||||||||
| 1502 | dbpage = aContent[logpage]; | - | ||||||||||||||||||
| 1503 | - | |||||||||||||||||||
| 1504 | aTmp[iOut++] = logpage; | - | ||||||||||||||||||
| 1505 | if( iLeft<nLeft && aContent[aLeft[iLeft]]==dbpage ) iLeft++; executed 69721 times by 5 tests: iLeft++;Executed by:
| 69721-2251822 | ||||||||||||||||||
| 1506 | - | |||||||||||||||||||
| 1507 | assert( iLeft>=nLeft || aContent[aLeft[iLeft]]>dbpage ); | - | ||||||||||||||||||
| 1508 | assert( iRight>=nRight || aContent[aRight[iRight]]>dbpage ); | - | ||||||||||||||||||
| 1509 | } executed 4175831 times by 8 tests: end of blockExecuted by:
| 4175831 | ||||||||||||||||||
| 1510 | - | |||||||||||||||||||
| 1511 | *paRight = aLeft; | - | ||||||||||||||||||
| 1512 | *pnRight = iOut; | - | ||||||||||||||||||
| 1513 | memcpy(aLeft, aTmp, sizeof(aTmp[0])*iOut); | - | ||||||||||||||||||
| 1514 | } executed 422257 times by 8 tests: end of blockExecuted by:
| 422257 | ||||||||||||||||||
| 1515 | - | |||||||||||||||||||
| 1516 | /* | - | ||||||||||||||||||
| 1517 | ** Sort the elements in list aList using aContent[] as the sort key. | - | ||||||||||||||||||
| 1518 | ** Remove elements with duplicate keys, preferring to keep the | - | ||||||||||||||||||
| 1519 | ** larger aList[] values. | - | ||||||||||||||||||
| 1520 | ** | - | ||||||||||||||||||
| 1521 | ** The aList[] entries are indices into aContent[]. The values in | - | ||||||||||||||||||
| 1522 | ** aList[] are to be sorted so that for all J<K: | - | ||||||||||||||||||
| 1523 | ** | - | ||||||||||||||||||
| 1524 | ** aContent[aList[J]] < aContent[aList[K]] | - | ||||||||||||||||||
| 1525 | ** | - | ||||||||||||||||||
| 1526 | ** For any X and Y such that | - | ||||||||||||||||||
| 1527 | ** | - | ||||||||||||||||||
| 1528 | ** aContent[aList[X]] == aContent[aList[Y]] | - | ||||||||||||||||||
| 1529 | ** | - | ||||||||||||||||||
| 1530 | ** Keep the larger of the two values aList[X] and aList[Y] and discard | - | ||||||||||||||||||
| 1531 | ** the smaller. | - | ||||||||||||||||||
| 1532 | */ | - | ||||||||||||||||||
| 1533 | static void walMergesort( | - | ||||||||||||||||||
| 1534 | const u32 *aContent, /* Pages in wal */ | - | ||||||||||||||||||
| 1535 | ht_slot *aBuffer, /* Buffer of at least *pnList items to use */ | - | ||||||||||||||||||
| 1536 | ht_slot *aList, /* IN/OUT: List to sort */ | - | ||||||||||||||||||
| 1537 | int *pnList /* IN/OUT: Number of elements in aList[] */ | - | ||||||||||||||||||
| 1538 | ){ | - | ||||||||||||||||||
| 1539 | struct Sublist { | - | ||||||||||||||||||
| 1540 | int nList; /* Number of elements in aList */ | - | ||||||||||||||||||
| 1541 | ht_slot *aList; /* Pointer to sub-list content */ | - | ||||||||||||||||||
| 1542 | }; | - | ||||||||||||||||||
| 1543 | - | |||||||||||||||||||
| 1544 | const int nList = *pnList; /* Size of input list */ | - | ||||||||||||||||||
| 1545 | int nMerge = 0; /* Number of elements in list aMerge */ | - | ||||||||||||||||||
| 1546 | ht_slot *aMerge = 0; /* List to be merged */ | - | ||||||||||||||||||
| 1547 | int iList; /* Index into input list */ | - | ||||||||||||||||||
| 1548 | u32 iSub = 0; /* Index into aSub array */ | - | ||||||||||||||||||
| 1549 | struct Sublist aSub[13]; /* Array of sub-lists */ | - | ||||||||||||||||||
| 1550 | - | |||||||||||||||||||
| 1551 | memset(aSub, 0, sizeof(aSub)); | - | ||||||||||||||||||
| 1552 | assert( nList<=HASHTABLE_NPAGE && nList>0 ); | - | ||||||||||||||||||
| 1553 | assert( HASHTABLE_NPAGE==(1<<(ArraySize(aSub)-1)) ); | - | ||||||||||||||||||
| 1554 | - | |||||||||||||||||||
| 1555 | for(iList=0; iList<nList; iList++){
| 5139-427396 | ||||||||||||||||||
| 1556 | nMerge = 1; | - | ||||||||||||||||||
| 1557 | aMerge = &aList[iList]; | - | ||||||||||||||||||
| 1558 | for(iSub=0; iList & (1<<iSub); iSub++){
| 420456-427396 | ||||||||||||||||||
| 1559 | struct Sublist *p; | - | ||||||||||||||||||
| 1560 | assert( iSub<ArraySize(aSub) ); | - | ||||||||||||||||||
| 1561 | p = &aSub[iSub]; | - | ||||||||||||||||||
| 1562 | assert( p->aList && p->nList<=(1<<iSub) ); | - | ||||||||||||||||||
| 1563 | assert( p->aList==&aList[iList&~((2<<iSub)-1)] ); | - | ||||||||||||||||||
| 1564 | walMerge(aContent, p->aList, p->nList, &aMerge, &nMerge, aBuffer); | - | ||||||||||||||||||
| 1565 | } executed 420456 times by 8 tests: end of blockExecuted by:
| 420456 | ||||||||||||||||||
| 1566 | aSub[iSub].aList = aMerge; | - | ||||||||||||||||||
| 1567 | aSub[iSub].nList = nMerge; | - | ||||||||||||||||||
| 1568 | } executed 427396 times by 8 tests: end of blockExecuted by:
| 427396 | ||||||||||||||||||
| 1569 | - | |||||||||||||||||||
| 1570 | for(iSub++; iSub<ArraySize(aSub); iSub++){
| 5139-56487 | ||||||||||||||||||
| 1571 | if( nList & (1<<iSub) ){
| 1801-54686 | ||||||||||||||||||
| 1572 | struct Sublist *p; | - | ||||||||||||||||||
| 1573 | assert( iSub<ArraySize(aSub) ); | - | ||||||||||||||||||
| 1574 | p = &aSub[iSub]; | - | ||||||||||||||||||
| 1575 | assert( p->nList<=(1<<iSub) ); | - | ||||||||||||||||||
| 1576 | assert( p->aList==&aList[nList&~((2<<iSub)-1)] ); | - | ||||||||||||||||||
| 1577 | walMerge(aContent, p->aList, p->nList, &aMerge, &nMerge, aBuffer); | - | ||||||||||||||||||
| 1578 | } executed 1801 times by 6 tests: end of blockExecuted by:
| 1801 | ||||||||||||||||||
| 1579 | } executed 56487 times by 8 tests: end of blockExecuted by:
| 56487 | ||||||||||||||||||
| 1580 | assert( aMerge==aList ); | - | ||||||||||||||||||
| 1581 | *pnList = nMerge; | - | ||||||||||||||||||
| 1582 | - | |||||||||||||||||||
| 1583 | #ifdef SQLITE_DEBUG | - | ||||||||||||||||||
| 1584 | { | - | ||||||||||||||||||
| 1585 | int i; | - | ||||||||||||||||||
| 1586 | for(i=1; i<*pnList; i++){ | - | ||||||||||||||||||
| 1587 | assert( aContent[aList[i]] > aContent[aList[i-1]] ); | - | ||||||||||||||||||
| 1588 | } | - | ||||||||||||||||||
| 1589 | } | - | ||||||||||||||||||
| 1590 | #endif | - | ||||||||||||||||||
| 1591 | } executed 5139 times by 8 tests: end of blockExecuted by:
| 5139 | ||||||||||||||||||
| 1592 | - | |||||||||||||||||||
| 1593 | /* | - | ||||||||||||||||||
| 1594 | ** Free an iterator allocated by walIteratorInit(). | - | ||||||||||||||||||
| 1595 | */ | - | ||||||||||||||||||
| 1596 | static void walIteratorFree(WalIterator *p){ | - | ||||||||||||||||||
| 1597 | sqlite3_free(p); | - | ||||||||||||||||||
| 1598 | } executed 7346 times by 13 tests: end of blockExecuted by:
| 7346 | ||||||||||||||||||
| 1599 | - | |||||||||||||||||||
| 1600 | /* | - | ||||||||||||||||||
| 1601 | ** Construct a WalInterator object that can be used to loop over all | - | ||||||||||||||||||
| 1602 | ** pages in the WAL following frame nBackfill in ascending order. Frames | - | ||||||||||||||||||
| 1603 | ** nBackfill or earlier may be included - excluding them is an optimization | - | ||||||||||||||||||
| 1604 | ** only. The caller must hold the checkpoint lock. | - | ||||||||||||||||||
| 1605 | ** | - | ||||||||||||||||||
| 1606 | ** On success, make *pp point to the newly allocated WalInterator object | - | ||||||||||||||||||
| 1607 | ** return SQLITE_OK. Otherwise, return an error code. If this routine | - | ||||||||||||||||||
| 1608 | ** returns an error, the value of *pp is undefined. | - | ||||||||||||||||||
| 1609 | ** | - | ||||||||||||||||||
| 1610 | ** The calling routine should invoke walIteratorFree() to destroy the | - | ||||||||||||||||||
| 1611 | ** WalIterator object when it has finished with it. | - | ||||||||||||||||||
| 1612 | */ | - | ||||||||||||||||||
| 1613 | static int walIteratorInit(Wal *pWal, u32 nBackfill, WalIterator **pp){ | - | ||||||||||||||||||
| 1614 | WalIterator *p; /* Return value */ | - | ||||||||||||||||||
| 1615 | int nSegment; /* Number of segments to merge */ | - | ||||||||||||||||||
| 1616 | u32 iLast; /* Last frame in log */ | - | ||||||||||||||||||
| 1617 | int nByte; /* Number of bytes to allocate */ | - | ||||||||||||||||||
| 1618 | int i; /* Iterator variable */ | - | ||||||||||||||||||
| 1619 | ht_slot *aTmp; /* Temp space used by merge-sort */ | - | ||||||||||||||||||
| 1620 | int rc = SQLITE_OK; /* Return Code */ | - | ||||||||||||||||||
| 1621 | - | |||||||||||||||||||
| 1622 | /* This routine only runs while holding the checkpoint lock. And | - | ||||||||||||||||||
| 1623 | ** it only runs if there is actually content in the log (mxFrame>0). | - | ||||||||||||||||||
| 1624 | */ | - | ||||||||||||||||||
| 1625 | assert( pWal->ckptLock && pWal->hdr.mxFrame>0 ); | - | ||||||||||||||||||
| 1626 | iLast = pWal->hdr.mxFrame; | - | ||||||||||||||||||
| 1627 | - | |||||||||||||||||||
| 1628 | /* Allocate space for the WalIterator object. */ | - | ||||||||||||||||||
| 1629 | nSegment = walFramePage(iLast) + 1; | - | ||||||||||||||||||
| 1630 | nByte = sizeof(WalIterator) | - | ||||||||||||||||||
| 1631 | + (nSegment-1)*sizeof(struct WalSegment) | - | ||||||||||||||||||
| 1632 | + iLast*sizeof(ht_slot); | - | ||||||||||||||||||
| 1633 | p = (WalIterator *)sqlite3_malloc64(nByte); | - | ||||||||||||||||||
| 1634 | if( !p ){
| 0-5064 | ||||||||||||||||||
| 1635 | return SQLITE_NOMEM_BKPT; never executed: return 7; | 0 | ||||||||||||||||||
| 1636 | } | - | ||||||||||||||||||
| 1637 | memset(p, 0, nByte); | - | ||||||||||||||||||
| 1638 | p->nSegment = nSegment; | - | ||||||||||||||||||
| 1639 | - | |||||||||||||||||||
| 1640 | /* Allocate temporary space used by the merge-sort routine. This block | - | ||||||||||||||||||
| 1641 | ** of memory will be freed before this function returns. | - | ||||||||||||||||||
| 1642 | */ | - | ||||||||||||||||||
| 1643 | aTmp = (ht_slot *)sqlite3_malloc64( | - | ||||||||||||||||||
| 1644 | sizeof(ht_slot) * (iLast>HASHTABLE_NPAGE?HASHTABLE_NPAGE:iLast) | - | ||||||||||||||||||
| 1645 | ); | - | ||||||||||||||||||
| 1646 | if( !aTmp ){
| 0-5064 | ||||||||||||||||||
| 1647 | rc = SQLITE_NOMEM_BKPT; | - | ||||||||||||||||||
| 1648 | } never executed: end of block | 0 | ||||||||||||||||||
| 1649 | - | |||||||||||||||||||
| 1650 | for(i=walFramePage(nBackfill+1); rc==SQLITE_OK && i<nSegment; i++){
| 0-10203 | ||||||||||||||||||
| 1651 | WalHashLoc sLoc; | - | ||||||||||||||||||
| 1652 | - | |||||||||||||||||||
| 1653 | rc = walHashGet(pWal, i, &sLoc); | - | ||||||||||||||||||
| 1654 | if( rc==SQLITE_OK ){
| 0-5139 | ||||||||||||||||||
| 1655 | int j; /* Counter variable */ | - | ||||||||||||||||||
| 1656 | int nEntry; /* Number of entries in this segment */ | - | ||||||||||||||||||
| 1657 | ht_slot *aIndex; /* Sorted index for this segment */ | - | ||||||||||||||||||
| 1658 | - | |||||||||||||||||||
| 1659 | sLoc.aPgno++; | - | ||||||||||||||||||
| 1660 | if( (i+1)==nSegment ){
| 75-5064 | ||||||||||||||||||
| 1661 | nEntry = (int)(iLast - sLoc.iZero); | - | ||||||||||||||||||
| 1662 | }else{ executed 5064 times by 8 tests: end of blockExecuted by:
| 5064 | ||||||||||||||||||
| 1663 | nEntry = (int)((u32*)sLoc.aHash - (u32*)sLoc.aPgno); | - | ||||||||||||||||||
| 1664 | } executed 75 times by 1 test: end of blockExecuted by:
| 75 | ||||||||||||||||||
| 1665 | aIndex = &((ht_slot *)&p->aSegment[p->nSegment])[sLoc.iZero]; | - | ||||||||||||||||||
| 1666 | sLoc.iZero++; | - | ||||||||||||||||||
| 1667 | - | |||||||||||||||||||
| 1668 | for(j=0; j<nEntry; j++){
| 5139-427396 | ||||||||||||||||||
| 1669 | aIndex[j] = (ht_slot)j; | - | ||||||||||||||||||
| 1670 | } executed 427396 times by 8 tests: end of blockExecuted by:
| 427396 | ||||||||||||||||||
| 1671 | walMergesort((u32 *)sLoc.aPgno, aTmp, aIndex, &nEntry); | - | ||||||||||||||||||
| 1672 | p->aSegment[i].iZero = sLoc.iZero; | - | ||||||||||||||||||
| 1673 | p->aSegment[i].nEntry = nEntry; | - | ||||||||||||||||||
| 1674 | p->aSegment[i].aIndex = aIndex; | - | ||||||||||||||||||
| 1675 | p->aSegment[i].aPgno = (u32 *)sLoc.aPgno; | - | ||||||||||||||||||
| 1676 | } executed 5139 times by 8 tests: end of blockExecuted by:
| 5139 | ||||||||||||||||||
| 1677 | } executed 5139 times by 8 tests: end of blockExecuted by:
| 5139 | ||||||||||||||||||
| 1678 | sqlite3_free(aTmp); | - | ||||||||||||||||||
| 1679 | - | |||||||||||||||||||
| 1680 | if( rc!=SQLITE_OK ){
| 0-5064 | ||||||||||||||||||
| 1681 | walIteratorFree(p); | - | ||||||||||||||||||
| 1682 | p = 0; | - | ||||||||||||||||||
| 1683 | } never executed: end of block | 0 | ||||||||||||||||||
| 1684 | *pp = p; | - | ||||||||||||||||||
| 1685 | return rc; executed 5064 times by 8 tests: return rc;Executed by:
| 5064 | ||||||||||||||||||
| 1686 | } | - | ||||||||||||||||||
| 1687 | - | |||||||||||||||||||
| 1688 | /* | - | ||||||||||||||||||
| 1689 | ** Attempt to obtain the exclusive WAL lock defined by parameters lockIdx and | - | ||||||||||||||||||
| 1690 | ** n. If the attempt fails and parameter xBusy is not NULL, then it is a | - | ||||||||||||||||||
| 1691 | ** busy-handler function. Invoke it and retry the lock until either the | - | ||||||||||||||||||
| 1692 | ** lock is successfully obtained or the busy-handler returns 0. | - | ||||||||||||||||||
| 1693 | */ | - | ||||||||||||||||||
| 1694 | static int walBusyLock( | - | ||||||||||||||||||
| 1695 | Wal *pWal, /* WAL connection */ | - | ||||||||||||||||||
| 1696 | int (*xBusy)(void*), /* Function to call when busy */ | - | ||||||||||||||||||
| 1697 | void *pBusyArg, /* Context argument for xBusyHandler */ | - | ||||||||||||||||||
| 1698 | int lockIdx, /* Offset of first byte to lock */ | - | ||||||||||||||||||
| 1699 | int n /* Number of bytes to lock */ | - | ||||||||||||||||||
| 1700 | ){ | - | ||||||||||||||||||
| 1701 | int rc; | - | ||||||||||||||||||
| 1702 | do { | - | ||||||||||||||||||
| 1703 | rc = walLockExclusive(pWal, lockIdx, n); | - | ||||||||||||||||||
| 1704 | }while( xBusy && rc==SQLITE_BUSY && xBusy(pBusyArg) ); executed 12304 times by 8 tests: end of blockExecuted by:
| 72-12304 | ||||||||||||||||||
| 1705 | return rc; executed 11872 times by 8 tests: return rc;Executed by:
| 11872 | ||||||||||||||||||
| 1706 | } | - | ||||||||||||||||||
| 1707 | - | |||||||||||||||||||
| 1708 | /* | - | ||||||||||||||||||
| 1709 | ** The cache of the wal-index header must be valid to call this function. | - | ||||||||||||||||||
| 1710 | ** Return the page-size in bytes used by the database. | - | ||||||||||||||||||
| 1711 | */ | - | ||||||||||||||||||
| 1712 | static int walPagesize(Wal *pWal){ | - | ||||||||||||||||||
| 1713 | return (pWal->hdr.szPage&0xfe00) + ((pWal->hdr.szPage&0x0001)<<16); executed 14521 times by 13 tests: return (pWal->hdr.szPage&0xfe00) + ((pWal->hdr.szPage&0x0001)<<16);Executed by:
| 14521 | ||||||||||||||||||
| 1714 | } | - | ||||||||||||||||||
| 1715 | - | |||||||||||||||||||
| 1716 | /* | - | ||||||||||||||||||
| 1717 | ** The following is guaranteed when this function is called: | - | ||||||||||||||||||
| 1718 | ** | - | ||||||||||||||||||
| 1719 | ** a) the WRITER lock is held, | - | ||||||||||||||||||
| 1720 | ** b) the entire log file has been checkpointed, and | - | ||||||||||||||||||
| 1721 | ** c) any existing readers are reading exclusively from the database | - | ||||||||||||||||||
| 1722 | ** file - there are no readers that may attempt to read a frame from | - | ||||||||||||||||||
| 1723 | ** the log file. | - | ||||||||||||||||||
| 1724 | ** | - | ||||||||||||||||||
| 1725 | ** This function updates the shared-memory structures so that the next | - | ||||||||||||||||||
| 1726 | ** client to write to the database (which may be this one) does so by | - | ||||||||||||||||||
| 1727 | ** writing frames into the start of the log file. | - | ||||||||||||||||||
| 1728 | ** | - | ||||||||||||||||||
| 1729 | ** The value of parameter salt1 is used as the aSalt[1] value in the | - | ||||||||||||||||||
| 1730 | ** new wal-index header. It should be passed a pseudo-random value (i.e. | - | ||||||||||||||||||
| 1731 | ** one obtained from sqlite3_randomness()). | - | ||||||||||||||||||
| 1732 | */ | - | ||||||||||||||||||
| 1733 | static void walRestartHdr(Wal *pWal, u32 salt1){ | - | ||||||||||||||||||
| 1734 | volatile WalCkptInfo *pInfo = walCkptInfo(pWal); | - | ||||||||||||||||||
| 1735 | int i; /* Loop counter */ | - | ||||||||||||||||||
| 1736 | u32 *aSalt = pWal->hdr.aSalt; /* Big-endian salt values */ | - | ||||||||||||||||||
| 1737 | pWal->nCkpt++; | - | ||||||||||||||||||
| 1738 | pWal->hdr.mxFrame = 0; | - | ||||||||||||||||||
| 1739 | sqlite3Put4byte((u8*)&aSalt[0], 1 + sqlite3Get4byte((u8*)&aSalt[0])); | - | ||||||||||||||||||
| 1740 | memcpy(&pWal->hdr.aSalt[1], &salt1, 4); | - | ||||||||||||||||||
| 1741 | walIndexWriteHdr(pWal); | - | ||||||||||||||||||
| 1742 | pInfo->nBackfill = 0; | - | ||||||||||||||||||
| 1743 | pInfo->nBackfillAttempted = 0; | - | ||||||||||||||||||
| 1744 | pInfo->aReadMark[1] = 0; | - | ||||||||||||||||||
| 1745 | for(i=2; i<WAL_NREADER; i++) pInfo->aReadMark[i] = READMARK_NOT_USED; executed 13023 times by 4 tests: pInfo->aReadMark[i] = 0xffffffff;Executed by:
| 4341-13023 | ||||||||||||||||||
| 1746 | assert( pInfo->aReadMark[0]==0 ); | - | ||||||||||||||||||
| 1747 | } executed 4341 times by 4 tests: end of blockExecuted by:
| 4341 | ||||||||||||||||||
| 1748 | - | |||||||||||||||||||
| 1749 | /* | - | ||||||||||||||||||
| 1750 | ** Copy as much content as we can from the WAL back into the database file | - | ||||||||||||||||||
| 1751 | ** in response to an sqlite3_wal_checkpoint() request or the equivalent. | - | ||||||||||||||||||
| 1752 | ** | - | ||||||||||||||||||
| 1753 | ** The amount of information copies from WAL to database might be limited | - | ||||||||||||||||||
| 1754 | ** by active readers. This routine will never overwrite a database page | - | ||||||||||||||||||
| 1755 | ** that a concurrent reader might be using. | - | ||||||||||||||||||
| 1756 | ** | - | ||||||||||||||||||
| 1757 | ** All I/O barrier operations (a.k.a fsyncs) occur in this routine when | - | ||||||||||||||||||
| 1758 | ** SQLite is in WAL-mode in synchronous=NORMAL. That means that if | - | ||||||||||||||||||
| 1759 | ** checkpoints are always run by a background thread or background | - | ||||||||||||||||||
| 1760 | ** process, foreground threads will never block on a lengthy fsync call. | - | ||||||||||||||||||
| 1761 | ** | - | ||||||||||||||||||
| 1762 | ** Fsync is called on the WAL before writing content out of the WAL and | - | ||||||||||||||||||
| 1763 | ** into the database. This ensures that if the new content is persistent | - | ||||||||||||||||||
| 1764 | ** in the WAL and can be recovered following a power-loss or hard reset. | - | ||||||||||||||||||
| 1765 | ** | - | ||||||||||||||||||
| 1766 | ** Fsync is also called on the database file if (and only if) the entire | - | ||||||||||||||||||
| 1767 | ** WAL content is copied into the database file. This second fsync makes | - | ||||||||||||||||||
| 1768 | ** it safe to delete the WAL since the new content will persist in the | - | ||||||||||||||||||
| 1769 | ** database file. | - | ||||||||||||||||||
| 1770 | ** | - | ||||||||||||||||||
| 1771 | ** This routine uses and updates the nBackfill field of the wal-index header. | - | ||||||||||||||||||
| 1772 | ** This is the only routine that will increase the value of nBackfill. | - | ||||||||||||||||||
| 1773 | ** (A WAL reset or recovery will revert nBackfill to zero, but not increase | - | ||||||||||||||||||
| 1774 | ** its value.) | - | ||||||||||||||||||
| 1775 | ** | - | ||||||||||||||||||
| 1776 | ** The caller must be holding sufficient locks to ensure that no other | - | ||||||||||||||||||
| 1777 | ** checkpoint is running (in any other thread or process) at the same | - | ||||||||||||||||||
| 1778 | ** time. | - | ||||||||||||||||||
| 1779 | */ | - | ||||||||||||||||||
| 1780 | static int walCheckpoint( | - | ||||||||||||||||||
| 1781 | Wal *pWal, /* Wal connection */ | - | ||||||||||||||||||
| 1782 | sqlite3 *db, /* Check for interrupts on this handle */ | - | ||||||||||||||||||
| 1783 | int eMode, /* One of PASSIVE, FULL or RESTART */ | - | ||||||||||||||||||
| 1784 | int (*xBusy)(void*), /* Function to call when busy */ | - | ||||||||||||||||||
| 1785 | void *pBusyArg, /* Context argument for xBusyHandler */ | - | ||||||||||||||||||
| 1786 | int sync_flags, /* Flags for OsSync() (or 0) */ | - | ||||||||||||||||||
| 1787 | u8 *zBuf /* Temporary buffer to use */ | - | ||||||||||||||||||
| 1788 | ){ | - | ||||||||||||||||||
| 1789 | int rc = SQLITE_OK; /* Return code */ | - | ||||||||||||||||||
| 1790 | int szPage; /* Database page-size */ | - | ||||||||||||||||||
| 1791 | WalIterator *pIter = 0; /* Wal iterator context */ | - | ||||||||||||||||||
| 1792 | u32 iDbpage = 0; /* Next database page to write */ | - | ||||||||||||||||||
| 1793 | u32 iFrame = 0; /* Wal frame containing data for iDbpage */ | - | ||||||||||||||||||
| 1794 | u32 mxSafeFrame; /* Max frame that can be backfilled */ | - | ||||||||||||||||||
| 1795 | u32 mxPage; /* Max database page to write */ | - | ||||||||||||||||||
| 1796 | int i; /* Loop counter */ | - | ||||||||||||||||||
| 1797 | volatile WalCkptInfo *pInfo; /* The checkpoint status information */ | - | ||||||||||||||||||
| 1798 | - | |||||||||||||||||||
| 1799 | szPage = walPagesize(pWal); | - | ||||||||||||||||||
| 1800 | testcase( szPage<=32768 ); | - | ||||||||||||||||||
| 1801 | testcase( szPage>=65536 ); | - | ||||||||||||||||||
| 1802 | pInfo = walCkptInfo(pWal); | - | ||||||||||||||||||
| 1803 | if( pInfo->nBackfill<pWal->hdr.mxFrame ){
| 410-6936 | ||||||||||||||||||
| 1804 | - | |||||||||||||||||||
| 1805 | /* EVIDENCE-OF: R-62920-47450 The busy-handler callback is never invoked | - | ||||||||||||||||||
| 1806 | ** in the SQLITE_CHECKPOINT_PASSIVE mode. */ | - | ||||||||||||||||||
| 1807 | assert( eMode!=SQLITE_CHECKPOINT_PASSIVE || xBusy==0 ); | - | ||||||||||||||||||
| 1808 | - | |||||||||||||||||||
| 1809 | /* Compute in mxSafeFrame the index of the last frame of the WAL that is | - | ||||||||||||||||||
| 1810 | ** safe to write into the database. Frames beyond mxSafeFrame might | - | ||||||||||||||||||
| 1811 | ** overwrite database pages that are in use by active readers and thus | - | ||||||||||||||||||
| 1812 | ** cannot be backfilled from the WAL. | - | ||||||||||||||||||
| 1813 | */ | - | ||||||||||||||||||
| 1814 | mxSafeFrame = pWal->hdr.mxFrame; | - | ||||||||||||||||||
| 1815 | mxPage = pWal->hdr.nPage; | - | ||||||||||||||||||
| 1816 | for(i=1; i<WAL_NREADER; i++){
| 6936-27744 | ||||||||||||||||||
| 1817 | /* Thread-sanitizer reports that the following is an unsafe read, | - | ||||||||||||||||||
| 1818 | ** as some other thread may be in the process of updating the value | - | ||||||||||||||||||
| 1819 | ** of the aReadMark[] slot. The assumption here is that if that is | - | ||||||||||||||||||
| 1820 | ** happening, the other client may only be increasing the value, | - | ||||||||||||||||||
| 1821 | ** not decreasing it. So assuming either that either the "old" or | - | ||||||||||||||||||
| 1822 | ** "new" version of the value is read, and not some arbitrary value | - | ||||||||||||||||||
| 1823 | ** that would never be written by a real client, things are still | - | ||||||||||||||||||
| 1824 | ** safe. */ | - | ||||||||||||||||||
| 1825 | u32 y = pInfo->aReadMark[i]; | - | ||||||||||||||||||
| 1826 | if( mxSafeFrame>y ){
| 6553-21191 | ||||||||||||||||||
| 1827 | assert( y<=pWal->hdr.mxFrame ); | - | ||||||||||||||||||
| 1828 | rc = walBusyLock(pWal, xBusy, pBusyArg, WAL_READ_LOCK(i), 1); | - | ||||||||||||||||||
| 1829 | if( rc==SQLITE_OK ){
| 1911-4642 | ||||||||||||||||||
| 1830 | pInfo->aReadMark[i] = (i==1 ? mxSafeFrame : READMARK_NOT_USED);
| 35-4607 | ||||||||||||||||||
| 1831 | walUnlockExclusive(pWal, WAL_READ_LOCK(i), 1); | - | ||||||||||||||||||
| 1832 | }else if( rc==SQLITE_BUSY ){ executed 4642 times by 6 tests: end of blockExecuted by:
| 0-4642 | ||||||||||||||||||
| 1833 | mxSafeFrame = y; | - | ||||||||||||||||||
| 1834 | xBusy = 0; | - | ||||||||||||||||||
| 1835 | }else{ executed 1911 times by 1 test: end of blockExecuted by:
| 1911 | ||||||||||||||||||
| 1836 | goto walcheckpoint_out; never executed: goto walcheckpoint_out; | 0 | ||||||||||||||||||
| 1837 | } | - | ||||||||||||||||||
| 1838 | } | - | ||||||||||||||||||
| 1839 | } executed 27744 times by 8 tests: end of blockExecuted by:
| 27744 | ||||||||||||||||||
| 1840 | - | |||||||||||||||||||
| 1841 | /* Allocate the iterator */ | - | ||||||||||||||||||
| 1842 | if( pInfo->nBackfill<mxSafeFrame ){
| 1872-5064 | ||||||||||||||||||
| 1843 | rc = walIteratorInit(pWal, pInfo->nBackfill, &pIter); | - | ||||||||||||||||||
| 1844 | assert( rc==SQLITE_OK || pIter==0 ); | - | ||||||||||||||||||
| 1845 | } executed 5064 times by 8 tests: end of blockExecuted by:
| 5064 | ||||||||||||||||||
| 1846 | - | |||||||||||||||||||
| 1847 | if( pIter
| 1872-5064 | ||||||||||||||||||
| 1848 | && (rc = walBusyLock(pWal, xBusy, pBusyArg, WAL_READ_LOCK(0),1))==SQLITE_OK
| 4-5060 | ||||||||||||||||||
| 1849 | ){ | - | ||||||||||||||||||
| 1850 | u32 nBackfill = pInfo->nBackfill; | - | ||||||||||||||||||
| 1851 | - | |||||||||||||||||||
| 1852 | pInfo->nBackfillAttempted = mxSafeFrame; | - | ||||||||||||||||||
| 1853 | - | |||||||||||||||||||
| 1854 | /* Sync the WAL to disk */ | - | ||||||||||||||||||
| 1855 | rc = sqlite3OsSync(pWal->pWalFd, CKPT_SYNC_FLAGS(sync_flags)); | - | ||||||||||||||||||
| 1856 | - | |||||||||||||||||||
| 1857 | /* If the database may grow as a result of this checkpoint, hint | - | ||||||||||||||||||
| 1858 | ** about the eventual size of the db file to the VFS layer. | - | ||||||||||||||||||
| 1859 | */ | - | ||||||||||||||||||
| 1860 | if( rc==SQLITE_OK ){
| 0-5060 | ||||||||||||||||||
| 1861 | i64 nReq = ((i64)mxPage * szPage); | - | ||||||||||||||||||
| 1862 | i64 nSize; /* Current size of database file */ | - | ||||||||||||||||||
| 1863 | rc = sqlite3OsFileSize(pWal->pDbFd, &nSize); | - | ||||||||||||||||||
| 1864 | if( rc==SQLITE_OK && nSize<nReq ){
| 0-5060 | ||||||||||||||||||
| 1865 | sqlite3OsFileControlHint(pWal->pDbFd, SQLITE_FCNTL_SIZE_HINT, &nReq); | - | ||||||||||||||||||
| 1866 | } executed 603 times by 8 tests: end of blockExecuted by:
| 603 | ||||||||||||||||||
| 1867 | } executed 5060 times by 8 tests: end of blockExecuted by:
| 5060 | ||||||||||||||||||
| 1868 | - | |||||||||||||||||||
| 1869 | - | |||||||||||||||||||
| 1870 | /* Iterate through the contents of the WAL, copying data to the db file */ | - | ||||||||||||||||||
| 1871 | while( rc==SQLITE_OK && 0==walIteratorNext(pIter, &iDbpage, &iFrame) ){
| 0-361376 | ||||||||||||||||||
| 1872 | i64 iOffset; | - | ||||||||||||||||||
| 1873 | assert( walFramePgno(pWal, iFrame)==iDbpage ); | - | ||||||||||||||||||
| 1874 | if( db->u1.isInterrupted ){
| 11-356317 | ||||||||||||||||||
| 1875 | rc = db->mallocFailed ? SQLITE_NOMEM_BKPT : SQLITE_INTERRUPT;
| 0-11 | ||||||||||||||||||
| 1876 | break; executed 11 times by 1 test: break;Executed by:
| 11 | ||||||||||||||||||
| 1877 | } | - | ||||||||||||||||||
| 1878 | if( iFrame<=nBackfill || iFrame>mxSafeFrame || iDbpage>mxPage ){
| 63-356254 | ||||||||||||||||||
| 1879 | continue; executed 541 times by 2 tests: continue;Executed by:
| 541 | ||||||||||||||||||
| 1880 | } | - | ||||||||||||||||||
| 1881 | iOffset = walFrameOffset(iFrame, szPage) + WAL_FRAME_HDRSIZE; | - | ||||||||||||||||||
| 1882 | /* testcase( IS_BIG_INT(iOffset) ); // requires a 4GiB WAL file */ | - | ||||||||||||||||||
| 1883 | rc = sqlite3OsRead(pWal->pWalFd, zBuf, szPage, iOffset); | - | ||||||||||||||||||
| 1884 | if( rc!=SQLITE_OK ) break; never executed: break;
| 0-355776 | ||||||||||||||||||
| 1885 | iOffset = (iDbpage-1)*(i64)szPage; | - | ||||||||||||||||||
| 1886 | testcase( IS_BIG_INT(iOffset) ); | - | ||||||||||||||||||
| 1887 | rc = sqlite3OsWrite(pWal->pDbFd, zBuf, szPage, iOffset); | - | ||||||||||||||||||
| 1888 | if( rc!=SQLITE_OK ) break; executed 1 time by 1 test: break;Executed by:
| 1-355775 | ||||||||||||||||||
| 1889 | } executed 355775 times by 8 tests: end of blockExecuted by:
| 355775 | ||||||||||||||||||
| 1890 | - | |||||||||||||||||||
| 1891 | /* If work was actually accomplished... */ | - | ||||||||||||||||||
| 1892 | if( rc==SQLITE_OK ){
| 12-5048 | ||||||||||||||||||
| 1893 | if( mxSafeFrame==walIndexHdr(pWal)->mxFrame ){
| 37-5011 | ||||||||||||||||||
| 1894 | i64 szDb = pWal->hdr.nPage*(i64)szPage; | - | ||||||||||||||||||
| 1895 | testcase( IS_BIG_INT(szDb) ); | - | ||||||||||||||||||
| 1896 | rc = sqlite3OsTruncate(pWal->pDbFd, szDb); | - | ||||||||||||||||||
| 1897 | if( rc==SQLITE_OK ){
| 0-5011 | ||||||||||||||||||
| 1898 | rc = sqlite3OsSync(pWal->pDbFd, CKPT_SYNC_FLAGS(sync_flags)); | - | ||||||||||||||||||
| 1899 | } executed 5011 times by 8 tests: end of blockExecuted by:
| 5011 | ||||||||||||||||||
| 1900 | } executed 5011 times by 8 tests: end of blockExecuted by:
| 5011 | ||||||||||||||||||
| 1901 | if( rc==SQLITE_OK ){
| 0-5048 | ||||||||||||||||||
| 1902 | pInfo->nBackfill = mxSafeFrame; | - | ||||||||||||||||||
| 1903 | } executed 5048 times by 8 tests: end of blockExecuted by:
| 5048 | ||||||||||||||||||
| 1904 | } executed 5048 times by 8 tests: end of blockExecuted by:
| 5048 | ||||||||||||||||||
| 1905 | - | |||||||||||||||||||
| 1906 | /* Release the reader lock held while backfilling */ | - | ||||||||||||||||||
| 1907 | walUnlockExclusive(pWal, WAL_READ_LOCK(0), 1); | - | ||||||||||||||||||
| 1908 | } executed 5060 times by 8 tests: end of blockExecuted by:
| 5060 | ||||||||||||||||||
| 1909 | - | |||||||||||||||||||
| 1910 | if( rc==SQLITE_BUSY ){
| 1876-5060 | ||||||||||||||||||
| 1911 | /* Reset the return code so as not to report a checkpoint failure | - | ||||||||||||||||||
| 1912 | ** just because there are active readers. */ | - | ||||||||||||||||||
| 1913 | rc = SQLITE_OK; | - | ||||||||||||||||||
| 1914 | } executed 1876 times by 1 test: end of blockExecuted by:
| 1876 | ||||||||||||||||||
| 1915 | } executed 6936 times by 8 tests: end of blockExecuted by:
| 6936 | ||||||||||||||||||
| 1916 | - | |||||||||||||||||||
| 1917 | /* If this is an SQLITE_CHECKPOINT_RESTART or TRUNCATE operation, and the | - | ||||||||||||||||||
| 1918 | ** entire wal file has been copied into the database file, then block | - | ||||||||||||||||||
| 1919 | ** until all readers have finished using the wal file. This ensures that | - | ||||||||||||||||||
| 1920 | ** the next process to write to the database restarts the wal file. | - | ||||||||||||||||||
| 1921 | */ | - | ||||||||||||||||||
| 1922 | if( rc==SQLITE_OK && eMode!=SQLITE_CHECKPOINT_PASSIVE ){
| 12-7334 | ||||||||||||||||||
| 1923 | assert( pWal->writeLock ); | - | ||||||||||||||||||
| 1924 | if( pInfo->nBackfill<pWal->hdr.mxFrame ){
| 16-116 | ||||||||||||||||||
| 1925 | rc = SQLITE_BUSY; | - | ||||||||||||||||||
| 1926 | }else if( eMode>=SQLITE_CHECKPOINT_RESTART ){ executed 16 times by 1 test: end of blockExecuted by:
| 16-91 | ||||||||||||||||||
| 1927 | u32 salt1; | - | ||||||||||||||||||
| 1928 | sqlite3_randomness(4, &salt1); | - | ||||||||||||||||||
| 1929 | assert( pInfo->nBackfill==pWal->hdr.mxFrame ); | - | ||||||||||||||||||
| 1930 | rc = walBusyLock(pWal, xBusy, pBusyArg, WAL_READ_LOCK(1), WAL_NREADER-1); | - | ||||||||||||||||||
| 1931 | if( rc==SQLITE_OK ){
| 30-61 | ||||||||||||||||||
| 1932 | if( eMode==SQLITE_CHECKPOINT_TRUNCATE ){
| 23-38 | ||||||||||||||||||
| 1933 | /* IMPLEMENTATION-OF: R-44699-57140 This mode works the same way as | - | ||||||||||||||||||
| 1934 | ** SQLITE_CHECKPOINT_RESTART with the addition that it also | - | ||||||||||||||||||
| 1935 | ** truncates the log file to zero bytes just prior to a | - | ||||||||||||||||||
| 1936 | ** successful return. | - | ||||||||||||||||||
| 1937 | ** | - | ||||||||||||||||||
| 1938 | ** In theory, it might be safe to do this without updating the | - | ||||||||||||||||||
| 1939 | ** wal-index header in shared memory, as all subsequent reader or | - | ||||||||||||||||||
| 1940 | ** writer clients should see that the entire log file has been | - | ||||||||||||||||||
| 1941 | ** checkpointed and behave accordingly. This seems unsafe though, | - | ||||||||||||||||||
| 1942 | ** as it would leave the system in a state where the contents of | - | ||||||||||||||||||
| 1943 | ** the wal-index header do not match the contents of the | - | ||||||||||||||||||
| 1944 | ** file-system. To avoid this, update the wal-index header to | - | ||||||||||||||||||
| 1945 | ** indicate that the log file contains zero valid frames. */ | - | ||||||||||||||||||
| 1946 | walRestartHdr(pWal, salt1); | - | ||||||||||||||||||
| 1947 | rc = sqlite3OsTruncate(pWal->pWalFd, 0); | - | ||||||||||||||||||
| 1948 | } executed 38 times by 3 tests: end of blockExecuted by:
| 38 | ||||||||||||||||||
| 1949 | walUnlockExclusive(pWal, WAL_READ_LOCK(1), WAL_NREADER-1); | - | ||||||||||||||||||
| 1950 | } executed 61 times by 3 tests: end of blockExecuted by:
| 61 | ||||||||||||||||||
| 1951 | } executed 91 times by 3 tests: end of blockExecuted by:
| 91 | ||||||||||||||||||
| 1952 | } executed 132 times by 3 tests: end of blockExecuted by:
| 132 | ||||||||||||||||||
| 1953 | - | |||||||||||||||||||
| 1954 | walcheckpoint_out: code before this statement executed 7346 times by 13 tests: walcheckpoint_out:Executed by:
| 7346 | ||||||||||||||||||
| 1955 | walIteratorFree(pIter); | - | ||||||||||||||||||
| 1956 | return rc; executed 7346 times by 13 tests: return rc;Executed by:
| 7346 | ||||||||||||||||||
| 1957 | } | - | ||||||||||||||||||
| 1958 | - | |||||||||||||||||||
| 1959 | /* | - | ||||||||||||||||||
| 1960 | ** If the WAL file is currently larger than nMax bytes in size, truncate | - | ||||||||||||||||||
| 1961 | ** it to exactly nMax bytes. If an error occurs while doing so, ignore it. | - | ||||||||||||||||||
| 1962 | */ | - | ||||||||||||||||||
| 1963 | static void walLimitSize(Wal *pWal, i64 nMax){ | - | ||||||||||||||||||
| 1964 | i64 sz; | - | ||||||||||||||||||
| 1965 | int rx; | - | ||||||||||||||||||
| 1966 | sqlite3BeginBenignMalloc(); | - | ||||||||||||||||||
| 1967 | rx = sqlite3OsFileSize(pWal->pWalFd, &sz); | - | ||||||||||||||||||
| 1968 | if( rx==SQLITE_OK && (sz > nMax ) ){
| 0-19 | ||||||||||||||||||
| 1969 | rx = sqlite3OsTruncate(pWal->pWalFd, nMax); | - | ||||||||||||||||||
| 1970 | } executed 14 times by 1 test: end of blockExecuted by:
| 14 | ||||||||||||||||||
| 1971 | sqlite3EndBenignMalloc(); | - | ||||||||||||||||||
| 1972 | if( rx ){
| 0-19 | ||||||||||||||||||
| 1973 | sqlite3_log(rx, "cannot limit WAL size: %s", pWal->zWalName); | - | ||||||||||||||||||
| 1974 | } never executed: end of block | 0 | ||||||||||||||||||
| 1975 | } executed 19 times by 1 test: end of blockExecuted by:
| 19 | ||||||||||||||||||
| 1976 | - | |||||||||||||||||||
| 1977 | /* | - | ||||||||||||||||||
| 1978 | ** Close a connection to a log file. | - | ||||||||||||||||||
| 1979 | */ | - | ||||||||||||||||||
| 1980 | int sqlite3WalClose( | - | ||||||||||||||||||
| 1981 | Wal *pWal, /* Wal to close */ | - | ||||||||||||||||||
| 1982 | sqlite3 *db, /* For interrupt flag */ | - | ||||||||||||||||||
| 1983 | int sync_flags, /* Flags to pass to OsSync() (or 0) */ | - | ||||||||||||||||||
| 1984 | int nBuf, | - | ||||||||||||||||||
| 1985 | u8 *zBuf /* Buffer of at least nBuf bytes */ | - | ||||||||||||||||||
| 1986 | ){ | - | ||||||||||||||||||
| 1987 | int rc = SQLITE_OK; | - | ||||||||||||||||||
| 1988 | if( pWal ){
| 1379-93926 | ||||||||||||||||||
| 1989 | int isDelete = 0; /* True to unlink wal and wal-index files */ | - | ||||||||||||||||||
| 1990 | - | |||||||||||||||||||
| 1991 | /* If an EXCLUSIVE lock can be obtained on the database file (using the | - | ||||||||||||||||||
| 1992 | ** ordinary, rollback-mode locking methods, this guarantees that the | - | ||||||||||||||||||
| 1993 | ** connection associated with this log file is the only connection to | - | ||||||||||||||||||
| 1994 | ** the database. In this case checkpoint the database and unlink both | - | ||||||||||||||||||
| 1995 | ** the wal and wal-index files. | - | ||||||||||||||||||
| 1996 | ** | - | ||||||||||||||||||
| 1997 | ** The EXCLUSIVE lock is not released before returning. | - | ||||||||||||||||||
| 1998 | */ | - | ||||||||||||||||||
| 1999 | if( zBuf!=0
| 2-1377 | ||||||||||||||||||
| 2000 | && SQLITE_OK==(rc = sqlite3OsLock(pWal->pDbFd, SQLITE_LOCK_EXCLUSIVE))
| 495-882 | ||||||||||||||||||
| 2001 | ){ | - | ||||||||||||||||||
| 2002 | if( pWal->exclusiveMode==WAL_NORMAL_MODE ){
| 14-868 | ||||||||||||||||||
| 2003 | pWal->exclusiveMode = WAL_EXCLUSIVE_MODE; | - | ||||||||||||||||||
| 2004 | } executed 868 times by 10 tests: end of blockExecuted by:
| 868 | ||||||||||||||||||
| 2005 | rc = sqlite3WalCheckpoint(pWal, db, | - | ||||||||||||||||||
| 2006 | SQLITE_CHECKPOINT_PASSIVE, 0, 0, sync_flags, nBuf, zBuf, 0, 0 | - | ||||||||||||||||||
| 2007 | ); | - | ||||||||||||||||||
| 2008 | if( rc==SQLITE_OK ){
| 42-840 | ||||||||||||||||||
| 2009 | int bPersist = -1; | - | ||||||||||||||||||
| 2010 | sqlite3OsFileControlHint( | - | ||||||||||||||||||
| 2011 | pWal->pDbFd, SQLITE_FCNTL_PERSIST_WAL, &bPersist | - | ||||||||||||||||||
| 2012 | ); | - | ||||||||||||||||||
| 2013 | if( bPersist!=1 ){
| 5-835 | ||||||||||||||||||
| 2014 | /* Try to delete the WAL file if the checkpoint completed and | - | ||||||||||||||||||
| 2015 | ** fsyned (rc==SQLITE_OK) and if we are not in persistent-wal | - | ||||||||||||||||||
| 2016 | ** mode (!bPersist) */ | - | ||||||||||||||||||
| 2017 | isDelete = 1; | - | ||||||||||||||||||
| 2018 | }else if( pWal->mxWalSize>=0 ){ executed 835 times by 10 tests: end of blockExecuted by:
| 2-835 | ||||||||||||||||||
| 2019 | /* Try to truncate the WAL file to zero bytes if the checkpoint | - | ||||||||||||||||||
| 2020 | ** completed and fsynced (rc==SQLITE_OK) and we are in persistent | - | ||||||||||||||||||
| 2021 | ** WAL mode (bPersist) and if the PRAGMA journal_size_limit is a | - | ||||||||||||||||||
| 2022 | ** non-negative value (pWal->mxWalSize>=0). Note that we truncate | - | ||||||||||||||||||
| 2023 | ** to zero bytes as truncating to the journal_size_limit might | - | ||||||||||||||||||
| 2024 | ** leave a corrupt WAL file on disk. */ | - | ||||||||||||||||||
| 2025 | walLimitSize(pWal, 0); | - | ||||||||||||||||||
| 2026 | } executed 2 times by 1 test: end of blockExecuted by:
| 2 | ||||||||||||||||||
| 2027 | } executed 840 times by 10 tests: end of blockExecuted by:
| 840 | ||||||||||||||||||
| 2028 | } executed 882 times by 10 tests: end of blockExecuted by:
| 882 | ||||||||||||||||||
| 2029 | - | |||||||||||||||||||
| 2030 | walIndexClose(pWal, isDelete); | - | ||||||||||||||||||
| 2031 | sqlite3OsClose(pWal->pWalFd); | - | ||||||||||||||||||
| 2032 | if( isDelete ){
| 544-835 | ||||||||||||||||||
| 2033 | sqlite3BeginBenignMalloc(); | - | ||||||||||||||||||
| 2034 | sqlite3OsDelete(pWal->pVfs, pWal->zWalName, 0); | - | ||||||||||||||||||
| 2035 | sqlite3EndBenignMalloc(); | - | ||||||||||||||||||
| 2036 | } executed 835 times by 10 tests: end of blockExecuted by:
| 835 | ||||||||||||||||||
| 2037 | WALTRACE(("WAL%p: closed\n", pWal)); | - | ||||||||||||||||||
| 2038 | sqlite3_free((void *)pWal->apWiData); | - | ||||||||||||||||||
| 2039 | sqlite3_free(pWal); | - | ||||||||||||||||||
| 2040 | } executed 1379 times by 38 tests: end of blockExecuted by:
| 1379 | ||||||||||||||||||
| 2041 | return rc; executed 95305 times by 67 tests: return rc;Executed by:
| 95305 | ||||||||||||||||||
| 2042 | } | - | ||||||||||||||||||
| 2043 | - | |||||||||||||||||||
| 2044 | /* | - | ||||||||||||||||||
| 2045 | ** Try to read the wal-index header. Return 0 on success and 1 if | - | ||||||||||||||||||
| 2046 | ** there is a problem. | - | ||||||||||||||||||
| 2047 | ** | - | ||||||||||||||||||
| 2048 | ** The wal-index is in shared memory. Another thread or process might | - | ||||||||||||||||||
| 2049 | ** be writing the header at the same time this procedure is trying to | - | ||||||||||||||||||
| 2050 | ** read it, which might result in inconsistency. A dirty read is detected | - | ||||||||||||||||||
| 2051 | ** by verifying that both copies of the header are the same and also by | - | ||||||||||||||||||
| 2052 | ** a checksum on the header. | - | ||||||||||||||||||
| 2053 | ** | - | ||||||||||||||||||
| 2054 | ** If and only if the read is consistent and the header is different from | - | ||||||||||||||||||
| 2055 | ** pWal->hdr, then pWal->hdr is updated to the content of the new header | - | ||||||||||||||||||
| 2056 | ** and *pChanged is set to 1. | - | ||||||||||||||||||
| 2057 | ** | - | ||||||||||||||||||
| 2058 | ** If the checksum cannot be verified return non-zero. If the header | - | ||||||||||||||||||
| 2059 | ** is read successfully and the checksum verified, return zero. | - | ||||||||||||||||||
| 2060 | */ | - | ||||||||||||||||||
| 2061 | static int walIndexTryHdr(Wal *pWal, int *pChanged){ | - | ||||||||||||||||||
| 2062 | u32 aCksum[2]; /* Checksum on the header content */ | - | ||||||||||||||||||
| 2063 | WalIndexHdr h1, h2; /* Two copies of the header content */ | - | ||||||||||||||||||
| 2064 | WalIndexHdr volatile *aHdr; /* Header in shared memory */ | - | ||||||||||||||||||
| 2065 | - | |||||||||||||||||||
| 2066 | /* The first page of the wal-index must be mapped at this point. */ | - | ||||||||||||||||||
| 2067 | assert( pWal->nWiData>0 && pWal->apWiData[0] ); | - | ||||||||||||||||||
| 2068 | - | |||||||||||||||||||
| 2069 | /* Read the header. This might happen concurrently with a write to the | - | ||||||||||||||||||
| 2070 | ** same area of shared memory on a different CPU in a SMP, | - | ||||||||||||||||||
| 2071 | ** meaning it is possible that an inconsistent snapshot is read | - | ||||||||||||||||||
| 2072 | ** from the file. If this happens, return non-zero. | - | ||||||||||||||||||
| 2073 | ** | - | ||||||||||||||||||
| 2074 | ** There are two copies of the header at the beginning of the wal-index. | - | ||||||||||||||||||
| 2075 | ** When reading, read [0] first then [1]. Writes are in the reverse order. | - | ||||||||||||||||||
| 2076 | ** Memory barriers are used to prevent the compiler or the hardware from | - | ||||||||||||||||||
| 2077 | ** reordering the reads and writes. | - | ||||||||||||||||||
| 2078 | */ | - | ||||||||||||||||||
| 2079 | aHdr = walIndexHdr(pWal); | - | ||||||||||||||||||
| 2080 | memcpy(&h1, (void *)&aHdr[0], sizeof(h1)); | - | ||||||||||||||||||
| 2081 | walShmBarrier(pWal); | - | ||||||||||||||||||
| 2082 | memcpy(&h2, (void *)&aHdr[1], sizeof(h2)); | - | ||||||||||||||||||
| 2083 | - | |||||||||||||||||||
| 2084 | if( memcmp(&h1, &h2, sizeof(h1))!=0 ){
| 82-65673 | ||||||||||||||||||
| 2085 | return 1; /* Dirty read */ executed 82 times by 3 tests: return 1;Executed by:
| 82 | ||||||||||||||||||
| 2086 | } | - | ||||||||||||||||||
| 2087 | if( h1.isInit==0 ){
| 932-64741 | ||||||||||||||||||
| 2088 | return 1; /* Malformed header - probably all zeros */ executed 932 times by 20 tests: return 1;Executed by:
| 932 | ||||||||||||||||||
| 2089 | } | - | ||||||||||||||||||
| 2090 | walChecksumBytes(1, (u8*)&h1, sizeof(h1)-sizeof(h1.aCksum), 0, aCksum); | - | ||||||||||||||||||
| 2091 | if( aCksum[0]!=h1.aCksum[0] || aCksum[1]!=h1.aCksum[1] ){
| 2-64697 | ||||||||||||||||||
| 2092 | return 1; /* Checksum does not match */ executed 46 times by 1 test: return 1;Executed by:
| 46 | ||||||||||||||||||
| 2093 | } | - | ||||||||||||||||||
| 2094 | - | |||||||||||||||||||
| 2095 | if( memcmp(&pWal->hdr, &h1, sizeof(WalIndexHdr)) ){
| 798-63897 | ||||||||||||||||||
| 2096 | *pChanged = 1; | - | ||||||||||||||||||
| 2097 | memcpy(&pWal->hdr, &h1, sizeof(WalIndexHdr)); | - | ||||||||||||||||||
| 2098 | pWal->szPage = (pWal->hdr.szPage&0xfe00) + ((pWal->hdr.szPage&0x0001)<<16); | - | ||||||||||||||||||
| 2099 | testcase( pWal->szPage<=32768 ); | - | ||||||||||||||||||
| 2100 | testcase( pWal->szPage>=65536 ); | - | ||||||||||||||||||
| 2101 | } executed 798 times by 36 tests: end of blockExecuted by:
| 798 | ||||||||||||||||||
| 2102 | - | |||||||||||||||||||
| 2103 | /* The header was successfully read. Return zero. */ | - | ||||||||||||||||||
| 2104 | return 0; executed 64695 times by 49 tests: return 0;Executed by:
| 64695 | ||||||||||||||||||
| 2105 | } | - | ||||||||||||||||||
| 2106 | - | |||||||||||||||||||
| 2107 | /* | - | ||||||||||||||||||
| 2108 | ** This is the value that walTryBeginRead returns when it needs to | - | ||||||||||||||||||
| 2109 | ** be retried. | - | ||||||||||||||||||
| 2110 | */ | - | ||||||||||||||||||
| 2111 | #define WAL_RETRY (-1) | - | ||||||||||||||||||
| 2112 | - | |||||||||||||||||||
| 2113 | /* | - | ||||||||||||||||||
| 2114 | ** Read the wal-index header from the wal-index and into pWal->hdr. | - | ||||||||||||||||||
| 2115 | ** If the wal-header appears to be corrupt, try to reconstruct the | - | ||||||||||||||||||
| 2116 | ** wal-index from the WAL before returning. | - | ||||||||||||||||||
| 2117 | ** | - | ||||||||||||||||||
| 2118 | ** Set *pChanged to 1 if the wal-index header value in pWal->hdr is | - | ||||||||||||||||||
| 2119 | ** changed by this operation. If pWal->hdr is unchanged, set *pChanged | - | ||||||||||||||||||
| 2120 | ** to 0. | - | ||||||||||||||||||
| 2121 | ** | - | ||||||||||||||||||
| 2122 | ** If the wal-index header is successfully read, return SQLITE_OK. | - | ||||||||||||||||||
| 2123 | ** Otherwise an SQLite error code. | - | ||||||||||||||||||
| 2124 | */ | - | ||||||||||||||||||
| 2125 | static int walIndexReadHdr(Wal *pWal, int *pChanged){ | - | ||||||||||||||||||
| 2126 | int rc; /* Return code */ | - | ||||||||||||||||||
| 2127 | int badHdr; /* True if a header read failed */ | - | ||||||||||||||||||
| 2128 | volatile u32 *page0; /* Chunk of wal-index containing header */ | - | ||||||||||||||||||
| 2129 | - | |||||||||||||||||||
| 2130 | /* Ensure that page 0 of the wal-index (the page that contains the | - | ||||||||||||||||||
| 2131 | ** wal-index header) is mapped. Return early if an error occurs here. | - | ||||||||||||||||||
| 2132 | */ | - | ||||||||||||||||||
| 2133 | assert( pChanged ); | - | ||||||||||||||||||
| 2134 | rc = walIndexPage(pWal, 0, &page0); | - | ||||||||||||||||||
| 2135 | if( rc!=SQLITE_OK ){
| 27-65650 | ||||||||||||||||||
| 2136 | assert( rc!=SQLITE_READONLY ); /* READONLY changed to OK in walIndexPage */ | - | ||||||||||||||||||
| 2137 | if( rc==SQLITE_READONLY_CANTINIT ){
| 5-22 | ||||||||||||||||||
| 2138 | /* The SQLITE_READONLY_CANTINIT return means that the shared-memory | - | ||||||||||||||||||
| 2139 | ** was openable but is not writable, and this thread is unable to | - | ||||||||||||||||||
| 2140 | ** confirm that another write-capable connection has the shared-memory | - | ||||||||||||||||||
| 2141 | ** open, and hence the content of the shared-memory is unreliable, | - | ||||||||||||||||||
| 2142 | ** since the shared-memory might be inconsistent with the WAL file | - | ||||||||||||||||||
| 2143 | ** and there is no writer on hand to fix it. */ | - | ||||||||||||||||||
| 2144 | assert( page0==0 ); | - | ||||||||||||||||||
| 2145 | assert( pWal->writeLock==0 ); | - | ||||||||||||||||||
| 2146 | assert( pWal->readOnly & WAL_SHM_RDONLY ); | - | ||||||||||||||||||
| 2147 | pWal->bShmUnreliable = 1; | - | ||||||||||||||||||
| 2148 | pWal->exclusiveMode = WAL_HEAPMEMORY_MODE; | - | ||||||||||||||||||
| 2149 | *pChanged = 1; | - | ||||||||||||||||||
| 2150 | }else{ executed 22 times by 2 tests: end of blockExecuted by:
| 22 | ||||||||||||||||||
| 2151 | return rc; /* Any other non-OK return is just an error */ executed 5 times by 1 test: return rc;Executed by:
| 5 | ||||||||||||||||||
| 2152 | } | - | ||||||||||||||||||
| 2153 | }else{ | - | ||||||||||||||||||
| 2154 | /* page0 can be NULL if the SHM is zero bytes in size and pWal->writeLock | - | ||||||||||||||||||
| 2155 | ** is zero, which prevents the SHM from growing */ | - | ||||||||||||||||||
| 2156 | testcase( page0!=0 ); | - | ||||||||||||||||||
| 2157 | } executed 65650 times by 49 tests: end of blockExecuted by:
| 65650 | ||||||||||||||||||
| 2158 | assert( page0!=0 || pWal->writeLock==0 ); | - | ||||||||||||||||||
| 2159 | - | |||||||||||||||||||
| 2160 | /* If the first page of the wal-index has been mapped, try to read the | - | ||||||||||||||||||
| 2161 | ** wal-index header immediately, without holding any lock. This usually | - | ||||||||||||||||||
| 2162 | ** works, but may fail if the wal-index header is corrupt or currently | - | ||||||||||||||||||
| 2163 | ** being modified by another thread or process. | - | ||||||||||||||||||
| 2164 | */ | - | ||||||||||||||||||
| 2165 | badHdr = (page0 ? walIndexTryHdr(pWal, pChanged) : 1);
| 900-64772 | ||||||||||||||||||
| 2166 | - | |||||||||||||||||||
| 2167 | /* If the first attempt failed, it might have been due to a race | - | ||||||||||||||||||
| 2168 | ** with a writer. So get a WRITE lock and try again. | - | ||||||||||||||||||
| 2169 | */ | - | ||||||||||||||||||
| 2170 | assert( badHdr==0 || pWal->writeLock==0 ); | - | ||||||||||||||||||
| 2171 | if( badHdr ){
| 985-64687 | ||||||||||||||||||
| 2172 | if( pWal->bShmUnreliable==0 && (pWal->readOnly & WAL_SHM_RDONLY) ){
| 0-963 | ||||||||||||||||||
| 2173 | if( SQLITE_OK==(rc = walLockShared(pWal, WAL_WRITE_LOCK)) ){
| 0 | ||||||||||||||||||
| 2174 | walUnlockShared(pWal, WAL_WRITE_LOCK); | - | ||||||||||||||||||
| 2175 | rc = SQLITE_READONLY_RECOVERY; | - | ||||||||||||||||||
| 2176 | } never executed: end of block | 0 | ||||||||||||||||||
| 2177 | }else if( SQLITE_OK==(rc = walLockExclusive(pWal, WAL_WRITE_LOCK, 1)) ){ never executed: end of block
| 0-983 | ||||||||||||||||||
| 2178 | pWal->writeLock = 1; | - | ||||||||||||||||||
| 2179 | if( SQLITE_OK==(rc = walIndexPage(pWal, 0, &page0)) ){
| 0-983 | ||||||||||||||||||
| 2180 | badHdr = walIndexTryHdr(pWal, pChanged); | - | ||||||||||||||||||
| 2181 | if( badHdr ){
| 8-975 | ||||||||||||||||||
| 2182 | /* If the wal-index header is still malformed even while holding | - | ||||||||||||||||||
| 2183 | ** a WRITE lock, it can only mean that the header is corrupted and | - | ||||||||||||||||||
| 2184 | ** needs to be reconstructed. So run recovery to do exactly that. | - | ||||||||||||||||||
| 2185 | */ | - | ||||||||||||||||||
| 2186 | rc = walIndexRecover(pWal); | - | ||||||||||||||||||
| 2187 | *pChanged = 1; | - | ||||||||||||||||||
| 2188 | } executed 975 times by 22 tests: end of blockExecuted by:
| 975 | ||||||||||||||||||
| 2189 | } executed 983 times by 22 tests: end of blockExecuted by:
| 983 | ||||||||||||||||||
| 2190 | pWal->writeLock = 0; | - | ||||||||||||||||||
| 2191 | walUnlockExclusive(pWal, WAL_WRITE_LOCK, 1); | - | ||||||||||||||||||
| 2192 | } executed 983 times by 22 tests: end of blockExecuted by:
| 983 | ||||||||||||||||||
| 2193 | } executed 985 times by 22 tests: end of blockExecuted by:
| 985 | ||||||||||||||||||
| 2194 | - | |||||||||||||||||||
| 2195 | /* If the header is read successfully, check the version number to make | - | ||||||||||||||||||
| 2196 | ** sure the wal-index was not constructed with some future format that | - | ||||||||||||||||||
| 2197 | ** this version of SQLite cannot understand. | - | ||||||||||||||||||
| 2198 | */ | - | ||||||||||||||||||
| 2199 | if( badHdr==0 && pWal->hdr.iVersion!=WALINDEX_MAX_VERSION ){
| 2-64695 | ||||||||||||||||||
| 2200 | rc = SQLITE_CANTOPEN_BKPT; | - | ||||||||||||||||||
| 2201 | } executed 2 times by 1 test: end of blockExecuted by:
| 2 | ||||||||||||||||||
| 2202 | if( pWal->bShmUnreliable ){
| 22-65650 | ||||||||||||||||||
| 2203 | if( rc!=SQLITE_OK ){
| 2-20 | ||||||||||||||||||
| 2204 | walIndexClose(pWal, 0); | - | ||||||||||||||||||
| 2205 | pWal->bShmUnreliable = 0; | - | ||||||||||||||||||
| 2206 | assert( pWal->nWiData>0 && pWal->apWiData[0]==0 ); | - | ||||||||||||||||||
| 2207 | /* walIndexRecover() might have returned SHORT_READ if a concurrent | - | ||||||||||||||||||
| 2208 | ** writer truncated the WAL out from under it. If that happens, it | - | ||||||||||||||||||
| 2209 | ** indicates that a writer has fixed the SHM file for us, so retry */ | - | ||||||||||||||||||
| 2210 | if( rc==SQLITE_IOERR_SHORT_READ ) rc = WAL_RETRY; executed 2 times by 1 test: rc = (-1);Executed by:
| 0-2 | ||||||||||||||||||
| 2211 | } executed 2 times by 1 test: end of blockExecuted by:
| 2 | ||||||||||||||||||
| 2212 | pWal->exclusiveMode = WAL_NORMAL_MODE; | - | ||||||||||||||||||
| 2213 | } executed 22 times by 2 tests: end of blockExecuted by:
| 22 | ||||||||||||||||||
| 2214 | - | |||||||||||||||||||
| 2215 | return rc; executed 65672 times by 49 tests: return rc;Executed by:
| 65672 | ||||||||||||||||||
| 2216 | } | - | ||||||||||||||||||
| 2217 | - | |||||||||||||||||||
| 2218 | /* | - | ||||||||||||||||||
| 2219 | ** Open a transaction in a connection where the shared-memory is read-only | - | ||||||||||||||||||
| 2220 | ** and where we cannot verify that there is a separate write-capable connection | - | ||||||||||||||||||
| 2221 | ** on hand to keep the shared-memory up-to-date with the WAL file. | - | ||||||||||||||||||
| 2222 | ** | - | ||||||||||||||||||
| 2223 | ** This can happen, for example, when the shared-memory is implemented by | - | ||||||||||||||||||
| 2224 | ** memory-mapping a *-shm file, where a prior writer has shut down and | - | ||||||||||||||||||
| 2225 | ** left the *-shm file on disk, and now the present connection is trying | - | ||||||||||||||||||
| 2226 | ** to use that database but lacks write permission on the *-shm file. | - | ||||||||||||||||||
| 2227 | ** Other scenarios are also possible, depending on the VFS implementation. | - | ||||||||||||||||||
| 2228 | ** | - | ||||||||||||||||||
| 2229 | ** Precondition: | - | ||||||||||||||||||
| 2230 | ** | - | ||||||||||||||||||
| 2231 | ** The *-wal file has been read and an appropriate wal-index has been | - | ||||||||||||||||||
| 2232 | ** constructed in pWal->apWiData[] using heap memory instead of shared | - | ||||||||||||||||||
| 2233 | ** memory. | - | ||||||||||||||||||
| 2234 | ** | - | ||||||||||||||||||
| 2235 | ** If this function returns SQLITE_OK, then the read transaction has | - | ||||||||||||||||||
| 2236 | ** been successfully opened. In this case output variable (*pChanged) | - | ||||||||||||||||||
| 2237 | ** is set to true before returning if the caller should discard the | - | ||||||||||||||||||
| 2238 | ** contents of the page cache before proceeding. Or, if it returns | - | ||||||||||||||||||
| 2239 | ** WAL_RETRY, then the heap memory wal-index has been discarded and | - | ||||||||||||||||||
| 2240 | ** the caller should retry opening the read transaction from the | - | ||||||||||||||||||
| 2241 | ** beginning (including attempting to map the *-shm file). | - | ||||||||||||||||||
| 2242 | ** | - | ||||||||||||||||||
| 2243 | ** If an error occurs, an SQLite error code is returned. | - | ||||||||||||||||||
| 2244 | */ | - | ||||||||||||||||||
| 2245 | static int walBeginShmUnreliable(Wal *pWal, int *pChanged){ | - | ||||||||||||||||||
| 2246 | i64 szWal; /* Size of wal file on disk in bytes */ | - | ||||||||||||||||||
| 2247 | i64 iOffset; /* Current offset when reading wal file */ | - | ||||||||||||||||||
| 2248 | u8 aBuf[WAL_HDRSIZE]; /* Buffer to load WAL header into */ | - | ||||||||||||||||||
| 2249 | u8 *aFrame = 0; /* Malloc'd buffer to load entire frame */ | - | ||||||||||||||||||
| 2250 | int szFrame; /* Number of bytes in buffer aFrame[] */ | - | ||||||||||||||||||
| 2251 | u8 *aData; /* Pointer to data part of aFrame buffer */ | - | ||||||||||||||||||
| 2252 | volatile void *pDummy; /* Dummy argument for xShmMap */ | - | ||||||||||||||||||
| 2253 | int rc; /* Return code */ | - | ||||||||||||||||||
| 2254 | u32 aSaveCksum[2]; /* Saved copy of pWal->hdr.aFrameCksum */ | - | ||||||||||||||||||
| 2255 | - | |||||||||||||||||||
| 2256 | assert( pWal->bShmUnreliable ); | - | ||||||||||||||||||
| 2257 | assert( pWal->readOnly & WAL_SHM_RDONLY ); | - | ||||||||||||||||||
| 2258 | assert( pWal->nWiData>0 && pWal->apWiData[0] ); | - | ||||||||||||||||||
| 2259 | - | |||||||||||||||||||
| 2260 | /* Take WAL_READ_LOCK(0). This has the effect of preventing any | - | ||||||||||||||||||
| 2261 | ** writers from running a checkpoint, but does not stop them | - | ||||||||||||||||||
| 2262 | ** from running recovery. */ | - | ||||||||||||||||||
| 2263 | rc = walLockShared(pWal, WAL_READ_LOCK(0)); | - | ||||||||||||||||||
| 2264 | if( rc!=SQLITE_OK ){
| 1-49 | ||||||||||||||||||
| 2265 | if( rc==SQLITE_BUSY ) rc = WAL_RETRY; executed 1 time by 1 test: rc = (-1);Executed by:
| 0-1 | ||||||||||||||||||
| 2266 | goto begin_unreliable_shm_out; executed 1 time by 1 test: goto begin_unreliable_shm_out;Executed by:
| 1 | ||||||||||||||||||
| 2267 | } | - | ||||||||||||||||||
| 2268 | pWal->readLock = 0; | - | ||||||||||||||||||
| 2269 | - | |||||||||||||||||||
| 2270 | /* Check to see if a separate writer has attached to the shared-memory area, | - | ||||||||||||||||||
| 2271 | ** thus making the shared-memory "reliable" again. Do this by invoking | - | ||||||||||||||||||
| 2272 | ** the xShmMap() routine of the VFS and looking to see if the return | - | ||||||||||||||||||
| 2273 | ** is SQLITE_READONLY instead of SQLITE_READONLY_CANTINIT. | - | ||||||||||||||||||
| 2274 | ** | - | ||||||||||||||||||
| 2275 | ** If the shared-memory is now "reliable" return WAL_RETRY, which will | - | ||||||||||||||||||
| 2276 | ** cause the heap-memory WAL-index to be discarded and the actual | - | ||||||||||||||||||
| 2277 | ** shared memory to be used in its place. | - | ||||||||||||||||||
| 2278 | ** | - | ||||||||||||||||||
| 2279 | ** This step is important because, even though this connection is holding | - | ||||||||||||||||||
| 2280 | ** the WAL_READ_LOCK(0) which prevents a checkpoint, a writer might | - | ||||||||||||||||||
| 2281 | ** have already checkpointed the WAL file and, while the current | - | ||||||||||||||||||
| 2282 | ** is active, wrap the WAL and start overwriting frames that this | - | ||||||||||||||||||
| 2283 | ** process wants to use. | - | ||||||||||||||||||
| 2284 | ** | - | ||||||||||||||||||
| 2285 | ** Once sqlite3OsShmMap() has been called for an sqlite3_file and has | - | ||||||||||||||||||
| 2286 | ** returned any SQLITE_READONLY value, it must return only SQLITE_READONLY | - | ||||||||||||||||||
| 2287 | ** or SQLITE_READONLY_CANTINIT or some error for all subsequent invocations, | - | ||||||||||||||||||
| 2288 | ** even if some external agent does a "chmod" to make the shared-memory | - | ||||||||||||||||||
| 2289 | ** writable by us, until sqlite3OsShmUnmap() has been called. | - | ||||||||||||||||||
| 2290 | ** This is a requirement on the VFS implementation. | - | ||||||||||||||||||
| 2291 | */ | - | ||||||||||||||||||
| 2292 | rc = sqlite3OsShmMap(pWal->pDbFd, 0, WALINDEX_PGSZ, 0, &pDummy); | - | ||||||||||||||||||
| 2293 | assert( rc!=SQLITE_OK ); /* SQLITE_OK not possible for read-only connection */ | - | ||||||||||||||||||
| 2294 | if( rc!=SQLITE_READONLY_CANTINIT ){
| 3-46 | ||||||||||||||||||
| 2295 | rc = (rc==SQLITE_READONLY ? WAL_RETRY : rc);
| 0-3 | ||||||||||||||||||
| 2296 | goto begin_unreliable_shm_out; executed 3 times by 1 test: goto begin_unreliable_shm_out;Executed by:
| 3 | ||||||||||||||||||
| 2297 | } | - | ||||||||||||||||||
| 2298 | - | |||||||||||||||||||
| 2299 | /* We reach this point only if the real shared-memory is still unreliable. | - | ||||||||||||||||||
| 2300 | ** Assume the in-memory WAL-index substitute is correct and load it | - | ||||||||||||||||||
| 2301 | ** into pWal->hdr. | - | ||||||||||||||||||
| 2302 | */ | - | ||||||||||||||||||
| 2303 | memcpy(&pWal->hdr, (void*)walIndexHdr(pWal), sizeof(WalIndexHdr)); | - | ||||||||||||||||||
| 2304 | - | |||||||||||||||||||
| 2305 | /* Make sure some writer hasn't come in and changed the WAL file out | - | ||||||||||||||||||
| 2306 | ** from under us, then disconnected, while we were not looking. | - | ||||||||||||||||||
| 2307 | */ | - | ||||||||||||||||||
| 2308 | rc = sqlite3OsFileSize(pWal->pWalFd, &szWal); | - | ||||||||||||||||||
| 2309 | if( rc!=SQLITE_OK ){
| 0-46 | ||||||||||||||||||
| 2310 | goto begin_unreliable_shm_out; never executed: goto begin_unreliable_shm_out; | 0 | ||||||||||||||||||
| 2311 | } | - | ||||||||||||||||||
| 2312 | if( szWal<WAL_HDRSIZE ){
| 10-36 | ||||||||||||||||||
| 2313 | /* If the wal file is too small to contain a wal-header and the | - | ||||||||||||||||||
| 2314 | ** wal-index header has mxFrame==0, then it must be safe to proceed | - | ||||||||||||||||||
| 2315 | ** reading the database file only. However, the page cache cannot | - | ||||||||||||||||||
| 2316 | ** be trusted, as a read/write connection may have connected, written | - | ||||||||||||||||||
| 2317 | ** the db, run a checkpoint, truncated the wal file and disconnected | - | ||||||||||||||||||
| 2318 | ** since this client's last read transaction. */ | - | ||||||||||||||||||
| 2319 | *pChanged = 1; | - | ||||||||||||||||||
| 2320 | rc = (pWal->hdr.mxFrame==0 ? SQLITE_OK : WAL_RETRY);
| 1-9 | ||||||||||||||||||
| 2321 | goto begin_unreliable_shm_out; executed 10 times by 2 tests: goto begin_unreliable_shm_out;Executed by:
| 10 | ||||||||||||||||||
| 2322 | } | - | ||||||||||||||||||
| 2323 | - | |||||||||||||||||||
| 2324 | /* Check the salt keys at the start of the wal file still match. */ | - | ||||||||||||||||||
| 2325 | rc = sqlite3OsRead(pWal->pWalFd, aBuf, WAL_HDRSIZE, 0); | - | ||||||||||||||||||
| 2326 | if( rc!=SQLITE_OK ){
| 0-36 | ||||||||||||||||||
| 2327 | goto begin_unreliable_shm_out; never executed: goto begin_unreliable_shm_out; | 0 | ||||||||||||||||||
| 2328 | } | - | ||||||||||||||||||
| 2329 | if( memcmp(&pWal->hdr.aSalt, &aBuf[16], 8) ){
| 2-34 | ||||||||||||||||||
| 2330 | /* Some writer has wrapped the WAL file while we were not looking. | - | ||||||||||||||||||
| 2331 | ** Return WAL_RETRY which will cause the in-memory WAL-index to be | - | ||||||||||||||||||
| 2332 | ** rebuilt. */ | - | ||||||||||||||||||
| 2333 | rc = WAL_RETRY; | - | ||||||||||||||||||
| 2334 | goto begin_unreliable_shm_out; executed 2 times by 1 test: goto begin_unreliable_shm_out;Executed by:
| 2 | ||||||||||||||||||
| 2335 | } | - | ||||||||||||||||||
| 2336 | - | |||||||||||||||||||
| 2337 | /* Allocate a buffer to read frames into */ | - | ||||||||||||||||||
| 2338 | szFrame = pWal->hdr.szPage + WAL_FRAME_HDRSIZE; | - | ||||||||||||||||||
| 2339 | aFrame = (u8 *)sqlite3_malloc64(szFrame); | - | ||||||||||||||||||
| 2340 | if( aFrame==0 ){
| 0-34 | ||||||||||||||||||
| 2341 | rc = SQLITE_NOMEM_BKPT; | - | ||||||||||||||||||
| 2342 | goto begin_unreliable_shm_out; never executed: goto begin_unreliable_shm_out; | 0 | ||||||||||||||||||
| 2343 | } | - | ||||||||||||||||||
| 2344 | aData = &aFrame[WAL_FRAME_HDRSIZE]; | - | ||||||||||||||||||
| 2345 | - | |||||||||||||||||||
| 2346 | /* Check to see if a complete transaction has been appended to the | - | ||||||||||||||||||
| 2347 | ** wal file since the heap-memory wal-index was created. If so, the | - | ||||||||||||||||||
| 2348 | ** heap-memory wal-index is discarded and WAL_RETRY returned to | - | ||||||||||||||||||
| 2349 | ** the caller. */ | - | ||||||||||||||||||
| 2350 | aSaveCksum[0] = pWal->hdr.aFrameCksum[0]; | - | ||||||||||||||||||
| 2351 | aSaveCksum[1] = pWal->hdr.aFrameCksum[1]; | - | ||||||||||||||||||
| 2352 | for(iOffset=walFrameOffset(pWal->hdr.mxFrame+1, pWal->hdr.szPage); | - | ||||||||||||||||||
| 2353 | iOffset+szFrame<=szWal;
| 20-419 | ||||||||||||||||||
| 2354 | iOffset+=szFrame | - | ||||||||||||||||||
| 2355 | ){ | - | ||||||||||||||||||
| 2356 | u32 pgno; /* Database page number for frame */ | - | ||||||||||||||||||
| 2357 | u32 nTruncate; /* dbsize field from frame header */ | - | ||||||||||||||||||
| 2358 | - | |||||||||||||||||||
| 2359 | /* Read and decode the next log frame. */ | - | ||||||||||||||||||
| 2360 | rc = sqlite3OsRead(pWal->pWalFd, aFrame, szFrame, iOffset); | - | ||||||||||||||||||
| 2361 | if( rc!=SQLITE_OK ) break; never executed: break;
| 0-419 | ||||||||||||||||||
| 2362 | if( !walDecodeFrame(pWal, &pgno, &nTruncate, aData, aFrame) ) break; executed 12 times by 2 tests: break;Executed by:
| 12-407 | ||||||||||||||||||
| 2363 | - | |||||||||||||||||||
| 2364 | /* If nTruncate is non-zero, then a complete transaction has been | - | ||||||||||||||||||
| 2365 | ** appended to this wal file. Set rc to WAL_RETRY and break out of | - | ||||||||||||||||||
| 2366 | ** the loop. */ | - | ||||||||||||||||||
| 2367 | if( nTruncate ){
| 2-405 | ||||||||||||||||||
| 2368 | rc = WAL_RETRY; | - | ||||||||||||||||||
| 2369 | break; executed 2 times by 1 test: break;Executed by:
| 2 | ||||||||||||||||||
| 2370 | } | - | ||||||||||||||||||
| 2371 | } executed 405 times by 1 test: end of blockExecuted by:
| 405 | ||||||||||||||||||
| 2372 | pWal->hdr.aFrameCksum[0] = aSaveCksum[0]; | - | ||||||||||||||||||
| 2373 | pWal->hdr.aFrameCksum[1] = aSaveCksum[1]; | - | ||||||||||||||||||
| 2374 | - | |||||||||||||||||||
| 2375 | begin_unreliable_shm_out: code before this statement executed 34 times by 2 tests: begin_unreliable_shm_out:Executed by:
| 34 | ||||||||||||||||||
| 2376 | sqlite3_free(aFrame); | - | ||||||||||||||||||
| 2377 | if( rc!=SQLITE_OK ){
| 9-41 | ||||||||||||||||||
| 2378 | int i; | - | ||||||||||||||||||
| 2379 | for(i=0; i<pWal->nWiData; i++){
| 9 | ||||||||||||||||||
| 2380 | sqlite3_free((void*)pWal->apWiData[i]); | - | ||||||||||||||||||
| 2381 | pWal->apWiData[i] = 0; | - | ||||||||||||||||||
| 2382 | } executed 9 times by 2 tests: end of blockExecuted by:
| 9 | ||||||||||||||||||
| 2383 | pWal->bShmUnreliable = 0; | - | ||||||||||||||||||
| 2384 | sqlite3WalEndReadTransaction(pWal); | - | ||||||||||||||||||
| 2385 | *pChanged = 1; | - | ||||||||||||||||||
| 2386 | } executed 9 times by 2 tests: end of blockExecuted by:
| 9 | ||||||||||||||||||
| 2387 | return rc; executed 50 times by 2 tests: return rc;Executed by:
| 50 | ||||||||||||||||||
| 2388 | } | - | ||||||||||||||||||
| 2389 | - | |||||||||||||||||||
| 2390 | /* | - | ||||||||||||||||||
| 2391 | ** Attempt to start a read transaction. This might fail due to a race or | - | ||||||||||||||||||
| 2392 | ** other transient condition. When that happens, it returns WAL_RETRY to | - | ||||||||||||||||||
| 2393 | ** indicate to the caller that it is safe to retry immediately. | - | ||||||||||||||||||
| 2394 | ** | - | ||||||||||||||||||
| 2395 | ** On success return SQLITE_OK. On a permanent failure (such an | - | ||||||||||||||||||
| 2396 | ** I/O error or an SQLITE_BUSY because another process is running | - | ||||||||||||||||||
| 2397 | ** recovery) return a positive error code. | - | ||||||||||||||||||
| 2398 | ** | - | ||||||||||||||||||
| 2399 | ** The useWal parameter is true to force the use of the WAL and disable | - | ||||||||||||||||||
| 2400 | ** the case where the WAL is bypassed because it has been completely | - | ||||||||||||||||||
| 2401 | ** checkpointed. If useWal==0 then this routine calls walIndexReadHdr() | - | ||||||||||||||||||
| 2402 | ** to make a copy of the wal-index header into pWal->hdr. If the | - | ||||||||||||||||||
| 2403 | ** wal-index header has changed, *pChanged is set to 1 (as an indication | - | ||||||||||||||||||
| 2404 | ** to the caller that the local page cache is obsolete and needs to be | - | ||||||||||||||||||
| 2405 | ** flushed.) When useWal==1, the wal-index header is assumed to already | - | ||||||||||||||||||
| 2406 | ** be loaded and the pChanged parameter is unused. | - | ||||||||||||||||||
| 2407 | ** | - | ||||||||||||||||||
| 2408 | ** The caller must set the cnt parameter to the number of prior calls to | - | ||||||||||||||||||
| 2409 | ** this routine during the current read attempt that returned WAL_RETRY. | - | ||||||||||||||||||
| 2410 | ** This routine will start taking more aggressive measures to clear the | - | ||||||||||||||||||
| 2411 | ** race conditions after multiple WAL_RETRY returns, and after an excessive | - | ||||||||||||||||||
| 2412 | ** number of errors will ultimately return SQLITE_PROTOCOL. The | - | ||||||||||||||||||
| 2413 | ** SQLITE_PROTOCOL return indicates that some other process has gone rogue | - | ||||||||||||||||||
| 2414 | ** and is not honoring the locking protocol. There is a vanishingly small | - | ||||||||||||||||||
| 2415 | ** chance that SQLITE_PROTOCOL could be returned because of a run of really | - | ||||||||||||||||||
| 2416 | ** bad luck when there is lots of contention for the wal-index, but that | - | ||||||||||||||||||
| 2417 | ** possibility is so small that it can be safely neglected, we believe. | - | ||||||||||||||||||
| 2418 | ** | - | ||||||||||||||||||
| 2419 | ** On success, this routine obtains a read lock on | - | ||||||||||||||||||
| 2420 | ** WAL_READ_LOCK(pWal->readLock). The pWal->readLock integer is | - | ||||||||||||||||||
| 2421 | ** in the range 0 <= pWal->readLock < WAL_NREADER. If pWal->readLock==(-1) | - | ||||||||||||||||||
| 2422 | ** that means the Wal does not hold any read lock. The reader must not | - | ||||||||||||||||||
| 2423 | ** access any database page that is modified by a WAL frame up to and | - | ||||||||||||||||||
| 2424 | ** including frame number aReadMark[pWal->readLock]. The reader will | - | ||||||||||||||||||
| 2425 | ** use WAL frames up to and including pWal->hdr.mxFrame if pWal->readLock>0 | - | ||||||||||||||||||
| 2426 | ** Or if pWal->readLock==0, then the reader will ignore the WAL | - | ||||||||||||||||||
| 2427 | ** completely and get all content directly from the database file. | - | ||||||||||||||||||
| 2428 | ** If the useWal parameter is 1 then the WAL will never be ignored and | - | ||||||||||||||||||
| 2429 | ** this routine will always set pWal->readLock>0 on success. | - | ||||||||||||||||||
| 2430 | ** When the read transaction is completed, the caller must release the | - | ||||||||||||||||||
| 2431 | ** lock on WAL_READ_LOCK(pWal->readLock) and set pWal->readLock to -1. | - | ||||||||||||||||||
| 2432 | ** | - | ||||||||||||||||||
| 2433 | ** This routine uses the nBackfill and aReadMark[] fields of the header | - | ||||||||||||||||||
| 2434 | ** to select a particular WAL_READ_LOCK() that strives to let the | - | ||||||||||||||||||
| 2435 | ** checkpoint process do as much work as possible. This routine might | - | ||||||||||||||||||
| 2436 | ** update values of the aReadMark[] array in the header, but if it does | - | ||||||||||||||||||
| 2437 | ** so it takes care to hold an exclusive lock on the corresponding | - | ||||||||||||||||||
| 2438 | ** WAL_READ_LOCK() while changing values. | - | ||||||||||||||||||
| 2439 | */ | - | ||||||||||||||||||
| 2440 | static int walTryBeginRead(Wal *pWal, int *pChanged, int useWal, int cnt){ | - | ||||||||||||||||||
| 2441 | volatile WalCkptInfo *pInfo; /* Checkpoint information in wal-index */ | - | ||||||||||||||||||
| 2442 | u32 mxReadMark; /* Largest aReadMark[] value */ | - | ||||||||||||||||||
| 2443 | int mxI; /* Index of largest aReadMark[] value */ | - | ||||||||||||||||||
| 2444 | int i; /* Loop counter */ | - | ||||||||||||||||||
| 2445 | int rc = SQLITE_OK; /* Return code */ | - | ||||||||||||||||||
| 2446 | u32 mxFrame; /* Wal frame to lock to */ | - | ||||||||||||||||||
| 2447 | - | |||||||||||||||||||
| 2448 | assert( pWal->readLock<0 ); /* Not currently locked */ | - | ||||||||||||||||||
| 2449 | - | |||||||||||||||||||
| 2450 | /* useWal may only be set for read/write connections */ | - | ||||||||||||||||||
| 2451 | assert( (pWal->readOnly & WAL_SHM_RDONLY)==0 || useWal==0 ); | - | ||||||||||||||||||
| 2452 | - | |||||||||||||||||||
| 2453 | /* Take steps to avoid spinning forever if there is a protocol error. | - | ||||||||||||||||||
| 2454 | ** | - | ||||||||||||||||||
| 2455 | ** Circumstances that cause a RETRY should only last for the briefest | - | ||||||||||||||||||
| 2456 | ** instances of time. No I/O or other system calls are done while the | - | ||||||||||||||||||
| 2457 | ** locks are held, so the locks should not be held for very long. But | - | ||||||||||||||||||
| 2458 | ** if we are unlucky, another process that is holding a lock might get | - | ||||||||||||||||||
| 2459 | ** paged out or take a page-fault that is time-consuming to resolve, | - | ||||||||||||||||||
| 2460 | ** during the few nanoseconds that it is holding the lock. In that case, | - | ||||||||||||||||||
| 2461 | ** it might take longer than normal for the lock to free. | - | ||||||||||||||||||
| 2462 | ** | - | ||||||||||||||||||
| 2463 | ** After 5 RETRYs, we begin calling sqlite3OsSleep(). The first few | - | ||||||||||||||||||
| 2464 | ** calls to sqlite3OsSleep() have a delay of 1 microsecond. Really this | - | ||||||||||||||||||
| 2465 | ** is more of a scheduler yield than an actual delay. But on the 10th | - | ||||||||||||||||||
| 2466 | ** an subsequent retries, the delays start becoming longer and longer, | - | ||||||||||||||||||
| 2467 | ** so that on the 100th (and last) RETRY we delay for 323 milliseconds. | - | ||||||||||||||||||
| 2468 | ** The total delay time before giving up is less than 10 seconds. | - | ||||||||||||||||||
| 2469 | */ | - | ||||||||||||||||||
| 2470 | if( cnt>5 ){
| 0-63151 | ||||||||||||||||||
| 2471 | int nDelay = 1; /* Pause time in microseconds */ | - | ||||||||||||||||||
| 2472 | if( cnt>100 ){
| 0 | ||||||||||||||||||
| 2473 | VVA_ONLY( pWal->lockError = 1; ) | - | ||||||||||||||||||
| 2474 | return SQLITE_PROTOCOL; never executed: return 15; | 0 | ||||||||||||||||||
| 2475 | } | - | ||||||||||||||||||
| 2476 | if( cnt>=10 ) nDelay = (cnt-9)*(cnt-9)*39; never executed: nDelay = (cnt-9)*(cnt-9)*39;
| 0 | ||||||||||||||||||
| 2477 | sqlite3OsSleep(pWal->pVfs, nDelay); | - | ||||||||||||||||||
| 2478 | } never executed: end of block | 0 | ||||||||||||||||||
| 2479 | - | |||||||||||||||||||
| 2480 | if( !useWal ){
| 4821-58330 | ||||||||||||||||||
| 2481 | assert( rc==SQLITE_OK ); | - | ||||||||||||||||||
| 2482 | if( pWal->bShmUnreliable==0 ){
| 30-58300 | ||||||||||||||||||
| 2483 | rc = walIndexReadHdr(pWal, pChanged); | - | ||||||||||||||||||
| 2484 | } executed 58300 times by 49 tests: end of blockExecuted by:
| 58300 | ||||||||||||||||||
| 2485 | if( rc==SQLITE_BUSY ){
| 12-58318 | ||||||||||||||||||
| 2486 | /* If there is not a recovery running in another thread or process | - | ||||||||||||||||||
| 2487 | ** then convert BUSY errors to WAL_RETRY. If recovery is known to | - | ||||||||||||||||||
| 2488 | ** be running, convert BUSY to BUSY_RECOVERY. There is a race here | - | ||||||||||||||||||
| 2489 | ** which might cause WAL_RETRY to be returned even if BUSY_RECOVERY | - | ||||||||||||||||||
| 2490 | ** would be technically correct. But the race is benign since with | - | ||||||||||||||||||
| 2491 | ** WAL_RETRY this routine will be called again and will probably be | - | ||||||||||||||||||
| 2492 | ** right on the second iteration. | - | ||||||||||||||||||
| 2493 | */ | - | ||||||||||||||||||
| 2494 | if( pWal->apWiData[0]==0 ){
| 0-12 | ||||||||||||||||||
| 2495 | /* This branch is taken when the xShmMap() method returns SQLITE_BUSY. | - | ||||||||||||||||||
| 2496 | ** We assume this is a transient condition, so return WAL_RETRY. The | - | ||||||||||||||||||
| 2497 | ** xShmMap() implementation used by the default unix and win32 VFS | - | ||||||||||||||||||
| 2498 | ** modules may return SQLITE_BUSY due to a race condition in the | - | ||||||||||||||||||
| 2499 | ** code that determines whether or not the shared-memory region | - | ||||||||||||||||||
| 2500 | ** must be zeroed before the requested page is returned. | - | ||||||||||||||||||
| 2501 | */ | - | ||||||||||||||||||
| 2502 | rc = WAL_RETRY; | - | ||||||||||||||||||
| 2503 | }else if( SQLITE_OK==(rc = walLockShared(pWal, WAL_RECOVER_LOCK)) ){ never executed: end of block
| 0-12 | ||||||||||||||||||
| 2504 | walUnlockShared(pWal, WAL_RECOVER_LOCK); | - | ||||||||||||||||||
| 2505 | rc = WAL_RETRY; | - | ||||||||||||||||||
| 2506 | }else if( rc==SQLITE_BUSY ){ never executed: end of block
| 0-11 | ||||||||||||||||||
| 2507 | rc = SQLITE_BUSY_RECOVERY; | - | ||||||||||||||||||
| 2508 | } executed 11 times by 3 tests: end of blockExecuted by:
| 11 | ||||||||||||||||||
| 2509 | } executed 12 times by 3 tests: end of blockExecuted by:
| 12 | ||||||||||||||||||
| 2510 | if( rc!=SQLITE_OK ){
| 19-58311 | ||||||||||||||||||
| 2511 | return rc; executed 19 times by 3 tests: return rc;Executed by:
| 19 | ||||||||||||||||||
| 2512 | } | - | ||||||||||||||||||
| 2513 | else if( pWal->bShmUnreliable ){
| 50-58261 | ||||||||||||||||||
| 2514 | return walBeginShmUnreliable(pWal, pChanged); executed 50 times by 2 tests: return walBeginShmUnreliable(pWal, pChanged);Executed by:
| 50 | ||||||||||||||||||
| 2515 | } | - | ||||||||||||||||||
| 2516 | } executed 58261 times by 49 tests: end of blockExecuted by:
| 58261 | ||||||||||||||||||
| 2517 | - | |||||||||||||||||||
| 2518 | assert( pWal->nWiData>0 ); | - | ||||||||||||||||||
| 2519 | assert( pWal->apWiData[0]!=0 ); | - | ||||||||||||||||||
| 2520 | pInfo = walCkptInfo(pWal); | - | ||||||||||||||||||
| 2521 | if( !useWal && pInfo->nBackfill==pWal->hdr.mxFrame
| 4821-58261 | ||||||||||||||||||
| 2522 | #ifdef SQLITE_ENABLE_SNAPSHOT | - | ||||||||||||||||||
| 2523 | && (pWal->pSnapshot==0 || pWal->hdr.mxFrame==0) | - | ||||||||||||||||||
| 2524 | #endif | - | ||||||||||||||||||
| 2525 | ){ | - | ||||||||||||||||||
| 2526 | /* The WAL has been completely backfilled (or it is empty). | - | ||||||||||||||||||
| 2527 | ** and can be safely ignored. | - | ||||||||||||||||||
| 2528 | */ | - | ||||||||||||||||||
| 2529 | rc = walLockShared(pWal, WAL_READ_LOCK(0)); | - | ||||||||||||||||||
| 2530 | walShmBarrier(pWal); | - | ||||||||||||||||||
| 2531 | if( rc==SQLITE_OK ){
| 2-5311 | ||||||||||||||||||
| 2532 | if( memcmp((void *)walIndexHdr(pWal), &pWal->hdr, sizeof(WalIndexHdr)) ){
| 1-5310 | ||||||||||||||||||
| 2533 | /* It is not safe to allow the reader to continue here if frames | - | ||||||||||||||||||
| 2534 | ** may have been appended to the log before READ_LOCK(0) was obtained. | - | ||||||||||||||||||
| 2535 | ** When holding READ_LOCK(0), the reader ignores the entire log file, | - | ||||||||||||||||||
| 2536 | ** which implies that the database file contains a trustworthy | - | ||||||||||||||||||
| 2537 | ** snapshot. Since holding READ_LOCK(0) prevents a checkpoint from | - | ||||||||||||||||||
| 2538 | ** happening, this is usually correct. | - | ||||||||||||||||||
| 2539 | ** | - | ||||||||||||||||||
| 2540 | ** However, if frames have been appended to the log (or if the log | - | ||||||||||||||||||
| 2541 | ** is wrapped and written for that matter) before the READ_LOCK(0) | - | ||||||||||||||||||
| 2542 | ** is obtained, that is not necessarily true. A checkpointer may | - | ||||||||||||||||||
| 2543 | ** have started to backfill the appended frames but crashed before | - | ||||||||||||||||||
| 2544 | ** it finished. Leaving a corrupt image in the database file. | - | ||||||||||||||||||
| 2545 | */ | - | ||||||||||||||||||
| 2546 | walUnlockShared(pWal, WAL_READ_LOCK(0)); | - | ||||||||||||||||||
| 2547 | return WAL_RETRY; executed 1 time by 1 test: return (-1);Executed by:
| 1 | ||||||||||||||||||
| 2548 | } | - | ||||||||||||||||||
| 2549 | pWal->readLock = 0; | - | ||||||||||||||||||
| 2550 | return SQLITE_OK; executed 5310 times by 28 tests: return 0;Executed by:
| 5310 | ||||||||||||||||||
| 2551 | }else if( rc!=SQLITE_BUSY ){
| 0-2 | ||||||||||||||||||
| 2552 | return rc; never executed: return rc; | 0 | ||||||||||||||||||
| 2553 | } | - | ||||||||||||||||||
| 2554 | } executed 2 times by 1 test: end of blockExecuted by:
| 2 | ||||||||||||||||||
| 2555 | - | |||||||||||||||||||
| 2556 | /* If we get this far, it means that the reader will want to use | - | ||||||||||||||||||
| 2557 | ** the WAL to get at content from recent commits. The job now is | - | ||||||||||||||||||
| 2558 | ** to select one of the aReadMark[] entries that is closest to | - | ||||||||||||||||||
| 2559 | ** but not exceeding pWal->hdr.mxFrame and lock that entry. | - | ||||||||||||||||||
| 2560 | */ | - | ||||||||||||||||||
| 2561 | mxReadMark = 0; | - | ||||||||||||||||||
| 2562 | mxI = 0; | - | ||||||||||||||||||
| 2563 | mxFrame = pWal->hdr.mxFrame; | - | ||||||||||||||||||
| 2564 | #ifdef SQLITE_ENABLE_SNAPSHOT | - | ||||||||||||||||||
| 2565 | if( pWal->pSnapshot && pWal->pSnapshot->mxFrame<mxFrame ){ | - | ||||||||||||||||||
| 2566 | mxFrame = pWal->pSnapshot->mxFrame; | - | ||||||||||||||||||
| 2567 | } | - | ||||||||||||||||||
| 2568 | #endif | - | ||||||||||||||||||
| 2569 | for(i=1; i<WAL_NREADER; i++){
| 57771-231084 | ||||||||||||||||||
| 2570 | u32 thisMark = AtomicLoad(pInfo->aReadMark+i); | - | ||||||||||||||||||
| 2571 | if( mxReadMark<=thisMark && thisMark<=mxFrame ){
| 16-231068 | ||||||||||||||||||
| 2572 | assert( thisMark!=READMARK_NOT_USED ); | - | ||||||||||||||||||
| 2573 | mxReadMark = thisMark; | - | ||||||||||||||||||
| 2574 | mxI = i; | - | ||||||||||||||||||
| 2575 | } executed 59801 times by 37 tests: end of blockExecuted by:
| 59801 | ||||||||||||||||||
| 2576 | } executed 231084 times by 48 tests: end of blockExecuted by:
| 231084 | ||||||||||||||||||
| 2577 | if( (pWal->readOnly & WAL_SHM_RDONLY)==0
| 18-57753 | ||||||||||||||||||
| 2578 | && (mxReadMark<mxFrame || mxI==0)
| 489-50954 | ||||||||||||||||||
| 2579 | ){ | - | ||||||||||||||||||
| 2580 | for(i=1; i<WAL_NREADER; i++){
| 137-53935 | ||||||||||||||||||
| 2581 | rc = walLockExclusive(pWal, WAL_READ_LOCK(i), 1); | - | ||||||||||||||||||
| 2582 | if( rc==SQLITE_OK ){
| 2631-51304 | ||||||||||||||||||
| 2583 | mxReadMark = AtomicStore(pInfo->aReadMark+i,mxFrame); | - | ||||||||||||||||||
| 2584 | mxI = i; | - | ||||||||||||||||||
| 2585 | walUnlockExclusive(pWal, WAL_READ_LOCK(i), 1); | - | ||||||||||||||||||
| 2586 | break; executed 51304 times by 38 tests: break;Executed by:
| 51304 | ||||||||||||||||||
| 2587 | }else if( rc!=SQLITE_BUSY ){
| 2-2629 | ||||||||||||||||||
| 2588 | return rc; executed 2 times by 1 test: return rc;Executed by:
| 2 | ||||||||||||||||||
| 2589 | } | - | ||||||||||||||||||
| 2590 | } executed 2629 times by 7 tests: end of blockExecuted by:
| 2629 | ||||||||||||||||||
| 2591 | } executed 51441 times by 38 tests: end of blockExecuted by:
| 51441 | ||||||||||||||||||
| 2592 | if( mxI==0 ){
| 0-57769 | ||||||||||||||||||
| 2593 | assert( rc==SQLITE_BUSY || (pWal->readOnly & WAL_SHM_RDONLY)!=0 ); | - | ||||||||||||||||||
| 2594 | return rc==SQLITE_BUSY ? WAL_RETRY : SQLITE_READONLY_CANTINIT; never executed: return rc==5 ? (-1) : (8 | (5<<8));
| 0 | ||||||||||||||||||
| 2595 | } | - | ||||||||||||||||||
| 2596 | - | |||||||||||||||||||
| 2597 | rc = walLockShared(pWal, WAL_READ_LOCK(mxI)); | - | ||||||||||||||||||
| 2598 | if( rc ){
| 3-57766 | ||||||||||||||||||
| 2599 | return rc==SQLITE_BUSY ? WAL_RETRY : rc; executed 3 times by 1 test: return rc==5 ? (-1) : rc;Executed by:
| 0-3 | ||||||||||||||||||
| 2600 | } | - | ||||||||||||||||||
| 2601 | /* Now that the read-lock has been obtained, check that neither the | - | ||||||||||||||||||
| 2602 | ** value in the aReadMark[] array or the contents of the wal-index | - | ||||||||||||||||||
| 2603 | ** header have changed. | - | ||||||||||||||||||
| 2604 | ** | - | ||||||||||||||||||
| 2605 | ** It is necessary to check that the wal-index header did not change | - | ||||||||||||||||||
| 2606 | ** between the time it was read and when the shared-lock was obtained | - | ||||||||||||||||||
| 2607 | ** on WAL_READ_LOCK(mxI) was obtained to account for the possibility | - | ||||||||||||||||||
| 2608 | ** that the log file may have been wrapped by a writer, or that frames | - | ||||||||||||||||||
| 2609 | ** that occur later in the log than pWal->hdr.mxFrame may have been | - | ||||||||||||||||||
| 2610 | ** copied into the database by a checkpointer. If either of these things | - | ||||||||||||||||||
| 2611 | ** happened, then reading the database with the current value of | - | ||||||||||||||||||
| 2612 | ** pWal->hdr.mxFrame risks reading a corrupted snapshot. So, retry | - | ||||||||||||||||||
| 2613 | ** instead. | - | ||||||||||||||||||
| 2614 | ** | - | ||||||||||||||||||
| 2615 | ** Before checking that the live wal-index header has not changed | - | ||||||||||||||||||
| 2616 | ** since it was read, set Wal.minFrame to the first frame in the wal | - | ||||||||||||||||||
| 2617 | ** file that has not yet been checkpointed. This client will not need | - | ||||||||||||||||||
| 2618 | ** to read any frames earlier than minFrame from the wal file - they | - | ||||||||||||||||||
| 2619 | ** can be safely read directly from the database file. | - | ||||||||||||||||||
| 2620 | ** | - | ||||||||||||||||||
| 2621 | ** Because a ShmBarrier() call is made between taking the copy of | - | ||||||||||||||||||
| 2622 | ** nBackfill and checking that the wal-header in shared-memory still | - | ||||||||||||||||||
| 2623 | ** matches the one cached in pWal->hdr, it is guaranteed that the | - | ||||||||||||||||||
| 2624 | ** checkpointer that set nBackfill was not working with a wal-index | - | ||||||||||||||||||
| 2625 | ** header newer than that cached in pWal->hdr. If it were, that could | - | ||||||||||||||||||
| 2626 | ** cause a problem. The checkpointer could omit to checkpoint | - | ||||||||||||||||||
| 2627 | ** a version of page X that lies before pWal->minFrame (call that version | - | ||||||||||||||||||
| 2628 | ** A) on the basis that there is a newer version (version B) of the same | - | ||||||||||||||||||
| 2629 | ** page later in the wal file. But if version B happens to like past | - | ||||||||||||||||||
| 2630 | ** frame pWal->hdr.mxFrame - then the client would incorrectly assume | - | ||||||||||||||||||
| 2631 | ** that it can read version A from the database file. However, since | - | ||||||||||||||||||
| 2632 | ** we can guarantee that the checkpointer that set nBackfill could not | - | ||||||||||||||||||
| 2633 | ** see any pages past pWal->hdr.mxFrame, this problem does not come up. | - | ||||||||||||||||||
| 2634 | */ | - | ||||||||||||||||||
| 2635 | pWal->minFrame = AtomicLoad(&pInfo->nBackfill)+1; | - | ||||||||||||||||||
| 2636 | walShmBarrier(pWal); | - | ||||||||||||||||||
| 2637 | if( AtomicLoad(pInfo->aReadMark+mxI)!=mxReadMark
| 1-57765 | ||||||||||||||||||
| 2638 | || memcmp((void *)walIndexHdr(pWal), &pWal->hdr, sizeof(WalIndexHdr))
| 1-57764 | ||||||||||||||||||
| 2639 | ){ | - | ||||||||||||||||||
| 2640 | walUnlockShared(pWal, WAL_READ_LOCK(mxI)); | - | ||||||||||||||||||
| 2641 | return WAL_RETRY; executed 2 times by 1 test: return (-1);Executed by:
| 2 | ||||||||||||||||||
| 2642 | }else{ | - | ||||||||||||||||||
| 2643 | assert( mxReadMark<=pWal->hdr.mxFrame ); | - | ||||||||||||||||||
| 2644 | pWal->readLock = (i16)mxI; | - | ||||||||||||||||||
| 2645 | } executed 57764 times by 48 tests: end of blockExecuted by:
| 57764 | ||||||||||||||||||
| 2646 | return rc; executed 57764 times by 48 tests: return rc;Executed by:
| 57764 | ||||||||||||||||||
| 2647 | } | - | ||||||||||||||||||
| 2648 | - | |||||||||||||||||||
| 2649 | #ifdef SQLITE_ENABLE_SNAPSHOT | - | ||||||||||||||||||
| 2650 | /* | - | ||||||||||||||||||
| 2651 | ** Attempt to reduce the value of the WalCkptInfo.nBackfillAttempted | - | ||||||||||||||||||
| 2652 | ** variable so that older snapshots can be accessed. To do this, loop | - | ||||||||||||||||||
| 2653 | ** through all wal frames from nBackfillAttempted to (nBackfill+1), | - | ||||||||||||||||||
| 2654 | ** comparing their content to the corresponding page with the database | - | ||||||||||||||||||
| 2655 | ** file, if any. Set nBackfillAttempted to the frame number of the | - | ||||||||||||||||||
| 2656 | ** first frame for which the wal file content matches the db file. | - | ||||||||||||||||||
| 2657 | ** | - | ||||||||||||||||||
| 2658 | ** This is only really safe if the file-system is such that any page | - | ||||||||||||||||||
| 2659 | ** writes made by earlier checkpointers were atomic operations, which | - | ||||||||||||||||||
| 2660 | ** is not always true. It is also possible that nBackfillAttempted | - | ||||||||||||||||||
| 2661 | ** may be left set to a value larger than expected, if a wal frame | - | ||||||||||||||||||
| 2662 | ** contains content that duplicate of an earlier version of the same | - | ||||||||||||||||||
| 2663 | ** page. | - | ||||||||||||||||||
| 2664 | ** | - | ||||||||||||||||||
| 2665 | ** SQLITE_OK is returned if successful, or an SQLite error code if an | - | ||||||||||||||||||
| 2666 | ** error occurs. It is not an error if nBackfillAttempted cannot be | - | ||||||||||||||||||
| 2667 | ** decreased at all. | - | ||||||||||||||||||
| 2668 | */ | - | ||||||||||||||||||
| 2669 | int sqlite3WalSnapshotRecover(Wal *pWal){ | - | ||||||||||||||||||
| 2670 | int rc; | - | ||||||||||||||||||
| 2671 | - | |||||||||||||||||||
| 2672 | assert( pWal->readLock>=0 ); | - | ||||||||||||||||||
| 2673 | rc = walLockExclusive(pWal, WAL_CKPT_LOCK, 1); | - | ||||||||||||||||||
| 2674 | if( rc==SQLITE_OK ){ | - | ||||||||||||||||||
| 2675 | volatile WalCkptInfo *pInfo = walCkptInfo(pWal); | - | ||||||||||||||||||
| 2676 | int szPage = (int)pWal->szPage; | - | ||||||||||||||||||
| 2677 | i64 szDb; /* Size of db file in bytes */ | - | ||||||||||||||||||
| 2678 | - | |||||||||||||||||||
| 2679 | rc = sqlite3OsFileSize(pWal->pDbFd, &szDb); | - | ||||||||||||||||||
| 2680 | if( rc==SQLITE_OK ){ | - | ||||||||||||||||||
| 2681 | void *pBuf1 = sqlite3_malloc(szPage); | - | ||||||||||||||||||
| 2682 | void *pBuf2 = sqlite3_malloc(szPage); | - | ||||||||||||||||||
| 2683 | if( pBuf1==0 || pBuf2==0 ){ | - | ||||||||||||||||||
| 2684 | rc = SQLITE_NOMEM; | - | ||||||||||||||||||
| 2685 | }else{ | - | ||||||||||||||||||
| 2686 | u32 i = pInfo->nBackfillAttempted; | - | ||||||||||||||||||
| 2687 | for(i=pInfo->nBackfillAttempted; i>pInfo->nBackfill; i--){ | - | ||||||||||||||||||
| 2688 | WalHashLoc sLoc; /* Hash table location */ | - | ||||||||||||||||||
| 2689 | u32 pgno; /* Page number in db file */ | - | ||||||||||||||||||
| 2690 | i64 iDbOff; /* Offset of db file entry */ | - | ||||||||||||||||||
| 2691 | i64 iWalOff; /* Offset of wal file entry */ | - | ||||||||||||||||||
| 2692 | - | |||||||||||||||||||
| 2693 | rc = walHashGet(pWal, walFramePage(i), &sLoc); | - | ||||||||||||||||||
| 2694 | if( rc!=SQLITE_OK ) break; | - | ||||||||||||||||||
| 2695 | pgno = sLoc.aPgno[i-sLoc.iZero]; | - | ||||||||||||||||||
| 2696 | iDbOff = (i64)(pgno-1) * szPage; | - | ||||||||||||||||||
| 2697 | - | |||||||||||||||||||
| 2698 | if( iDbOff+szPage<=szDb ){ | - | ||||||||||||||||||
| 2699 | iWalOff = walFrameOffset(i, szPage) + WAL_FRAME_HDRSIZE; | - | ||||||||||||||||||
| 2700 | rc = sqlite3OsRead(pWal->pWalFd, pBuf1, szPage, iWalOff); | - | ||||||||||||||||||
| 2701 | - | |||||||||||||||||||
| 2702 | if( rc==SQLITE_OK ){ | - | ||||||||||||||||||
| 2703 | rc = sqlite3OsRead(pWal->pDbFd, pBuf2, szPage, iDbOff); | - | ||||||||||||||||||
| 2704 | } | - | ||||||||||||||||||
| 2705 | - | |||||||||||||||||||
| 2706 | if( rc!=SQLITE_OK || 0==memcmp(pBuf1, pBuf2, szPage) ){ | - | ||||||||||||||||||
| 2707 | break; | - | ||||||||||||||||||
| 2708 | } | - | ||||||||||||||||||
| 2709 | } | - | ||||||||||||||||||
| 2710 | - | |||||||||||||||||||
| 2711 | pInfo->nBackfillAttempted = i-1; | - | ||||||||||||||||||
| 2712 | } | - | ||||||||||||||||||
| 2713 | } | - | ||||||||||||||||||
| 2714 | - | |||||||||||||||||||
| 2715 | sqlite3_free(pBuf1); | - | ||||||||||||||||||
| 2716 | sqlite3_free(pBuf2); | - | ||||||||||||||||||
| 2717 | } | - | ||||||||||||||||||
| 2718 | walUnlockExclusive(pWal, WAL_CKPT_LOCK, 1); | - | ||||||||||||||||||
| 2719 | } | - | ||||||||||||||||||
| 2720 | - | |||||||||||||||||||
| 2721 | return rc; | - | ||||||||||||||||||
| 2722 | } | - | ||||||||||||||||||
| 2723 | #endif /* SQLITE_ENABLE_SNAPSHOT */ | - | ||||||||||||||||||
| 2724 | - | |||||||||||||||||||
| 2725 | /* | - | ||||||||||||||||||
| 2726 | ** Begin a read transaction on the database. | - | ||||||||||||||||||
| 2727 | ** | - | ||||||||||||||||||
| 2728 | ** This routine used to be called sqlite3OpenSnapshot() and with good reason: | - | ||||||||||||||||||
| 2729 | ** it takes a snapshot of the state of the WAL and wal-index for the current | - | ||||||||||||||||||
| 2730 | ** instant in time. The current thread will continue to use this snapshot. | - | ||||||||||||||||||
| 2731 | ** Other threads might append new content to the WAL and wal-index but | - | ||||||||||||||||||
| 2732 | ** that extra content is ignored by the current thread. | - | ||||||||||||||||||
| 2733 | ** | - | ||||||||||||||||||
| 2734 | ** If the database contents have changes since the previous read | - | ||||||||||||||||||
| 2735 | ** transaction, then *pChanged is set to 1 before returning. The | - | ||||||||||||||||||
| 2736 | ** Pager layer will use this to know that its cache is stale and | - | ||||||||||||||||||
| 2737 | ** needs to be flushed. | - | ||||||||||||||||||
| 2738 | */ | - | ||||||||||||||||||
| 2739 | int sqlite3WalBeginReadTransaction(Wal *pWal, int *pChanged){ | - | ||||||||||||||||||
| 2740 | int rc; /* Return code */ | - | ||||||||||||||||||
| 2741 | int cnt = 0; /* Number of TryBeginRead attempts */ | - | ||||||||||||||||||
| 2742 | - | |||||||||||||||||||
| 2743 | #ifdef SQLITE_ENABLE_SNAPSHOT | - | ||||||||||||||||||
| 2744 | int bChanged = 0; | - | ||||||||||||||||||
| 2745 | WalIndexHdr *pSnapshot = pWal->pSnapshot; | - | ||||||||||||||||||
| 2746 | if( pSnapshot && memcmp(pSnapshot, &pWal->hdr, sizeof(WalIndexHdr))!=0 ){ | - | ||||||||||||||||||
| 2747 | bChanged = 1; | - | ||||||||||||||||||
| 2748 | } | - | ||||||||||||||||||
| 2749 | #endif | - | ||||||||||||||||||
| 2750 | - | |||||||||||||||||||
| 2751 | do{ | - | ||||||||||||||||||
| 2752 | rc = walTryBeginRead(pWal, pChanged, 0, ++cnt); | - | ||||||||||||||||||
| 2753 | }while( rc==WAL_RETRY ); executed 58330 times by 49 tests: end of blockExecuted by:
| 14-58330 | ||||||||||||||||||
| 2754 | testcase( (rc&0xff)==SQLITE_BUSY ); | - | ||||||||||||||||||
| 2755 | testcase( (rc&0xff)==SQLITE_IOERR ); | - | ||||||||||||||||||
| 2756 | testcase( rc==SQLITE_PROTOCOL ); | - | ||||||||||||||||||
| 2757 | testcase( rc==SQLITE_OK ); | - | ||||||||||||||||||
| 2758 | - | |||||||||||||||||||
| 2759 | #ifdef SQLITE_ENABLE_SNAPSHOT | - | ||||||||||||||||||
| 2760 | if( rc==SQLITE_OK ){ | - | ||||||||||||||||||
| 2761 | if( pSnapshot && memcmp(pSnapshot, &pWal->hdr, sizeof(WalIndexHdr))!=0 ){ | - | ||||||||||||||||||
| 2762 | /* At this point the client has a lock on an aReadMark[] slot holding | - | ||||||||||||||||||
| 2763 | ** a value equal to or smaller than pSnapshot->mxFrame, but pWal->hdr | - | ||||||||||||||||||
| 2764 | ** is populated with the wal-index header corresponding to the head | - | ||||||||||||||||||
| 2765 | ** of the wal file. Verify that pSnapshot is still valid before | - | ||||||||||||||||||
| 2766 | ** continuing. Reasons why pSnapshot might no longer be valid: | - | ||||||||||||||||||
| 2767 | ** | - | ||||||||||||||||||
| 2768 | ** (1) The WAL file has been reset since the snapshot was taken. | - | ||||||||||||||||||
| 2769 | ** In this case, the salt will have changed. | - | ||||||||||||||||||
| 2770 | ** | - | ||||||||||||||||||
| 2771 | ** (2) A checkpoint as been attempted that wrote frames past | - | ||||||||||||||||||
| 2772 | ** pSnapshot->mxFrame into the database file. Note that the | - | ||||||||||||||||||
| 2773 | ** checkpoint need not have completed for this to cause problems. | - | ||||||||||||||||||
| 2774 | */ | - | ||||||||||||||||||
| 2775 | volatile WalCkptInfo *pInfo = walCkptInfo(pWal); | - | ||||||||||||||||||
| 2776 | - | |||||||||||||||||||
| 2777 | assert( pWal->readLock>0 || pWal->hdr.mxFrame==0 ); | - | ||||||||||||||||||
| 2778 | assert( pInfo->aReadMark[pWal->readLock]<=pSnapshot->mxFrame ); | - | ||||||||||||||||||
| 2779 | - | |||||||||||||||||||
| 2780 | /* It is possible that there is a checkpointer thread running | - | ||||||||||||||||||
| 2781 | ** concurrent with this code. If this is the case, it may be that the | - | ||||||||||||||||||
| 2782 | ** checkpointer has already determined that it will checkpoint | - | ||||||||||||||||||
| 2783 | ** snapshot X, where X is later in the wal file than pSnapshot, but | - | ||||||||||||||||||
| 2784 | ** has not yet set the pInfo->nBackfillAttempted variable to indicate | - | ||||||||||||||||||
| 2785 | ** its intent. To avoid the race condition this leads to, ensure that | - | ||||||||||||||||||
| 2786 | ** there is no checkpointer process by taking a shared CKPT lock | - | ||||||||||||||||||
| 2787 | ** before checking pInfo->nBackfillAttempted. | - | ||||||||||||||||||
| 2788 | ** | - | ||||||||||||||||||
| 2789 | ** TODO: Does the aReadMark[] lock prevent a checkpointer from doing | - | ||||||||||||||||||
| 2790 | ** this already? | - | ||||||||||||||||||
| 2791 | */ | - | ||||||||||||||||||
| 2792 | rc = walLockShared(pWal, WAL_CKPT_LOCK); | - | ||||||||||||||||||
| 2793 | - | |||||||||||||||||||
| 2794 | if( rc==SQLITE_OK ){ | - | ||||||||||||||||||
| 2795 | /* Check that the wal file has not been wrapped. Assuming that it has | - | ||||||||||||||||||
| 2796 | ** not, also check that no checkpointer has attempted to checkpoint any | - | ||||||||||||||||||
| 2797 | ** frames beyond pSnapshot->mxFrame. If either of these conditions are | - | ||||||||||||||||||
| 2798 | ** true, return SQLITE_ERROR_SNAPSHOT. Otherwise, overwrite pWal->hdr | - | ||||||||||||||||||
| 2799 | ** with *pSnapshot and set *pChanged as appropriate for opening the | - | ||||||||||||||||||
| 2800 | ** snapshot. */ | - | ||||||||||||||||||
| 2801 | if( !memcmp(pSnapshot->aSalt, pWal->hdr.aSalt, sizeof(pWal->hdr.aSalt)) | - | ||||||||||||||||||
| 2802 | && pSnapshot->mxFrame>=pInfo->nBackfillAttempted | - | ||||||||||||||||||
| 2803 | ){ | - | ||||||||||||||||||
| 2804 | assert( pWal->readLock>0 ); | - | ||||||||||||||||||
| 2805 | memcpy(&pWal->hdr, pSnapshot, sizeof(WalIndexHdr)); | - | ||||||||||||||||||
| 2806 | *pChanged = bChanged; | - | ||||||||||||||||||
| 2807 | }else{ | - | ||||||||||||||||||
| 2808 | rc = SQLITE_ERROR_SNAPSHOT; | - | ||||||||||||||||||
| 2809 | } | - | ||||||||||||||||||
| 2810 | - | |||||||||||||||||||
| 2811 | /* Release the shared CKPT lock obtained above. */ | - | ||||||||||||||||||
| 2812 | walUnlockShared(pWal, WAL_CKPT_LOCK); | - | ||||||||||||||||||
| 2813 | pWal->minFrame = 1; | - | ||||||||||||||||||
| 2814 | } | - | ||||||||||||||||||
| 2815 | - | |||||||||||||||||||
| 2816 | - | |||||||||||||||||||
| 2817 | if( rc!=SQLITE_OK ){ | - | ||||||||||||||||||
| 2818 | sqlite3WalEndReadTransaction(pWal); | - | ||||||||||||||||||
| 2819 | } | - | ||||||||||||||||||
| 2820 | } | - | ||||||||||||||||||
| 2821 | } | - | ||||||||||||||||||
| 2822 | #endif | - | ||||||||||||||||||
| 2823 | return rc; executed 58316 times by 49 tests: return rc;Executed by:
| 58316 | ||||||||||||||||||
| 2824 | } | - | ||||||||||||||||||
| 2825 | - | |||||||||||||||||||
| 2826 | /* | - | ||||||||||||||||||
| 2827 | ** Finish with a read transaction. All this does is release the | - | ||||||||||||||||||
| 2828 | ** read-lock. | - | ||||||||||||||||||
| 2829 | */ | - | ||||||||||||||||||
| 2830 | void sqlite3WalEndReadTransaction(Wal *pWal){ | - | ||||||||||||||||||
| 2831 | sqlite3WalEndWriteTransaction(pWal); | - | ||||||||||||||||||
| 2832 | if( pWal->readLock>=0 ){
| 58302-59031 | ||||||||||||||||||
| 2833 | walUnlockShared(pWal, WAL_READ_LOCK(pWal->readLock)); | - | ||||||||||||||||||
| 2834 | pWal->readLock = -1; | - | ||||||||||||||||||
| 2835 | } executed 58302 times by 49 tests: end of blockExecuted by:
| 58302 | ||||||||||||||||||
| 2836 | } executed 117333 times by 49 tests: end of blockExecuted by:
| 117333 | ||||||||||||||||||
| 2837 | - | |||||||||||||||||||
| 2838 | /* | - | ||||||||||||||||||
| 2839 | ** Search the wal file for page pgno. If found, set *piRead to the frame that | - | ||||||||||||||||||
| 2840 | ** contains the page. Otherwise, if pgno is not in the wal file, set *piRead | - | ||||||||||||||||||
| 2841 | ** to zero. | - | ||||||||||||||||||
| 2842 | ** | - | ||||||||||||||||||
| 2843 | ** Return SQLITE_OK if successful, or an error code if an error occurs. If an | - | ||||||||||||||||||
| 2844 | ** error does occur, the final value of *piRead is undefined. | - | ||||||||||||||||||
| 2845 | */ | - | ||||||||||||||||||
| 2846 | int sqlite3WalFindFrame( | - | ||||||||||||||||||
| 2847 | Wal *pWal, /* WAL handle */ | - | ||||||||||||||||||
| 2848 | Pgno pgno, /* Database page number to read data for */ | - | ||||||||||||||||||
| 2849 | u32 *piRead /* OUT: Frame number (or zero) */ | - | ||||||||||||||||||
| 2850 | ){ | - | ||||||||||||||||||
| 2851 | u32 iRead = 0; /* If !=0, WAL frame to return data from */ | - | ||||||||||||||||||
| 2852 | u32 iLast = pWal->hdr.mxFrame; /* Last page in WAL for this reader */ | - | ||||||||||||||||||
| 2853 | int iHash; /* Used to loop through N hash tables */ | - | ||||||||||||||||||
| 2854 | int iMinHash; | - | ||||||||||||||||||
| 2855 | - | |||||||||||||||||||
| 2856 | /* This routine is only be called from within a read transaction. */ | - | ||||||||||||||||||
| 2857 | assert( pWal->readLock>=0 || pWal->lockError ); | - | ||||||||||||||||||
| 2858 | - | |||||||||||||||||||
| 2859 | /* If the "last page" field of the wal-index header snapshot is 0, then | - | ||||||||||||||||||
| 2860 | ** no data will be read from the wal under any circumstances. Return early | - | ||||||||||||||||||
| 2861 | ** in this case as an optimization. Likewise, if pWal->readLock==0, | - | ||||||||||||||||||
| 2862 | ** then the WAL is ignored by the reader so return early, as if the | - | ||||||||||||||||||
| 2863 | ** WAL were empty. | - | ||||||||||||||||||
| 2864 | */ | - | ||||||||||||||||||
| 2865 | if( iLast==0 || (pWal->readLock==0 && pWal->bShmUnreliable==0) ){
| 33-1672081 | ||||||||||||||||||
| 2866 | *piRead = 0; | - | ||||||||||||||||||
| 2867 | return SQLITE_OK; executed 92867 times by 28 tests: return 0;Executed by:
| 92867 | ||||||||||||||||||
| 2868 | } | - | ||||||||||||||||||
| 2869 | - | |||||||||||||||||||
| 2870 | /* Search the hash table or tables for an entry matching page number | - | ||||||||||||||||||
| 2871 | ** pgno. Each iteration of the following for() loop searches one | - | ||||||||||||||||||
| 2872 | ** hash table (each hash table indexes up to HASHTABLE_NPAGE frames). | - | ||||||||||||||||||
| 2873 | ** | - | ||||||||||||||||||
| 2874 | ** This code might run concurrently to the code in walIndexAppend() | - | ||||||||||||||||||
| 2875 | ** that adds entries to the wal-index (and possibly to this hash | - | ||||||||||||||||||
| 2876 | ** table). This means the value just read from the hash | - | ||||||||||||||||||
| 2877 | ** slot (aHash[iKey]) may have been added before or after the | - | ||||||||||||||||||
| 2878 | ** current read transaction was opened. Values added after the | - | ||||||||||||||||||
| 2879 | ** read transaction was opened may have been written incorrectly - | - | ||||||||||||||||||
| 2880 | ** i.e. these slots may contain garbage data. However, we assume | - | ||||||||||||||||||
| 2881 | ** that any slots written before the current read transaction was | - | ||||||||||||||||||
| 2882 | ** opened remain unmodified. | - | ||||||||||||||||||
| 2883 | ** | - | ||||||||||||||||||
| 2884 | ** For the reasons above, the if(...) condition featured in the inner | - | ||||||||||||||||||
| 2885 | ** loop of the following block is more stringent that would be required | - | ||||||||||||||||||
| 2886 | ** if we had exclusive access to the hash-table: | - | ||||||||||||||||||
| 2887 | ** | - | ||||||||||||||||||
| 2888 | ** (aPgno[iFrame]==pgno): | - | ||||||||||||||||||
| 2889 | ** This condition filters out normal hash-table collisions. | - | ||||||||||||||||||
| 2890 | ** | - | ||||||||||||||||||
| 2891 | ** (iFrame<=iLast): | - | ||||||||||||||||||
| 2892 | ** This condition filters out entries that were added to the hash | - | ||||||||||||||||||
| 2893 | ** table after the current read-transaction had started. | - | ||||||||||||||||||
| 2894 | */ | - | ||||||||||||||||||
| 2895 | iMinHash = walFramePage(pWal->minFrame); | - | ||||||||||||||||||
| 2896 | for(iHash=walFramePage(iLast); iHash>=iMinHash; iHash--){
| 101249-3097011 | ||||||||||||||||||
| 2897 | WalHashLoc sLoc; /* Hash table location */ | - | ||||||||||||||||||
| 2898 | int iKey; /* Hash slot index */ | - | ||||||||||||||||||
| 2899 | int nCollide; /* Number of hash collisions remaining */ | - | ||||||||||||||||||
| 2900 | int rc; /* Error code */ | - | ||||||||||||||||||
| 2901 | - | |||||||||||||||||||
| 2902 | rc = walHashGet(pWal, iHash, &sLoc); | - | ||||||||||||||||||
| 2903 | if( rc!=SQLITE_OK ){
| 0-3097011 | ||||||||||||||||||
| 2904 | return rc; never executed: return rc; | 0 | ||||||||||||||||||
| 2905 | } | - | ||||||||||||||||||
| 2906 | nCollide = HASHTABLE_NSLOT; | - | ||||||||||||||||||
| 2907 | for(iKey=walHash(pgno); sLoc.aHash[iKey]; iKey=walNextHash(iKey)){
| 3097009-8743012 | ||||||||||||||||||
| 2908 | u32 iFrame = sLoc.aHash[iKey] + sLoc.iZero; | - | ||||||||||||||||||
| 2909 | if( iFrame<=iLast && iFrame>=pWal->minFrame
| 38-8726622 | ||||||||||||||||||
| 2910 | && sLoc.aPgno[sLoc.aHash[iKey]]==pgno ){
| 1641675-7084909 | ||||||||||||||||||
| 2911 | assert( iFrame>iRead || CORRUPT_DB ); | - | ||||||||||||||||||
| 2912 | iRead = iFrame; | - | ||||||||||||||||||
| 2913 | } executed 1641675 times by 36 tests: end of blockExecuted by:
| 1641675 | ||||||||||||||||||
| 2914 | if( (nCollide--)==0 ){
| 2-8743010 | ||||||||||||||||||
| 2915 | return SQLITE_CORRUPT_BKPT; executed 2 times by 1 test: return sqlite3CorruptError(2915);Executed by:
| 2 | ||||||||||||||||||
| 2916 | } | - | ||||||||||||||||||
| 2917 | } executed 8743010 times by 36 tests: end of blockExecuted by:
| 8743010 | ||||||||||||||||||
| 2918 | if( iRead ) break; executed 1528149 times by 36 tests: break;Executed by:
| 1528149-1568860 | ||||||||||||||||||
| 2919 | } executed 1568860 times by 11 tests: end of blockExecuted by:
| 1568860 | ||||||||||||||||||
| 2920 | - | |||||||||||||||||||
| 2921 | #ifdef SQLITE_ENABLE_EXPENSIVE_ASSERT | - | ||||||||||||||||||
| 2922 | /* If expensive assert() statements are available, do a linear search | - | ||||||||||||||||||
| 2923 | ** of the wal-index file content. Make sure the results agree with the | - | ||||||||||||||||||
| 2924 | ** result obtained using the hash indexes above. */ | - | ||||||||||||||||||
| 2925 | { | - | ||||||||||||||||||
| 2926 | u32 iRead2 = 0; | - | ||||||||||||||||||
| 2927 | u32 iTest; | - | ||||||||||||||||||
| 2928 | assert( pWal->bShmUnreliable || pWal->minFrame>0 ); | - | ||||||||||||||||||
| 2929 | for(iTest=iLast; iTest>=pWal->minFrame && iTest>0; iTest--){ | - | ||||||||||||||||||
| 2930 | if( walFramePgno(pWal, iTest)==pgno ){ | - | ||||||||||||||||||
| 2931 | iRead2 = iTest; | - | ||||||||||||||||||
| 2932 | break; | - | ||||||||||||||||||
| 2933 | } | - | ||||||||||||||||||
| 2934 | } | - | ||||||||||||||||||
| 2935 | assert( iRead==iRead2 ); | - | ||||||||||||||||||
| 2936 | } | - | ||||||||||||||||||
| 2937 | #endif | - | ||||||||||||||||||
| 2938 | - | |||||||||||||||||||
| 2939 | *piRead = iRead; | - | ||||||||||||||||||
| 2940 | return SQLITE_OK; executed 1629398 times by 36 tests: return 0;Executed by:
| 1629398 | ||||||||||||||||||
| 2941 | } | - | ||||||||||||||||||
| 2942 | - | |||||||||||||||||||
| 2943 | /* | - | ||||||||||||||||||
| 2944 | ** Read the contents of frame iRead from the wal file into buffer pOut | - | ||||||||||||||||||
| 2945 | ** (which is nOut bytes in size). Return SQLITE_OK if successful, or an | - | ||||||||||||||||||
| 2946 | ** error code otherwise. | - | ||||||||||||||||||
| 2947 | */ | - | ||||||||||||||||||
| 2948 | int sqlite3WalReadFrame( | - | ||||||||||||||||||
| 2949 | Wal *pWal, /* WAL handle */ | - | ||||||||||||||||||
| 2950 | u32 iRead, /* Frame to read */ | - | ||||||||||||||||||
| 2951 | int nOut, /* Size of buffer pOut in bytes */ | - | ||||||||||||||||||
| 2952 | u8 *pOut /* Buffer to write page data to */ | - | ||||||||||||||||||
| 2953 | ){ | - | ||||||||||||||||||
| 2954 | int sz; | - | ||||||||||||||||||
| 2955 | i64 iOffset; | - | ||||||||||||||||||
| 2956 | sz = pWal->hdr.szPage; | - | ||||||||||||||||||
| 2957 | sz = (sz&0xfe00) + ((sz&0x0001)<<16); | - | ||||||||||||||||||
| 2958 | testcase( sz<=32768 ); | - | ||||||||||||||||||
| 2959 | testcase( sz>=65536 ); | - | ||||||||||||||||||
| 2960 | iOffset = walFrameOffset(iRead, sz) + WAL_FRAME_HDRSIZE; | - | ||||||||||||||||||
| 2961 | /* testcase( IS_BIG_INT(iOffset) ); // requires a 4GiB WAL */ | - | ||||||||||||||||||
| 2962 | return sqlite3OsRead(pWal->pWalFd, pOut, (nOut>sz ? sz : nOut), iOffset); executed 1512497 times by 36 tests: return sqlite3OsRead(pWal->pWalFd, pOut, (nOut>sz ? sz : nOut), iOffset);Executed by:
| 1512497 | ||||||||||||||||||
| 2963 | } | - | ||||||||||||||||||
| 2964 | - | |||||||||||||||||||
| 2965 | /* | - | ||||||||||||||||||
| 2966 | ** Return the size of the database in pages (or zero, if unknown). | - | ||||||||||||||||||
| 2967 | */ | - | ||||||||||||||||||
| 2968 | Pgno sqlite3WalDbsize(Wal *pWal){ | - | ||||||||||||||||||
| 2969 | if( pWal && ALWAYS(pWal->readLock>=0) ){
| 0-134971 | ||||||||||||||||||
| 2970 | return pWal->hdr.nPage; executed 58294 times by 49 tests: return pWal->hdr.nPage;Executed by:
| 58294 | ||||||||||||||||||
| 2971 | } | - | ||||||||||||||||||
| 2972 | return 0; executed 134971 times by 435 tests: return 0;Executed by:
| 134971 | ||||||||||||||||||
| 2973 | } | - | ||||||||||||||||||
| 2974 | - | |||||||||||||||||||
| 2975 | - | |||||||||||||||||||
| 2976 | /* | - | ||||||||||||||||||
| 2977 | ** This function starts a write transaction on the WAL. | - | ||||||||||||||||||
| 2978 | ** | - | ||||||||||||||||||
| 2979 | ** A read transaction must have already been started by a prior call | - | ||||||||||||||||||
| 2980 | ** to sqlite3WalBeginReadTransaction(). | - | ||||||||||||||||||
| 2981 | ** | - | ||||||||||||||||||
| 2982 | ** If another thread or process has written into the database since | - | ||||||||||||||||||
| 2983 | ** the read transaction was started, then it is not possible for this | - | ||||||||||||||||||
| 2984 | ** thread to write as doing so would cause a fork. So this routine | - | ||||||||||||||||||
| 2985 | ** returns SQLITE_BUSY in that case and no write transaction is started. | - | ||||||||||||||||||
| 2986 | ** | - | ||||||||||||||||||
| 2987 | ** There can only be a single writer active at a time. | - | ||||||||||||||||||
| 2988 | */ | - | ||||||||||||||||||
| 2989 | int sqlite3WalBeginWriteTransaction(Wal *pWal){ | - | ||||||||||||||||||
| 2990 | int rc; | - | ||||||||||||||||||
| 2991 | - | |||||||||||||||||||
| 2992 | /* Cannot start a write transaction without first holding a read | - | ||||||||||||||||||
| 2993 | ** transaction. */ | - | ||||||||||||||||||
| 2994 | assert( pWal->readLock>=0 ); | - | ||||||||||||||||||
| 2995 | assert( pWal->writeLock==0 && pWal->iReCksum==0 ); | - | ||||||||||||||||||
| 2996 | - | |||||||||||||||||||
| 2997 | if( pWal->readOnly ){
| 3-55655 | ||||||||||||||||||
| 2998 | return SQLITE_READONLY; executed 3 times by 1 test: return 8;Executed by:
| 3 | ||||||||||||||||||
| 2999 | } | - | ||||||||||||||||||
| 3000 | - | |||||||||||||||||||
| 3001 | /* Only one writer allowed at a time. Get the write lock. Return | - | ||||||||||||||||||
| 3002 | ** SQLITE_BUSY if unable. | - | ||||||||||||||||||
| 3003 | */ | - | ||||||||||||||||||
| 3004 | rc = walLockExclusive(pWal, WAL_WRITE_LOCK, 1); | - | ||||||||||||||||||
| 3005 | if( rc ){
| 44-55611 | ||||||||||||||||||
| 3006 | return rc; executed 44 times by 1 test: return rc;Executed by:
| 44 | ||||||||||||||||||
| 3007 | } | - | ||||||||||||||||||
| 3008 | pWal->writeLock = 1; | - | ||||||||||||||||||
| 3009 | - | |||||||||||||||||||
| 3010 | /* If another connection has written to the database file since the | - | ||||||||||||||||||
| 3011 | ** time the read transaction on this connection was started, then | - | ||||||||||||||||||
| 3012 | ** the write is disallowed. | - | ||||||||||||||||||
| 3013 | */ | - | ||||||||||||||||||
| 3014 | if( memcmp(&pWal->hdr, (void *)walIndexHdr(pWal), sizeof(WalIndexHdr))!=0 ){
| 8-55603 | ||||||||||||||||||
| 3015 | walUnlockExclusive(pWal, WAL_WRITE_LOCK, 1); | - | ||||||||||||||||||
| 3016 | pWal->writeLock = 0; | - | ||||||||||||||||||
| 3017 | rc = SQLITE_BUSY_SNAPSHOT; | - | ||||||||||||||||||
| 3018 | } executed 8 times by 1 test: end of blockExecuted by:
| 8 | ||||||||||||||||||
| 3019 | - | |||||||||||||||||||
| 3020 | return rc; executed 55611 times by 28 tests: return rc;Executed by:
| 55611 | ||||||||||||||||||
| 3021 | } | - | ||||||||||||||||||
| 3022 | - | |||||||||||||||||||
| 3023 | /* | - | ||||||||||||||||||
| 3024 | ** End a write transaction. The commit has already been done. This | - | ||||||||||||||||||
| 3025 | ** routine merely releases the lock. | - | ||||||||||||||||||
| 3026 | */ | - | ||||||||||||||||||
| 3027 | int sqlite3WalEndWriteTransaction(Wal *pWal){ | - | ||||||||||||||||||
| 3028 | if( pWal->writeLock ){
| 55741-124577 | ||||||||||||||||||
| 3029 | walUnlockExclusive(pWal, WAL_WRITE_LOCK, 1); | - | ||||||||||||||||||
| 3030 | pWal->writeLock = 0; | - | ||||||||||||||||||
| 3031 | pWal->iReCksum = 0; | - | ||||||||||||||||||
| 3032 | pWal->truncateOnCommit = 0; | - | ||||||||||||||||||
| 3033 | } executed 55741 times by 28 tests: end of blockExecuted by:
| 55741 | ||||||||||||||||||
| 3034 | return SQLITE_OK; executed 180318 times by 49 tests: return 0;Executed by:
| 180318 | ||||||||||||||||||
| 3035 | } | - | ||||||||||||||||||
| 3036 | - | |||||||||||||||||||
| 3037 | /* | - | ||||||||||||||||||
| 3038 | ** If any data has been written (but not committed) to the log file, this | - | ||||||||||||||||||
| 3039 | ** function moves the write-pointer back to the start of the transaction. | - | ||||||||||||||||||
| 3040 | ** | - | ||||||||||||||||||
| 3041 | ** Additionally, the callback function is invoked for each frame written | - | ||||||||||||||||||
| 3042 | ** to the WAL since the start of the transaction. If the callback returns | - | ||||||||||||||||||
| 3043 | ** other than SQLITE_OK, it is not invoked again and the error code is | - | ||||||||||||||||||
| 3044 | ** returned to the caller. | - | ||||||||||||||||||
| 3045 | ** | - | ||||||||||||||||||
| 3046 | ** Otherwise, if the callback function does not return an error, this | - | ||||||||||||||||||
| 3047 | ** function returns SQLITE_OK. | - | ||||||||||||||||||
| 3048 | */ | - | ||||||||||||||||||
| 3049 | int sqlite3WalUndo(Wal *pWal, int (*xUndo)(void *, Pgno), void *pUndoCtx){ | - | ||||||||||||||||||
| 3050 | int rc = SQLITE_OK; | - | ||||||||||||||||||
| 3051 | if( ALWAYS(pWal->writeLock) ){
| 0-102 | ||||||||||||||||||
| 3052 | Pgno iMax = pWal->hdr.mxFrame; | - | ||||||||||||||||||
| 3053 | Pgno iFrame; | - | ||||||||||||||||||
| 3054 | - | |||||||||||||||||||
| 3055 | /* Restore the clients cache of the wal-index header to the state it | - | ||||||||||||||||||
| 3056 | ** was in before the client began writing to the database. | - | ||||||||||||||||||
| 3057 | */ | - | ||||||||||||||||||
| 3058 | memcpy(&pWal->hdr, (void *)walIndexHdr(pWal), sizeof(WalIndexHdr)); | - | ||||||||||||||||||
| 3059 | - | |||||||||||||||||||
| 3060 | for(iFrame=pWal->hdr.mxFrame+1; | - | ||||||||||||||||||
| 3061 | ALWAYS(rc==SQLITE_OK) && iFrame<=iMax;
| 0-6811 | ||||||||||||||||||
| 3062 | iFrame++ | - | ||||||||||||||||||
| 3063 | ){ | - | ||||||||||||||||||
| 3064 | /* This call cannot fail. Unless the page for which the page number | - | ||||||||||||||||||
| 3065 | ** is passed as the second argument is (a) in the cache and | - | ||||||||||||||||||
| 3066 | ** (b) has an outstanding reference, then xUndo is either a no-op | - | ||||||||||||||||||
| 3067 | ** (if (a) is false) or simply expels the page from the cache (if (b) | - | ||||||||||||||||||
| 3068 | ** is false). | - | ||||||||||||||||||
| 3069 | ** | - | ||||||||||||||||||
| 3070 | ** If the upper layer is doing a rollback, it is guaranteed that there | - | ||||||||||||||||||
| 3071 | ** are no outstanding references to any page other than page 1. And | - | ||||||||||||||||||
| 3072 | ** page 1 is never written to the log until the transaction is | - | ||||||||||||||||||
| 3073 | ** committed. As a result, the call to xUndo may not fail. | - | ||||||||||||||||||
| 3074 | */ | - | ||||||||||||||||||
| 3075 | assert( walFramePgno(pWal, iFrame)!=1 ); | - | ||||||||||||||||||
| 3076 | rc = xUndo(pUndoCtx, walFramePgno(pWal, iFrame)); | - | ||||||||||||||||||
| 3077 | } executed 6709 times by 1 test: end of blockExecuted by:
| 6709 | ||||||||||||||||||
| 3078 | if( iMax!=pWal->hdr.mxFrame ) walCleanupHash(pWal); executed 57 times by 1 test: walCleanupHash(pWal);Executed by:
| 45-57 | ||||||||||||||||||
| 3079 | } executed 102 times by 3 tests: end of blockExecuted by:
| 102 | ||||||||||||||||||
| 3080 | return rc; executed 102 times by 3 tests: return rc;Executed by:
| 102 | ||||||||||||||||||
| 3081 | } | - | ||||||||||||||||||
| 3082 | - | |||||||||||||||||||
| 3083 | /* | - | ||||||||||||||||||
| 3084 | ** Argument aWalData must point to an array of WAL_SAVEPOINT_NDATA u32 | - | ||||||||||||||||||
| 3085 | ** values. This function populates the array with values required to | - | ||||||||||||||||||
| 3086 | ** "rollback" the write position of the WAL handle back to the current | - | ||||||||||||||||||
| 3087 | ** point in the event of a savepoint rollback (via WalSavepointUndo()). | - | ||||||||||||||||||
| 3088 | */ | - | ||||||||||||||||||
| 3089 | void sqlite3WalSavepoint(Wal *pWal, u32 *aWalData){ | - | ||||||||||||||||||
| 3090 | assert( pWal->writeLock ); | - | ||||||||||||||||||
| 3091 | aWalData[0] = pWal->hdr.mxFrame; | - | ||||||||||||||||||
| 3092 | aWalData[1] = pWal->hdr.aFrameCksum[0]; | - | ||||||||||||||||||
| 3093 | aWalData[2] = pWal->hdr.aFrameCksum[1]; | - | ||||||||||||||||||
| 3094 | aWalData[3] = pWal->nCkpt; | - | ||||||||||||||||||
| 3095 | } executed 4268 times by 1 test: end of blockExecuted by:
| 4268 | ||||||||||||||||||
| 3096 | - | |||||||||||||||||||
| 3097 | /* | - | ||||||||||||||||||
| 3098 | ** Move the write position of the WAL back to the point identified by | - | ||||||||||||||||||
| 3099 | ** the values in the aWalData[] array. aWalData must point to an array | - | ||||||||||||||||||
| 3100 | ** of WAL_SAVEPOINT_NDATA u32 values that has been previously populated | - | ||||||||||||||||||
| 3101 | ** by a call to WalSavepoint(). | - | ||||||||||||||||||
| 3102 | */ | - | ||||||||||||||||||
| 3103 | int sqlite3WalSavepointUndo(Wal *pWal, u32 *aWalData){ | - | ||||||||||||||||||
| 3104 | int rc = SQLITE_OK; | - | ||||||||||||||||||
| 3105 | - | |||||||||||||||||||
| 3106 | assert( pWal->writeLock ); | - | ||||||||||||||||||
| 3107 | assert( aWalData[3]!=pWal->nCkpt || aWalData[0]<=pWal->hdr.mxFrame ); | - | ||||||||||||||||||
| 3108 | - | |||||||||||||||||||
| 3109 | if( aWalData[3]!=pWal->nCkpt ){
| 1-112 | ||||||||||||||||||
| 3110 | /* This savepoint was opened immediately after the write-transaction | - | ||||||||||||||||||
| 3111 | ** was started. Right after that, the writer decided to wrap around | - | ||||||||||||||||||
| 3112 | ** to the start of the log. Update the savepoint values to match. | - | ||||||||||||||||||
| 3113 | */ | - | ||||||||||||||||||
| 3114 | aWalData[0] = 0; | - | ||||||||||||||||||
| 3115 | aWalData[3] = pWal->nCkpt; | - | ||||||||||||||||||
| 3116 | } executed 1 time by 1 test: end of blockExecuted by:
| 1 | ||||||||||||||||||
| 3117 | - | |||||||||||||||||||
| 3118 | if( aWalData[0]<pWal->hdr.mxFrame ){
| 26-87 | ||||||||||||||||||
| 3119 | pWal->hdr.mxFrame = aWalData[0]; | - | ||||||||||||||||||
| 3120 | pWal->hdr.aFrameCksum[0] = aWalData[1]; | - | ||||||||||||||||||
| 3121 | pWal->hdr.aFrameCksum[1] = aWalData[2]; | - | ||||||||||||||||||
| 3122 | walCleanupHash(pWal); | - | ||||||||||||||||||
| 3123 | } executed 26 times by 1 test: end of blockExecuted by:
| 26 | ||||||||||||||||||
| 3124 | - | |||||||||||||||||||
| 3125 | return rc; executed 113 times by 1 test: return rc;Executed by:
| 113 | ||||||||||||||||||
| 3126 | } | - | ||||||||||||||||||
| 3127 | - | |||||||||||||||||||
| 3128 | /* | - | ||||||||||||||||||
| 3129 | ** This function is called just before writing a set of frames to the log | - | ||||||||||||||||||
| 3130 | ** file (see sqlite3WalFrames()). It checks to see if, instead of appending | - | ||||||||||||||||||
| 3131 | ** to the current log file, it is possible to overwrite the start of the | - | ||||||||||||||||||
| 3132 | ** existing log file with the new frames (i.e. "reset" the log). If so, | - | ||||||||||||||||||
| 3133 | ** it sets pWal->hdr.mxFrame to 0. Otherwise, pWal->hdr.mxFrame is left | - | ||||||||||||||||||
| 3134 | ** unchanged. | - | ||||||||||||||||||
| 3135 | ** | - | ||||||||||||||||||
| 3136 | ** SQLITE_OK is returned if no error is encountered (regardless of whether | - | ||||||||||||||||||
| 3137 | ** or not pWal->hdr.mxFrame is modified). An SQLite error code is returned | - | ||||||||||||||||||
| 3138 | ** if an error occurs. | - | ||||||||||||||||||
| 3139 | */ | - | ||||||||||||||||||
| 3140 | static int walRestartLog(Wal *pWal){ | - | ||||||||||||||||||
| 3141 | int rc = SQLITE_OK; | - | ||||||||||||||||||
| 3142 | int cnt; | - | ||||||||||||||||||
| 3143 | - | |||||||||||||||||||
| 3144 | if( pWal->readLock==0 ){
| 4821-148073 | ||||||||||||||||||
| 3145 | volatile WalCkptInfo *pInfo = walCkptInfo(pWal); | - | ||||||||||||||||||
| 3146 | assert( pInfo->nBackfill==pWal->hdr.mxFrame ); | - | ||||||||||||||||||
| 3147 | if( pInfo->nBackfill>0 ){
| 504-4317 | ||||||||||||||||||
| 3148 | u32 salt1; | - | ||||||||||||||||||
| 3149 | sqlite3_randomness(4, &salt1); | - | ||||||||||||||||||
| 3150 | rc = walLockExclusive(pWal, WAL_READ_LOCK(1), WAL_NREADER-1); | - | ||||||||||||||||||
| 3151 | if( rc==SQLITE_OK ){
| 14-4303 | ||||||||||||||||||
| 3152 | /* If all readers are using WAL_READ_LOCK(0) (in other words if no | - | ||||||||||||||||||
| 3153 | ** readers are currently using the WAL), then the transactions | - | ||||||||||||||||||
| 3154 | ** frames will overwrite the start of the existing log. Update the | - | ||||||||||||||||||
| 3155 | ** wal-index header to reflect this. | - | ||||||||||||||||||
| 3156 | ** | - | ||||||||||||||||||
| 3157 | ** In theory it would be Ok to update the cache of the header only | - | ||||||||||||||||||
| 3158 | ** at this point. But updating the actual wal-index header is also | - | ||||||||||||||||||
| 3159 | ** safe and means there is no special case for sqlite3WalUndo() | - | ||||||||||||||||||
| 3160 | ** to handle if this transaction is rolled back. */ | - | ||||||||||||||||||
| 3161 | walRestartHdr(pWal, salt1); | - | ||||||||||||||||||
| 3162 | walUnlockExclusive(pWal, WAL_READ_LOCK(1), WAL_NREADER-1); | - | ||||||||||||||||||
| 3163 | }else if( rc!=SQLITE_BUSY ){ executed 4303 times by 3 tests: end of blockExecuted by:
| 0-4303 | ||||||||||||||||||
| 3164 | return rc; never executed: return rc; | 0 | ||||||||||||||||||
| 3165 | } | - | ||||||||||||||||||
| 3166 | } executed 4317 times by 4 tests: end of blockExecuted by:
| 4317 | ||||||||||||||||||
| 3167 | walUnlockShared(pWal, WAL_READ_LOCK(0)); | - | ||||||||||||||||||
| 3168 | pWal->readLock = -1; | - | ||||||||||||||||||
| 3169 | cnt = 0; | - | ||||||||||||||||||
| 3170 | do{ | - | ||||||||||||||||||
| 3171 | int notUsed; | - | ||||||||||||||||||
| 3172 | rc = walTryBeginRead(pWal, ¬Used, 1, ++cnt); | - | ||||||||||||||||||
| 3173 | }while( rc==WAL_RETRY ); executed 4821 times by 18 tests: end of blockExecuted by:
| 0-4821 | ||||||||||||||||||
| 3174 | assert( (rc&0xff)!=SQLITE_BUSY ); /* BUSY not possible when useWal==1 */ | - | ||||||||||||||||||
| 3175 | testcase( (rc&0xff)==SQLITE_IOERR ); | - | ||||||||||||||||||
| 3176 | testcase( rc==SQLITE_PROTOCOL ); | - | ||||||||||||||||||
| 3177 | testcase( rc==SQLITE_OK ); | - | ||||||||||||||||||
| 3178 | } executed 4821 times by 18 tests: end of blockExecuted by:
| 4821 | ||||||||||||||||||
| 3179 | return rc; executed 152894 times by 26 tests: return rc;Executed by:
| 152894 | ||||||||||||||||||
| 3180 | } | - | ||||||||||||||||||
| 3181 | - | |||||||||||||||||||
| 3182 | /* | - | ||||||||||||||||||
| 3183 | ** Information about the current state of the WAL file and where | - | ||||||||||||||||||
| 3184 | ** the next fsync should occur - passed from sqlite3WalFrames() into | - | ||||||||||||||||||
| 3185 | ** walWriteToLog(). | - | ||||||||||||||||||
| 3186 | */ | - | ||||||||||||||||||
| 3187 | typedef struct WalWriter { | - | ||||||||||||||||||
| 3188 | Wal *pWal; /* The complete WAL information */ | - | ||||||||||||||||||
| 3189 | sqlite3_file *pFd; /* The WAL file to which we write */ | - | ||||||||||||||||||
| 3190 | sqlite3_int64 iSyncPoint; /* Fsync at this offset */ | - | ||||||||||||||||||
| 3191 | int syncFlags; /* Flags for the fsync */ | - | ||||||||||||||||||
| 3192 | int szPage; /* Size of one page */ | - | ||||||||||||||||||
| 3193 | } WalWriter; | - | ||||||||||||||||||
| 3194 | - | |||||||||||||||||||
| 3195 | /* | - | ||||||||||||||||||
| 3196 | ** Write iAmt bytes of content into the WAL file beginning at iOffset. | - | ||||||||||||||||||
| 3197 | ** Do a sync when crossing the p->iSyncPoint boundary. | - | ||||||||||||||||||
| 3198 | ** | - | ||||||||||||||||||
| 3199 | ** In other words, if iSyncPoint is in between iOffset and iOffset+iAmt, | - | ||||||||||||||||||
| 3200 | ** first write the part before iSyncPoint, then sync, then write the | - | ||||||||||||||||||
| 3201 | ** rest. | - | ||||||||||||||||||
| 3202 | */ | - | ||||||||||||||||||
| 3203 | static int walWriteToLog( | - | ||||||||||||||||||
| 3204 | WalWriter *p, /* WAL to write to */ | - | ||||||||||||||||||
| 3205 | void *pContent, /* Content to be written */ | - | ||||||||||||||||||
| 3206 | int iAmt, /* Number of bytes to write */ | - | ||||||||||||||||||
| 3207 | sqlite3_int64 iOffset /* Start writing at this offset */ | - | ||||||||||||||||||
| 3208 | ){ | - | ||||||||||||||||||
| 3209 | int rc; | - | ||||||||||||||||||
| 3210 | if( iOffset<p->iSyncPoint && iOffset+iAmt>=p->iSyncPoint ){
| 44-393428 | ||||||||||||||||||
| 3211 | int iFirstAmt = (int)(p->iSyncPoint - iOffset); | - | ||||||||||||||||||
| 3212 | rc = sqlite3OsWrite(p->pFd, pContent, iFirstAmt, iOffset); | - | ||||||||||||||||||
| 3213 | if( rc ) return rc; never executed: return rc;
| 0-44 | ||||||||||||||||||
| 3214 | iOffset += iFirstAmt; | - | ||||||||||||||||||
| 3215 | iAmt -= iFirstAmt; | - | ||||||||||||||||||
| 3216 | pContent = (void*)(iFirstAmt + (char*)pContent); | - | ||||||||||||||||||
| 3217 | assert( WAL_SYNC_FLAGS(p->syncFlags)!=0 ); | - | ||||||||||||||||||
| 3218 | rc = sqlite3OsSync(p->pFd, WAL_SYNC_FLAGS(p->syncFlags)); | - | ||||||||||||||||||
| 3219 | if( iAmt==0 || rc ) return rc; executed 3 times by 3 tests: return rc;Executed by:
| 0-41 | ||||||||||||||||||
| 3220 | } executed 41 times by 7 tests: end of blockExecuted by:
| 41 | ||||||||||||||||||
| 3221 | rc = sqlite3OsWrite(p->pFd, pContent, iAmt, iOffset); | - | ||||||||||||||||||
| 3222 | return rc; executed 393609 times by 26 tests: return rc;Executed by:
| 393609 | ||||||||||||||||||
| 3223 | } | - | ||||||||||||||||||
| 3224 | - | |||||||||||||||||||
| 3225 | /* | - | ||||||||||||||||||
| 3226 | ** Write out a single frame of the WAL | - | ||||||||||||||||||
| 3227 | */ | - | ||||||||||||||||||
| 3228 | static int walWriteOneFrame( | - | ||||||||||||||||||
| 3229 | WalWriter *p, /* Where to write the frame */ | - | ||||||||||||||||||
| 3230 | PgHdr *pPage, /* The page of the frame to be written */ | - | ||||||||||||||||||
| 3231 | int nTruncate, /* The commit flag. Usually 0. >0 for commit */ | - | ||||||||||||||||||
| 3232 | sqlite3_int64 iOffset /* Byte offset at which to write */ | - | ||||||||||||||||||
| 3233 | ){ | - | ||||||||||||||||||
| 3234 | int rc; /* Result code from subfunctions */ | - | ||||||||||||||||||
| 3235 | void *pData; /* Data actually written */ | - | ||||||||||||||||||
| 3236 | u8 aFrame[WAL_FRAME_HDRSIZE]; /* Buffer to assemble frame-header in */ | - | ||||||||||||||||||
| 3237 | #if defined(SQLITE_HAS_CODEC) | - | ||||||||||||||||||
| 3238 | if( (pData = sqlite3PagerCodec(pPage))==0 ) return SQLITE_NOMEM_BKPT; | - | ||||||||||||||||||
| 3239 | #else | - | ||||||||||||||||||
| 3240 | pData = pPage->pData; | - | ||||||||||||||||||
| 3241 | #endif | - | ||||||||||||||||||
| 3242 | walEncodeFrame(p->pWal, pPage->pgno, nTruncate, pData, aFrame); | - | ||||||||||||||||||
| 3243 | rc = walWriteToLog(p, aFrame, sizeof(aFrame), iOffset); | - | ||||||||||||||||||
| 3244 | if( rc ) return rc; never executed: return rc;
| 0-196806 | ||||||||||||||||||
| 3245 | /* Write the page data */ | - | ||||||||||||||||||
| 3246 | rc = walWriteToLog(p, pData, p->szPage, iOffset+sizeof(aFrame)); | - | ||||||||||||||||||
| 3247 | return rc; executed 196806 times by 26 tests: return rc;Executed by:
| 196806 | ||||||||||||||||||
| 3248 | } | - | ||||||||||||||||||
| 3249 | - | |||||||||||||||||||
| 3250 | /* | - | ||||||||||||||||||
| 3251 | ** This function is called as part of committing a transaction within which | - | ||||||||||||||||||
| 3252 | ** one or more frames have been overwritten. It updates the checksums for | - | ||||||||||||||||||
| 3253 | ** all frames written to the wal file by the current transaction starting | - | ||||||||||||||||||
| 3254 | ** with the earliest to have been overwritten. | - | ||||||||||||||||||
| 3255 | ** | - | ||||||||||||||||||
| 3256 | ** SQLITE_OK is returned if successful, or an SQLite error code otherwise. | - | ||||||||||||||||||
| 3257 | */ | - | ||||||||||||||||||
| 3258 | static int walRewriteChecksums(Wal *pWal, u32 iLast){ | - | ||||||||||||||||||
| 3259 | const int szPage = pWal->szPage;/* Database page size */ | - | ||||||||||||||||||
| 3260 | int rc = SQLITE_OK; /* Return code */ | - | ||||||||||||||||||
| 3261 | u8 *aBuf; /* Buffer to load data from wal file into */ | - | ||||||||||||||||||
| 3262 | u8 aFrame[WAL_FRAME_HDRSIZE]; /* Buffer to assemble frame-headers in */ | - | ||||||||||||||||||
| 3263 | u32 iRead; /* Next frame to read from wal file */ | - | ||||||||||||||||||
| 3264 | i64 iCksumOff; | - | ||||||||||||||||||
| 3265 | - | |||||||||||||||||||
| 3266 | aBuf = sqlite3_malloc(szPage + WAL_FRAME_HDRSIZE); | - | ||||||||||||||||||
| 3267 | if( aBuf==0 ) return SQLITE_NOMEM_BKPT; never executed: return 7;
| 0-21 | ||||||||||||||||||
| 3268 | - | |||||||||||||||||||
| 3269 | /* Find the checksum values to use as input for the recalculating the | - | ||||||||||||||||||
| 3270 | ** first checksum. If the first frame is frame 1 (implying that the current | - | ||||||||||||||||||
| 3271 | ** transaction restarted the wal file), these values must be read from the | - | ||||||||||||||||||
| 3272 | ** wal-file header. Otherwise, read them from the frame header of the | - | ||||||||||||||||||
| 3273 | ** previous frame. */ | - | ||||||||||||||||||
| 3274 | assert( pWal->iReCksum>0 ); | - | ||||||||||||||||||
| 3275 | if( pWal->iReCksum==1 ){
| 4-17 | ||||||||||||||||||
| 3276 | iCksumOff = 24; | - | ||||||||||||||||||
| 3277 | }else{ executed 4 times by 1 test: end of blockExecuted by:
| 4 | ||||||||||||||||||
| 3278 | iCksumOff = walFrameOffset(pWal->iReCksum-1, szPage) + 16; | - | ||||||||||||||||||
| 3279 | } executed 17 times by 1 test: end of blockExecuted by:
| 17 | ||||||||||||||||||
| 3280 | rc = sqlite3OsRead(pWal->pWalFd, aBuf, sizeof(u32)*2, iCksumOff); | - | ||||||||||||||||||
| 3281 | pWal->hdr.aFrameCksum[0] = sqlite3Get4byte(aBuf); | - | ||||||||||||||||||
| 3282 | pWal->hdr.aFrameCksum[1] = sqlite3Get4byte(&aBuf[sizeof(u32)]); | - | ||||||||||||||||||
| 3283 | - | |||||||||||||||||||
| 3284 | iRead = pWal->iReCksum; | - | ||||||||||||||||||
| 3285 | pWal->iReCksum = 0; | - | ||||||||||||||||||
| 3286 | for(; rc==SQLITE_OK && iRead<=iLast; iRead++){
| 0-10052 | ||||||||||||||||||
| 3287 | i64 iOff = walFrameOffset(iRead, szPage); | - | ||||||||||||||||||
| 3288 | rc = sqlite3OsRead(pWal->pWalFd, aBuf, szPage+WAL_FRAME_HDRSIZE, iOff); | - | ||||||||||||||||||
| 3289 | if( rc==SQLITE_OK ){
| 0-10031 | ||||||||||||||||||
| 3290 | u32 iPgno, nDbSize; | - | ||||||||||||||||||
| 3291 | iPgno = sqlite3Get4byte(aBuf); | - | ||||||||||||||||||
| 3292 | nDbSize = sqlite3Get4byte(&aBuf[4]); | - | ||||||||||||||||||
| 3293 | - | |||||||||||||||||||
| 3294 | walEncodeFrame(pWal, iPgno, nDbSize, &aBuf[WAL_FRAME_HDRSIZE], aFrame); | - | ||||||||||||||||||
| 3295 | rc = sqlite3OsWrite(pWal->pWalFd, aFrame, sizeof(aFrame), iOff); | - | ||||||||||||||||||
| 3296 | } executed 10031 times by 1 test: end of blockExecuted by:
| 10031 | ||||||||||||||||||
| 3297 | } executed 10031 times by 1 test: end of blockExecuted by:
| 10031 | ||||||||||||||||||
| 3298 | - | |||||||||||||||||||
| 3299 | sqlite3_free(aBuf); | - | ||||||||||||||||||
| 3300 | return rc; executed 21 times by 1 test: return rc;Executed by:
| 21 | ||||||||||||||||||
| 3301 | } | - | ||||||||||||||||||
| 3302 | - | |||||||||||||||||||
| 3303 | /* | - | ||||||||||||||||||
| 3304 | ** Write a set of frames to the log. The caller must hold the write-lock | - | ||||||||||||||||||
| 3305 | ** on the log file (obtained using sqlite3WalBeginWriteTransaction()). | - | ||||||||||||||||||
| 3306 | */ | - | ||||||||||||||||||
| 3307 | int sqlite3WalFrames( | - | ||||||||||||||||||
| 3308 | Wal *pWal, /* Wal handle to write to */ | - | ||||||||||||||||||
| 3309 | int szPage, /* Database page-size in bytes */ | - | ||||||||||||||||||
| 3310 | PgHdr *pList, /* List of dirty pages to write */ | - | ||||||||||||||||||
| 3311 | Pgno nTruncate, /* Database size after this commit */ | - | ||||||||||||||||||
| 3312 | int isCommit, /* True if this is a commit */ | - | ||||||||||||||||||
| 3313 | int sync_flags /* Flags to pass to OsSync() (or 0) */ | - | ||||||||||||||||||
| 3314 | ){ | - | ||||||||||||||||||
| 3315 | int rc; /* Used to catch return codes */ | - | ||||||||||||||||||
| 3316 | u32 iFrame; /* Next frame address */ | - | ||||||||||||||||||
| 3317 | PgHdr *p; /* Iterator to run through pList with. */ | - | ||||||||||||||||||
| 3318 | PgHdr *pLast = 0; /* Last frame in list */ | - | ||||||||||||||||||
| 3319 | int nExtra = 0; /* Number of extra copies of last page */ | - | ||||||||||||||||||
| 3320 | int szFrame; /* The size of a single frame */ | - | ||||||||||||||||||
| 3321 | i64 iOffset; /* Next byte to write in WAL file */ | - | ||||||||||||||||||
| 3322 | WalWriter w; /* The writer */ | - | ||||||||||||||||||
| 3323 | u32 iFirst = 0; /* First frame that may be overwritten */ | - | ||||||||||||||||||
| 3324 | WalIndexHdr *pLive; /* Pointer to shared header */ | - | ||||||||||||||||||
| 3325 | - | |||||||||||||||||||
| 3326 | assert( pList ); | - | ||||||||||||||||||
| 3327 | assert( pWal->writeLock ); | - | ||||||||||||||||||
| 3328 | - | |||||||||||||||||||
| 3329 | /* If this frame set completes a transaction, then nTruncate>0. If | - | ||||||||||||||||||
| 3330 | ** nTruncate==0 then this frame set does not complete the transaction. */ | - | ||||||||||||||||||
| 3331 | assert( (isCommit!=0)==(nTruncate!=0) ); | - | ||||||||||||||||||
| 3332 | - | |||||||||||||||||||
| 3333 | #if defined(SQLITE_TEST) && defined(SQLITE_DEBUG) | - | ||||||||||||||||||
| 3334 | { int cnt; for(cnt=0, p=pList; p; p=p->pDirty, cnt++){} | - | ||||||||||||||||||
| 3335 | WALTRACE(("WAL%p: frame write begin. %d frames. mxFrame=%d. %s\n", | - | ||||||||||||||||||
| 3336 | pWal, cnt, pWal->hdr.mxFrame, isCommit ? "Commit" : "Spill")); | - | ||||||||||||||||||
| 3337 | } | - | ||||||||||||||||||
| 3338 | #endif | - | ||||||||||||||||||
| 3339 | - | |||||||||||||||||||
| 3340 | pLive = (WalIndexHdr*)walIndexHdr(pWal); | - | ||||||||||||||||||
| 3341 | if( memcmp(&pWal->hdr, (void *)pLive, sizeof(WalIndexHdr))!=0 ){
| 55529-97365 | ||||||||||||||||||
| 3342 | iFirst = pLive->mxFrame+1; | - | ||||||||||||||||||
| 3343 | } executed 97365 times by 3 tests: end of blockExecuted by:
| 97365 | ||||||||||||||||||
| 3344 | - | |||||||||||||||||||
| 3345 | /* See if it is possible to write these frames into the start of the | - | ||||||||||||||||||
| 3346 | ** log file, instead of appending to it at pWal->hdr.mxFrame. | - | ||||||||||||||||||
| 3347 | */ | - | ||||||||||||||||||
| 3348 | if( SQLITE_OK!=(rc = walRestartLog(pWal)) ){
| 0-152894 | ||||||||||||||||||
| 3349 | return rc; never executed: return rc; | 0 | ||||||||||||||||||
| 3350 | } | - | ||||||||||||||||||
| 3351 | - | |||||||||||||||||||
| 3352 | /* If this is the first frame written into the log, write the WAL | - | ||||||||||||||||||
| 3353 | ** header to the start of the WAL file. See comments at the top of | - | ||||||||||||||||||
| 3354 | ** this source file for a description of the WAL header format. | - | ||||||||||||||||||
| 3355 | */ | - | ||||||||||||||||||
| 3356 | iFrame = pWal->hdr.mxFrame; | - | ||||||||||||||||||
| 3357 | if( iFrame==0 ){
| 4808-148086 | ||||||||||||||||||
| 3358 | u8 aWalHdr[WAL_HDRSIZE]; /* Buffer to assemble wal-header in */ | - | ||||||||||||||||||
| 3359 | u32 aCksum[2]; /* Checksum for wal-header */ | - | ||||||||||||||||||
| 3360 | - | |||||||||||||||||||
| 3361 | sqlite3Put4byte(&aWalHdr[0], (WAL_MAGIC | SQLITE_BIGENDIAN)); | - | ||||||||||||||||||
| 3362 | sqlite3Put4byte(&aWalHdr[4], WAL_MAX_VERSION); | - | ||||||||||||||||||
| 3363 | sqlite3Put4byte(&aWalHdr[8], szPage); | - | ||||||||||||||||||
| 3364 | sqlite3Put4byte(&aWalHdr[12], pWal->nCkpt); | - | ||||||||||||||||||
| 3365 | if( pWal->nCkpt==0 ) sqlite3_randomness(8, pWal->hdr.aSalt); executed 493 times by 17 tests: sqlite3_randomness(8, pWal->hdr.aSalt);Executed by:
| 493-4315 | ||||||||||||||||||
| 3366 | memcpy(&aWalHdr[16], pWal->hdr.aSalt, 8); | - | ||||||||||||||||||
| 3367 | walChecksumBytes(1, aWalHdr, WAL_HDRSIZE-2*4, 0, aCksum); | - | ||||||||||||||||||
| 3368 | sqlite3Put4byte(&aWalHdr[24], aCksum[0]); | - | ||||||||||||||||||
| 3369 | sqlite3Put4byte(&aWalHdr[28], aCksum[1]); | - | ||||||||||||||||||
| 3370 | - | |||||||||||||||||||
| 3371 | pWal->szPage = szPage; | - | ||||||||||||||||||
| 3372 | pWal->hdr.bigEndCksum = SQLITE_BIGENDIAN; | - | ||||||||||||||||||
| 3373 | pWal->hdr.aFrameCksum[0] = aCksum[0]; | - | ||||||||||||||||||
| 3374 | pWal->hdr.aFrameCksum[1] = aCksum[1]; | - | ||||||||||||||||||
| 3375 | pWal->truncateOnCommit = 1; | - | ||||||||||||||||||
| 3376 | - | |||||||||||||||||||
| 3377 | rc = sqlite3OsWrite(pWal->pWalFd, aWalHdr, sizeof(aWalHdr), 0); | - | ||||||||||||||||||
| 3378 | WALTRACE(("WAL%p: wal-header write %s\n", pWal, rc ? "failed" : "ok")); | - | ||||||||||||||||||
| 3379 | if( rc!=SQLITE_OK ){
| 0-4808 | ||||||||||||||||||
| 3380 | return rc; never executed: return rc; | 0 | ||||||||||||||||||
| 3381 | } | - | ||||||||||||||||||
| 3382 | - | |||||||||||||||||||
| 3383 | /* Sync the header (unless SQLITE_IOCAP_SEQUENTIAL is true or unless | - | ||||||||||||||||||
| 3384 | ** all syncing is turned off by PRAGMA synchronous=OFF). Otherwise | - | ||||||||||||||||||
| 3385 | ** an out-of-order write following a WAL restart could result in | - | ||||||||||||||||||
| 3386 | ** database corruption. See the ticket: | - | ||||||||||||||||||
| 3387 | ** | - | ||||||||||||||||||
| 3388 | ** https://sqlite.org/src/info/ff5be73dee | - | ||||||||||||||||||
| 3389 | */ | - | ||||||||||||||||||
| 3390 | if( pWal->syncHeader ){
| 0-4808 | ||||||||||||||||||
| 3391 | rc = sqlite3OsSync(pWal->pWalFd, CKPT_SYNC_FLAGS(sync_flags)); | - | ||||||||||||||||||
| 3392 | if( rc ) return rc; never executed: return rc;
| 0-4808 | ||||||||||||||||||
| 3393 | } executed 4808 times by 17 tests: end of blockExecuted by:
| 4808 | ||||||||||||||||||
| 3394 | } executed 4808 times by 17 tests: end of blockExecuted by:
| 4808 | ||||||||||||||||||
| 3395 | assert( (int)pWal->szPage==szPage ); | - | ||||||||||||||||||
| 3396 | - | |||||||||||||||||||
| 3397 | /* Setup information needed to write frames into the WAL */ | - | ||||||||||||||||||
| 3398 | w.pWal = pWal; | - | ||||||||||||||||||
| 3399 | w.pFd = pWal->pWalFd; | - | ||||||||||||||||||
| 3400 | w.iSyncPoint = 0; | - | ||||||||||||||||||
| 3401 | w.syncFlags = sync_flags; | - | ||||||||||||||||||
| 3402 | w.szPage = szPage; | - | ||||||||||||||||||
| 3403 | iOffset = walFrameOffset(iFrame+1, szPage); | - | ||||||||||||||||||
| 3404 | szFrame = szPage + WAL_FRAME_HDRSIZE; | - | ||||||||||||||||||
| 3405 | - | |||||||||||||||||||
| 3406 | /* Write all frames into the log file exactly once */ | - | ||||||||||||||||||
| 3407 | for(p=pList; p; p=p->pDirty){
| 152894-210019 | ||||||||||||||||||
| 3408 | int nDbSize; /* 0 normally. Positive == commit flag */ | - | ||||||||||||||||||
| 3409 | - | |||||||||||||||||||
| 3410 | /* Check if this page has already been written into the wal file by | - | ||||||||||||||||||
| 3411 | ** the current transaction. If so, overwrite the existing frame and | - | ||||||||||||||||||
| 3412 | ** set Wal.writeLock to WAL_WRITELOCK_RECKSUM - indicating that | - | ||||||||||||||||||
| 3413 | ** checksums must be recomputed when the transaction is committed. */ | - | ||||||||||||||||||
| 3414 | if( iFirst && (p->pDirty || isCommit==0) ){
| 60-112263 | ||||||||||||||||||
| 3415 | u32 iWrite = 0; | - | ||||||||||||||||||
| 3416 | VVA_ONLY(rc =) sqlite3WalFindFrame(pWal, p->pgno, &iWrite); | - | ||||||||||||||||||
| 3417 | assert( rc==SQLITE_OK || iWrite==0 ); | - | ||||||||||||||||||
| 3418 | if( iWrite>=iFirst ){
| 13305-98898 | ||||||||||||||||||
| 3419 | i64 iOff = walFrameOffset(iWrite, szPage) + WAL_FRAME_HDRSIZE; | - | ||||||||||||||||||
| 3420 | void *pData; | - | ||||||||||||||||||
| 3421 | if( pWal->iReCksum==0 || iWrite<pWal->iReCksum ){
| 29-13230 | ||||||||||||||||||
| 3422 | pWal->iReCksum = iWrite; | - | ||||||||||||||||||
| 3423 | } executed 104 times by 1 test: end of blockExecuted by:
| 104 | ||||||||||||||||||
| 3424 | #if defined(SQLITE_HAS_CODEC) | - | ||||||||||||||||||
| 3425 | if( (pData = sqlite3PagerCodec(p))==0 ) return SQLITE_NOMEM; | - | ||||||||||||||||||
| 3426 | #else | - | ||||||||||||||||||
| 3427 | pData = p->pData; | - | ||||||||||||||||||
| 3428 | #endif | - | ||||||||||||||||||
| 3429 | rc = sqlite3OsWrite(pWal->pWalFd, pData, szPage, iOff); | - | ||||||||||||||||||
| 3430 | if( rc ) return rc; never executed: return rc;
| 0-13305 | ||||||||||||||||||
| 3431 | p->flags &= ~PGHDR_WAL_APPEND; | - | ||||||||||||||||||
| 3432 | continue; executed 13305 times by 1 test: continue;Executed by:
| 13305 | ||||||||||||||||||
| 3433 | } | - | ||||||||||||||||||
| 3434 | } executed 98898 times by 3 tests: end of blockExecuted by:
| 98898 | ||||||||||||||||||
| 3435 | - | |||||||||||||||||||
| 3436 | iFrame++; | - | ||||||||||||||||||
| 3437 | assert( iOffset==walFrameOffset(iFrame, szPage) ); | - | ||||||||||||||||||
| 3438 | nDbSize = (isCommit && p->pDirty==0) ? nTruncate : 0;
| 55469-112101 | ||||||||||||||||||
| 3439 | rc = walWriteOneFrame(&w, p, nDbSize, iOffset); | - | ||||||||||||||||||
| 3440 | if( rc ) return rc; never executed: return rc;
| 0-196714 | ||||||||||||||||||
| 3441 | pLast = p; | - | ||||||||||||||||||
| 3442 | iOffset += szFrame; | - | ||||||||||||||||||
| 3443 | p->flags |= PGHDR_WAL_APPEND; | - | ||||||||||||||||||
| 3444 | } executed 196714 times by 26 tests: end of blockExecuted by:
| 196714 | ||||||||||||||||||
| 3445 | - | |||||||||||||||||||
| 3446 | /* Recalculate checksums within the wal file if required. */ | - | ||||||||||||||||||
| 3447 | if( isCommit && pWal->iReCksum ){
| 21-97425 | ||||||||||||||||||
| 3448 | rc = walRewriteChecksums(pWal, iFrame); | - | ||||||||||||||||||
| 3449 | if( rc ) return rc; never executed: return rc;
| 0-21 | ||||||||||||||||||
| 3450 | } executed 21 times by 1 test: end of blockExecuted by:
| 21 | ||||||||||||||||||
| 3451 | - | |||||||||||||||||||
| 3452 | /* If this is the end of a transaction, then we might need to pad | - | ||||||||||||||||||
| 3453 | ** the transaction and/or sync the WAL file. | - | ||||||||||||||||||
| 3454 | ** | - | ||||||||||||||||||
| 3455 | ** Padding and syncing only occur if this set of frames complete a | - | ||||||||||||||||||
| 3456 | ** transaction and if PRAGMA synchronous=FULL. If synchronous==NORMAL | - | ||||||||||||||||||
| 3457 | ** or synchronous==OFF, then no padding or syncing are needed. | - | ||||||||||||||||||
| 3458 | ** | - | ||||||||||||||||||
| 3459 | ** If SQLITE_IOCAP_POWERSAFE_OVERWRITE is defined, then padding is not | - | ||||||||||||||||||
| 3460 | ** needed and only the sync is done. If padding is needed, then the | - | ||||||||||||||||||
| 3461 | ** final frame is repeated (with its commit mark) until the next sector | - | ||||||||||||||||||
| 3462 | ** boundary is crossed. Only the part of the WAL prior to the last | - | ||||||||||||||||||
| 3463 | ** sector boundary is synced; the part of the last frame that extends | - | ||||||||||||||||||
| 3464 | ** past the sector boundary is written after the sync. | - | ||||||||||||||||||
| 3465 | */ | - | ||||||||||||||||||
| 3466 | if( isCommit && WAL_SYNC_FLAGS(sync_flags)!=0 ){
| 305-97425 | ||||||||||||||||||
| 3467 | int bSync = 1; | - | ||||||||||||||||||
| 3468 | if( pWal->padToSectorBoundary ){
| 45-55119 | ||||||||||||||||||
| 3469 | int sectorSize = sqlite3SectorSize(pWal->pWalFd); | - | ||||||||||||||||||
| 3470 | w.iSyncPoint = ((iOffset+sectorSize-1)/sectorSize)*sectorSize; | - | ||||||||||||||||||
| 3471 | bSync = (w.iSyncPoint==iOffset); | - | ||||||||||||||||||
| 3472 | testcase( bSync ); | - | ||||||||||||||||||
| 3473 | while( iOffset<w.iSyncPoint ){
| 45-92 | ||||||||||||||||||
| 3474 | rc = walWriteOneFrame(&w, pLast, nTruncate, iOffset); | - | ||||||||||||||||||
| 3475 | if( rc ) return rc; never executed: return rc;
| 0-92 | ||||||||||||||||||
| 3476 | iOffset += szFrame; | - | ||||||||||||||||||
| 3477 | nExtra++; | - | ||||||||||||||||||
| 3478 | } executed 92 times by 10 tests: end of blockExecuted by:
| 92 | ||||||||||||||||||
| 3479 | } executed 45 times by 11 tests: end of blockExecuted by:
| 45 | ||||||||||||||||||
| 3480 | if( bSync ){
| 44-55120 | ||||||||||||||||||
| 3481 | assert( rc==SQLITE_OK ); | - | ||||||||||||||||||
| 3482 | rc = sqlite3OsSync(w.pFd, WAL_SYNC_FLAGS(sync_flags)); | - | ||||||||||||||||||
| 3483 | } executed 55120 times by 17 tests: end of blockExecuted by:
| 55120 | ||||||||||||||||||
| 3484 | } executed 55164 times by 26 tests: end of blockExecuted by:
| 55164 | ||||||||||||||||||
| 3485 | - | |||||||||||||||||||
| 3486 | /* If this frame set completes the first transaction in the WAL and | - | ||||||||||||||||||
| 3487 | ** if PRAGMA journal_size_limit is set, then truncate the WAL to the | - | ||||||||||||||||||
| 3488 | ** journal size limit, if possible. | - | ||||||||||||||||||
| 3489 | */ | - | ||||||||||||||||||
| 3490 | if( isCommit && pWal->truncateOnCommit && pWal->mxWalSize>=0 ){
| 17-97425 | ||||||||||||||||||
| 3491 | i64 sz = pWal->mxWalSize; | - | ||||||||||||||||||
| 3492 | if( walFrameOffset(iFrame+nExtra+1, szPage)>pWal->mxWalSize ){
| 2-15 | ||||||||||||||||||
| 3493 | sz = walFrameOffset(iFrame+nExtra+1, szPage); | - | ||||||||||||||||||
| 3494 | } executed 2 times by 1 test: end of blockExecuted by:
| 2 | ||||||||||||||||||
| 3495 | walLimitSize(pWal, sz); | - | ||||||||||||||||||
| 3496 | pWal->truncateOnCommit = 0; | - | ||||||||||||||||||
| 3497 | } executed 17 times by 1 test: end of blockExecuted by:
| 17 | ||||||||||||||||||
| 3498 | - | |||||||||||||||||||
| 3499 | /* Append data to the wal-index. It is not necessary to lock the | - | ||||||||||||||||||
| 3500 | ** wal-index to do this as the SQLITE_SHM_WRITE lock held on the wal-index | - | ||||||||||||||||||
| 3501 | ** guarantees that there are no other writers, and no data that may | - | ||||||||||||||||||
| 3502 | ** be in use by existing readers is being overwritten. | - | ||||||||||||||||||
| 3503 | */ | - | ||||||||||||||||||
| 3504 | iFrame = pWal->hdr.mxFrame; | - | ||||||||||||||||||
| 3505 | for(p=pList; p && rc==SQLITE_OK; p=p->pDirty){
| 0-210019 | ||||||||||||||||||
| 3506 | if( (p->flags & PGHDR_WAL_APPEND)==0 ) continue; executed 13305 times by 1 test: continue;Executed by:
| 13305-196714 | ||||||||||||||||||
| 3507 | iFrame++; | - | ||||||||||||||||||
| 3508 | rc = walIndexAppend(pWal, iFrame, p->pgno); | - | ||||||||||||||||||
| 3509 | } executed 196714 times by 26 tests: end of blockExecuted by:
| 196714 | ||||||||||||||||||
| 3510 | while( rc==SQLITE_OK && nExtra>0 ){
| 1-152985 | ||||||||||||||||||
| 3511 | iFrame++; | - | ||||||||||||||||||
| 3512 | nExtra--; | - | ||||||||||||||||||
| 3513 | rc = walIndexAppend(pWal, iFrame, pLast->pgno); | - | ||||||||||||||||||
| 3514 | } executed 92 times by 10 tests: end of blockExecuted by:
| 92 | ||||||||||||||||||
| 3515 | - | |||||||||||||||||||
| 3516 | if( rc==SQLITE_OK ){
| 1-152893 | ||||||||||||||||||
| 3517 | /* Update the private copy of the header. */ | - | ||||||||||||||||||
| 3518 | pWal->hdr.szPage = (u16)((szPage&0xff00) | (szPage>>16)); | - | ||||||||||||||||||
| 3519 | testcase( szPage<=32768 ); | - | ||||||||||||||||||
| 3520 | testcase( szPage>=65536 ); | - | ||||||||||||||||||
| 3521 | pWal->hdr.mxFrame = iFrame; | - | ||||||||||||||||||
| 3522 | if( isCommit ){
| 55468-97425 | ||||||||||||||||||
| 3523 | pWal->hdr.iChange++; | - | ||||||||||||||||||
| 3524 | pWal->hdr.nPage = nTruncate; | - | ||||||||||||||||||
| 3525 | } executed 55468 times by 26 tests: end of blockExecuted by:
| 55468 | ||||||||||||||||||
| 3526 | /* If this is a commit, update the wal-index header too. */ | - | ||||||||||||||||||
| 3527 | if( isCommit ){
| 55468-97425 | ||||||||||||||||||
| 3528 | walIndexWriteHdr(pWal); | - | ||||||||||||||||||
| 3529 | pWal->iCallback = iFrame; | - | ||||||||||||||||||
| 3530 | } executed 55468 times by 26 tests: end of blockExecuted by:
| 55468 | ||||||||||||||||||
| 3531 | } executed 152893 times by 26 tests: end of blockExecuted by:
| 152893 | ||||||||||||||||||
| 3532 | - | |||||||||||||||||||
| 3533 | WALTRACE(("WAL%p: frame write %s\n", pWal, rc ? "failed" : "ok")); | - | ||||||||||||||||||
| 3534 | return rc; executed 152894 times by 26 tests: return rc;Executed by:
| 152894 | ||||||||||||||||||
| 3535 | } | - | ||||||||||||||||||
| 3536 | - | |||||||||||||||||||
| 3537 | /* | - | ||||||||||||||||||
| 3538 | ** This routine is called to implement sqlite3_wal_checkpoint() and | - | ||||||||||||||||||
| 3539 | ** related interfaces. | - | ||||||||||||||||||
| 3540 | ** | - | ||||||||||||||||||
| 3541 | ** Obtain a CHECKPOINT lock and then backfill as much information as | - | ||||||||||||||||||
| 3542 | ** we can from WAL into the database. | - | ||||||||||||||||||
| 3543 | ** | - | ||||||||||||||||||
| 3544 | ** If parameter xBusy is not NULL, it is a pointer to a busy-handler | - | ||||||||||||||||||
| 3545 | ** callback. In this case this function runs a blocking checkpoint. | - | ||||||||||||||||||
| 3546 | */ | - | ||||||||||||||||||
| 3547 | int sqlite3WalCheckpoint( | - | ||||||||||||||||||
| 3548 | Wal *pWal, /* Wal connection */ | - | ||||||||||||||||||
| 3549 | sqlite3 *db, /* Check this handle's interrupt flag */ | - | ||||||||||||||||||
| 3550 | int eMode, /* PASSIVE, FULL, RESTART, or TRUNCATE */ | - | ||||||||||||||||||
| 3551 | int (*xBusy)(void*), /* Function to call when busy */ | - | ||||||||||||||||||
| 3552 | void *pBusyArg, /* Context argument for xBusyHandler */ | - | ||||||||||||||||||
| 3553 | int sync_flags, /* Flags to sync db file with (or 0) */ | - | ||||||||||||||||||
| 3554 | int nBuf, /* Size of temporary buffer */ | - | ||||||||||||||||||
| 3555 | u8 *zBuf, /* Temporary buffer to use */ | - | ||||||||||||||||||
| 3556 | int *pnLog, /* OUT: Number of frames in WAL */ | - | ||||||||||||||||||
| 3557 | int *pnCkpt /* OUT: Number of backfilled frames in WAL */ | - | ||||||||||||||||||
| 3558 | ){ | - | ||||||||||||||||||
| 3559 | int rc; /* Return code */ | - | ||||||||||||||||||
| 3560 | int isChanged = 0; /* True if a new wal-index header is loaded */ | - | ||||||||||||||||||
| 3561 | int eMode2 = eMode; /* Mode to pass to walCheckpoint() */ | - | ||||||||||||||||||
| 3562 | int (*xBusy2)(void*) = xBusy; /* Busy handler for eMode2 */ | - | ||||||||||||||||||
| 3563 | - | |||||||||||||||||||
| 3564 | assert( pWal->ckptLock==0 ); | - | ||||||||||||||||||
| 3565 | assert( pWal->writeLock==0 ); | - | ||||||||||||||||||
| 3566 | - | |||||||||||||||||||
| 3567 | /* EVIDENCE-OF: R-62920-47450 The busy-handler callback is never invoked | - | ||||||||||||||||||
| 3568 | ** in the SQLITE_CHECKPOINT_PASSIVE mode. */ | - | ||||||||||||||||||
| 3569 | assert( eMode!=SQLITE_CHECKPOINT_PASSIVE || xBusy==0 ); | - | ||||||||||||||||||
| 3570 | - | |||||||||||||||||||
| 3571 | if( pWal->readOnly ) return SQLITE_READONLY; executed 16 times by 2 tests: return 8;Executed by:
| 16-7383 | ||||||||||||||||||
| 3572 | WALTRACE(("WAL%p: checkpoint begins\n", pWal)); | - | ||||||||||||||||||
| 3573 | - | |||||||||||||||||||
| 3574 | /* IMPLEMENTATION-OF: R-62028-47212 All calls obtain an exclusive | - | ||||||||||||||||||
| 3575 | ** "checkpoint" lock on the database file. */ | - | ||||||||||||||||||
| 3576 | rc = walLockExclusive(pWal, WAL_CKPT_LOCK, 1); | - | ||||||||||||||||||
| 3577 | if( rc ){
| 6-7377 | ||||||||||||||||||
| 3578 | /* EVIDENCE-OF: R-10421-19736 If any other process is running a | - | ||||||||||||||||||
| 3579 | ** checkpoint operation at the same time, the lock cannot be obtained and | - | ||||||||||||||||||
| 3580 | ** SQLITE_BUSY is returned. | - | ||||||||||||||||||
| 3581 | ** EVIDENCE-OF: R-53820-33897 Even if there is a busy-handler configured, | - | ||||||||||||||||||
| 3582 | ** it will not be invoked in this case. | - | ||||||||||||||||||
| 3583 | */ | - | ||||||||||||||||||
| 3584 | testcase( rc==SQLITE_BUSY ); | - | ||||||||||||||||||
| 3585 | testcase( xBusy!=0 ); | - | ||||||||||||||||||
| 3586 | return rc; executed 6 times by 1 test: return rc;Executed by:
| 6 | ||||||||||||||||||
| 3587 | } | - | ||||||||||||||||||
| 3588 | pWal->ckptLock = 1; | - | ||||||||||||||||||
| 3589 | - | |||||||||||||||||||
| 3590 | /* IMPLEMENTATION-OF: R-59782-36818 The SQLITE_CHECKPOINT_FULL, RESTART and | - | ||||||||||||||||||
| 3591 | ** TRUNCATE modes also obtain the exclusive "writer" lock on the database | - | ||||||||||||||||||
| 3592 | ** file. | - | ||||||||||||||||||
| 3593 | ** | - | ||||||||||||||||||
| 3594 | ** EVIDENCE-OF: R-60642-04082 If the writer lock cannot be obtained | - | ||||||||||||||||||
| 3595 | ** immediately, and a busy-handler is configured, it is invoked and the | - | ||||||||||||||||||
| 3596 | ** writer lock retried until either the busy-handler returns 0 or the | - | ||||||||||||||||||
| 3597 | ** lock is successfully obtained. | - | ||||||||||||||||||
| 3598 | */ | - | ||||||||||||||||||
| 3599 | if( eMode!=SQLITE_CHECKPOINT_PASSIVE ){
| 164-7213 | ||||||||||||||||||
| 3600 | rc = walBusyLock(pWal, xBusy, pBusyArg, WAL_WRITE_LOCK, 1); | - | ||||||||||||||||||
| 3601 | if( rc==SQLITE_OK ){
| 26-138 | ||||||||||||||||||
| 3602 | pWal->writeLock = 1; | - | ||||||||||||||||||
| 3603 | }else if( rc==SQLITE_BUSY ){ executed 138 times by 3 tests: end of blockExecuted by:
| 0-138 | ||||||||||||||||||
| 3604 | eMode2 = SQLITE_CHECKPOINT_PASSIVE; | - | ||||||||||||||||||
| 3605 | xBusy2 = 0; | - | ||||||||||||||||||
| 3606 | rc = SQLITE_OK; | - | ||||||||||||||||||
| 3607 | } executed 26 times by 1 test: end of blockExecuted by:
| 26 | ||||||||||||||||||
| 3608 | } executed 164 times by 3 tests: end of blockExecuted by:
| 164 | ||||||||||||||||||
| 3609 | - | |||||||||||||||||||
| 3610 | /* Read the wal-index header. */ | - | ||||||||||||||||||
| 3611 | if( rc==SQLITE_OK ){
| 0-7377 | ||||||||||||||||||
| 3612 | rc = walIndexReadHdr(pWal, &isChanged); | - | ||||||||||||||||||
| 3613 | if( isChanged && pWal->pDbFd->pMethods->iVersion>=3 ){
| 0-7197 | ||||||||||||||||||
| 3614 | sqlite3OsUnfetch(pWal->pDbFd, 0, 0); | - | ||||||||||||||||||
| 3615 | } executed 180 times by 3 tests: end of blockExecuted by:
| 180 | ||||||||||||||||||
| 3616 | } executed 7377 times by 13 tests: end of blockExecuted by:
| 7377 | ||||||||||||||||||
| 3617 | - | |||||||||||||||||||
| 3618 | /* Copy data from the log to the database file. */ | - | ||||||||||||||||||
| 3619 | if( rc==SQLITE_OK ){
| 9-7368 | ||||||||||||||||||
| 3620 | - | |||||||||||||||||||
| 3621 | if( pWal->hdr.mxFrame && walPagesize(pWal)!=nBuf ){
| 22-7175 | ||||||||||||||||||
| 3622 | rc = SQLITE_CORRUPT_BKPT; | - | ||||||||||||||||||
| 3623 | }else{ executed 22 times by 1 test: end of blockExecuted by:
| 22 | ||||||||||||||||||
| 3624 | rc = walCheckpoint(pWal, db, eMode2, xBusy2, pBusyArg, sync_flags, zBuf); | - | ||||||||||||||||||
| 3625 | } executed 7346 times by 13 tests: end of blockExecuted by:
| 7346 | ||||||||||||||||||
| 3626 | - | |||||||||||||||||||
| 3627 | /* If no error occurred, set the output variables. */ | - | ||||||||||||||||||
| 3628 | if( rc==SQLITE_OK || rc==SQLITE_BUSY ){
| 34-7288 | ||||||||||||||||||
| 3629 | if( pnLog ) *pnLog = (int)pWal->hdr.mxFrame; executed 4513 times by 10 tests: *pnLog = (int)pWal->hdr.mxFrame;Executed by:
| 2821-4513 | ||||||||||||||||||
| 3630 | if( pnCkpt ) *pnCkpt = (int)(walCkptInfo(pWal)->nBackfill); executed 4513 times by 10 tests: *pnCkpt = (int)(walCkptInfo(pWal)->nBackfill);Executed by:
| 2821-4513 | ||||||||||||||||||
| 3631 | } executed 7334 times by 13 tests: end of blockExecuted by:
| 7334 | ||||||||||||||||||
| 3632 | } executed 7368 times by 13 tests: end of blockExecuted by:
| 7368 | ||||||||||||||||||
| 3633 | - | |||||||||||||||||||
| 3634 | if( isChanged ){
| 180-7197 | ||||||||||||||||||
| 3635 | /* If a new wal-index header was loaded before the checkpoint was | - | ||||||||||||||||||
| 3636 | ** performed, then the pager-cache associated with pWal is now | - | ||||||||||||||||||
| 3637 | ** out of date. So zero the cached wal-index header to ensure that | - | ||||||||||||||||||
| 3638 | ** next time the pager opens a snapshot on this database it knows that | - | ||||||||||||||||||
| 3639 | ** the cache needs to be reset. | - | ||||||||||||||||||
| 3640 | */ | - | ||||||||||||||||||
| 3641 | memset(&pWal->hdr, 0, sizeof(WalIndexHdr)); | - | ||||||||||||||||||
| 3642 | } executed 180 times by 3 tests: end of blockExecuted by:
| 180 | ||||||||||||||||||
| 3643 | - | |||||||||||||||||||
| 3644 | /* Release the locks. */ | - | ||||||||||||||||||
| 3645 | sqlite3WalEndWriteTransaction(pWal); | - | ||||||||||||||||||
| 3646 | walUnlockExclusive(pWal, WAL_CKPT_LOCK, 1); | - | ||||||||||||||||||
| 3647 | pWal->ckptLock = 0; | - | ||||||||||||||||||
| 3648 | WALTRACE(("WAL%p: checkpoint %s\n", pWal, rc ? "failed" : "ok")); | - | ||||||||||||||||||
| 3649 | return (rc==SQLITE_OK && eMode!=eMode2 ? SQLITE_BUSY : rc); executed 7377 times by 13 tests: return (rc==0 && eMode!=eMode2 ? 5 : rc);Executed by:
| 26-7377 | ||||||||||||||||||
| 3650 | } | - | ||||||||||||||||||
| 3651 | - | |||||||||||||||||||
| 3652 | /* Return the value to pass to a sqlite3_wal_hook callback, the | - | ||||||||||||||||||
| 3653 | ** number of frames in the WAL at the point of the last commit since | - | ||||||||||||||||||
| 3654 | ** sqlite3WalCallback() was called. If no commits have occurred since | - | ||||||||||||||||||
| 3655 | ** the last call, then return 0. | - | ||||||||||||||||||
| 3656 | */ | - | ||||||||||||||||||
| 3657 | int sqlite3WalCallback(Wal *pWal){ | - | ||||||||||||||||||
| 3658 | u32 ret = 0; | - | ||||||||||||||||||
| 3659 | if( pWal ){
| 67555-402037 | ||||||||||||||||||
| 3660 | ret = pWal->iCallback; | - | ||||||||||||||||||
| 3661 | pWal->iCallback = 0; | - | ||||||||||||||||||
| 3662 | } executed 67555 times by 46 tests: end of blockExecuted by:
| 67555 | ||||||||||||||||||
| 3663 | return (int)ret; executed 469592 times by 434 tests: return (int)ret;Executed by:
| 469592 | ||||||||||||||||||
| 3664 | } | - | ||||||||||||||||||
| 3665 | - | |||||||||||||||||||
| 3666 | /* | - | ||||||||||||||||||
| 3667 | ** This function is called to change the WAL subsystem into or out | - | ||||||||||||||||||
| 3668 | ** of locking_mode=EXCLUSIVE. | - | ||||||||||||||||||
| 3669 | ** | - | ||||||||||||||||||
| 3670 | ** If op is zero, then attempt to change from locking_mode=EXCLUSIVE | - | ||||||||||||||||||
| 3671 | ** into locking_mode=NORMAL. This means that we must acquire a lock | - | ||||||||||||||||||
| 3672 | ** on the pWal->readLock byte. If the WAL is already in locking_mode=NORMAL | - | ||||||||||||||||||
| 3673 | ** or if the acquisition of the lock fails, then return 0. If the | - | ||||||||||||||||||
| 3674 | ** transition out of exclusive-mode is successful, return 1. This | - | ||||||||||||||||||
| 3675 | ** operation must occur while the pager is still holding the exclusive | - | ||||||||||||||||||
| 3676 | ** lock on the main database file. | - | ||||||||||||||||||
| 3677 | ** | - | ||||||||||||||||||
| 3678 | ** If op is one, then change from locking_mode=NORMAL into | - | ||||||||||||||||||
| 3679 | ** locking_mode=EXCLUSIVE. This means that the pWal->readLock must | - | ||||||||||||||||||
| 3680 | ** be released. Return 1 if the transition is made and 0 if the | - | ||||||||||||||||||
| 3681 | ** WAL is already in exclusive-locking mode - meaning that this | - | ||||||||||||||||||
| 3682 | ** routine is a no-op. The pager must already hold the exclusive lock | - | ||||||||||||||||||
| 3683 | ** on the main database file before invoking this operation. | - | ||||||||||||||||||
| 3684 | ** | - | ||||||||||||||||||
| 3685 | ** If op is negative, then do a dry-run of the op==1 case but do | - | ||||||||||||||||||
| 3686 | ** not actually change anything. The pager uses this to see if it | - | ||||||||||||||||||
| 3687 | ** should acquire the database exclusive lock prior to invoking | - | ||||||||||||||||||
| 3688 | ** the op==1 case. | - | ||||||||||||||||||
| 3689 | */ | - | ||||||||||||||||||
| 3690 | int sqlite3WalExclusiveMode(Wal *pWal, int op){ | - | ||||||||||||||||||
| 3691 | int rc; | - | ||||||||||||||||||
| 3692 | assert( pWal->writeLock==0 ); | - | ||||||||||||||||||
| 3693 | assert( pWal->exclusiveMode!=WAL_HEAPMEMORY_MODE || op==-1 ); | - | ||||||||||||||||||
| 3694 | - | |||||||||||||||||||
| 3695 | /* pWal->readLock is usually set, but might be -1 if there was a | - | ||||||||||||||||||
| 3696 | ** prior error while attempting to acquire are read-lock. This cannot | - | ||||||||||||||||||
| 3697 | ** happen if the connection is actually in exclusive mode (as no xShmLock | - | ||||||||||||||||||
| 3698 | ** locks are taken in this case). Nor should the pager attempt to | - | ||||||||||||||||||
| 3699 | ** upgrade to exclusive-mode following such an error. | - | ||||||||||||||||||
| 3700 | */ | - | ||||||||||||||||||
| 3701 | assert( pWal->readLock>=0 || pWal->lockError ); | - | ||||||||||||||||||
| 3702 | assert( pWal->readLock>=0 || (op<=0 && pWal->exclusiveMode==0) ); | - | ||||||||||||||||||
| 3703 | - | |||||||||||||||||||
| 3704 | if( op==0 ){
| 37-55584 | ||||||||||||||||||
| 3705 | if( pWal->exclusiveMode!=WAL_NORMAL_MODE ){
| 10-55574 | ||||||||||||||||||
| 3706 | pWal->exclusiveMode = WAL_NORMAL_MODE; | - | ||||||||||||||||||
| 3707 | if( walLockShared(pWal, WAL_READ_LOCK(pWal->readLock))!=SQLITE_OK ){
| 2-8 | ||||||||||||||||||
| 3708 | pWal->exclusiveMode = WAL_EXCLUSIVE_MODE; | - | ||||||||||||||||||
| 3709 | } executed 2 times by 1 test: end of blockExecuted by:
| 2 | ||||||||||||||||||
| 3710 | rc = pWal->exclusiveMode==WAL_NORMAL_MODE; | - | ||||||||||||||||||
| 3711 | }else{ executed 10 times by 1 test: end of blockExecuted by:
| 10 | ||||||||||||||||||
| 3712 | /* Already in locking_mode=NORMAL */ | - | ||||||||||||||||||
| 3713 | rc = 0; | - | ||||||||||||||||||
| 3714 | } executed 55574 times by 28 tests: end of blockExecuted by:
| 55574 | ||||||||||||||||||
| 3715 | }else if( op>0 ){
| 10-27 | ||||||||||||||||||
| 3716 | assert( pWal->exclusiveMode==WAL_NORMAL_MODE ); | - | ||||||||||||||||||
| 3717 | assert( pWal->readLock>=0 ); | - | ||||||||||||||||||
| 3718 | walUnlockShared(pWal, WAL_READ_LOCK(pWal->readLock)); | - | ||||||||||||||||||
| 3719 | pWal->exclusiveMode = WAL_EXCLUSIVE_MODE; | - | ||||||||||||||||||
| 3720 | rc = 1; | - | ||||||||||||||||||
| 3721 | }else{ executed 10 times by 1 test: end of blockExecuted by:
| 10 | ||||||||||||||||||
| 3722 | rc = pWal->exclusiveMode==WAL_NORMAL_MODE; | - | ||||||||||||||||||
| 3723 | } executed 27 times by 1 test: end of blockExecuted by:
| 27 | ||||||||||||||||||
| 3724 | return rc; executed 55621 times by 28 tests: return rc;Executed by:
| 55621 | ||||||||||||||||||
| 3725 | } | - | ||||||||||||||||||
| 3726 | - | |||||||||||||||||||
| 3727 | /* | - | ||||||||||||||||||
| 3728 | ** Return true if the argument is non-NULL and the WAL module is using | - | ||||||||||||||||||
| 3729 | ** heap-memory for the wal-index. Otherwise, if the argument is NULL or the | - | ||||||||||||||||||
| 3730 | ** WAL module is using shared-memory, return false. | - | ||||||||||||||||||
| 3731 | */ | - | ||||||||||||||||||
| 3732 | int sqlite3WalHeapMemory(Wal *pWal){ | - | ||||||||||||||||||
| 3733 | return (pWal && pWal->exclusiveMode==WAL_HEAPMEMORY_MODE ); executed 822 times by 11 tests: return (pWal && pWal->exclusiveMode==2 );Executed by:
| 4-822 | ||||||||||||||||||
| 3734 | } | - | ||||||||||||||||||
| 3735 | - | |||||||||||||||||||
| 3736 | #ifdef SQLITE_ENABLE_SNAPSHOT | - | ||||||||||||||||||
| 3737 | /* Create a snapshot object. The content of a snapshot is opaque to | - | ||||||||||||||||||
| 3738 | ** every other subsystem, so the WAL module can put whatever it needs | - | ||||||||||||||||||
| 3739 | ** in the object. | - | ||||||||||||||||||
| 3740 | */ | - | ||||||||||||||||||
| 3741 | int sqlite3WalSnapshotGet(Wal *pWal, sqlite3_snapshot **ppSnapshot){ | - | ||||||||||||||||||
| 3742 | int rc = SQLITE_OK; | - | ||||||||||||||||||
| 3743 | WalIndexHdr *pRet; | - | ||||||||||||||||||
| 3744 | static const u32 aZero[4] = { 0, 0, 0, 0 }; | - | ||||||||||||||||||
| 3745 | - | |||||||||||||||||||
| 3746 | assert( pWal->readLock>=0 && pWal->writeLock==0 ); | - | ||||||||||||||||||
| 3747 | - | |||||||||||||||||||
| 3748 | if( memcmp(&pWal->hdr.aFrameCksum[0],aZero,16)==0 ){ | - | ||||||||||||||||||
| 3749 | *ppSnapshot = 0; | - | ||||||||||||||||||
| 3750 | return SQLITE_ERROR; | - | ||||||||||||||||||
| 3751 | } | - | ||||||||||||||||||
| 3752 | pRet = (WalIndexHdr*)sqlite3_malloc(sizeof(WalIndexHdr)); | - | ||||||||||||||||||
| 3753 | if( pRet==0 ){ | - | ||||||||||||||||||
| 3754 | rc = SQLITE_NOMEM_BKPT; | - | ||||||||||||||||||
| 3755 | }else{ | - | ||||||||||||||||||
| 3756 | memcpy(pRet, &pWal->hdr, sizeof(WalIndexHdr)); | - | ||||||||||||||||||
| 3757 | *ppSnapshot = (sqlite3_snapshot*)pRet; | - | ||||||||||||||||||
| 3758 | } | - | ||||||||||||||||||
| 3759 | - | |||||||||||||||||||
| 3760 | return rc; | - | ||||||||||||||||||
| 3761 | } | - | ||||||||||||||||||
| 3762 | - | |||||||||||||||||||
| 3763 | /* Try to open on pSnapshot when the next read-transaction starts | - | ||||||||||||||||||
| 3764 | */ | - | ||||||||||||||||||
| 3765 | void sqlite3WalSnapshotOpen(Wal *pWal, sqlite3_snapshot *pSnapshot){ | - | ||||||||||||||||||
| 3766 | pWal->pSnapshot = (WalIndexHdr*)pSnapshot; | - | ||||||||||||||||||
| 3767 | } | - | ||||||||||||||||||
| 3768 | - | |||||||||||||||||||
| 3769 | /* | - | ||||||||||||||||||
| 3770 | ** Return a +ve value if snapshot p1 is newer than p2. A -ve value if | - | ||||||||||||||||||
| 3771 | ** p1 is older than p2 and zero if p1 and p2 are the same snapshot. | - | ||||||||||||||||||
| 3772 | */ | - | ||||||||||||||||||
| 3773 | int sqlite3_snapshot_cmp(sqlite3_snapshot *p1, sqlite3_snapshot *p2){ | - | ||||||||||||||||||
| 3774 | WalIndexHdr *pHdr1 = (WalIndexHdr*)p1; | - | ||||||||||||||||||
| 3775 | WalIndexHdr *pHdr2 = (WalIndexHdr*)p2; | - | ||||||||||||||||||
| 3776 | - | |||||||||||||||||||
| 3777 | /* aSalt[0] is a copy of the value stored in the wal file header. It | - | ||||||||||||||||||
| 3778 | ** is incremented each time the wal file is restarted. */ | - | ||||||||||||||||||
| 3779 | if( pHdr1->aSalt[0]<pHdr2->aSalt[0] ) return -1; | - | ||||||||||||||||||
| 3780 | if( pHdr1->aSalt[0]>pHdr2->aSalt[0] ) return +1; | - | ||||||||||||||||||
| 3781 | if( pHdr1->mxFrame<pHdr2->mxFrame ) return -1; | - | ||||||||||||||||||
| 3782 | if( pHdr1->mxFrame>pHdr2->mxFrame ) return +1; | - | ||||||||||||||||||
| 3783 | return 0; | - | ||||||||||||||||||
| 3784 | } | - | ||||||||||||||||||
| 3785 | - | |||||||||||||||||||
| 3786 | /* | - | ||||||||||||||||||
| 3787 | ** The caller currently has a read transaction open on the database. | - | ||||||||||||||||||
| 3788 | ** This function takes a SHARED lock on the CHECKPOINTER slot and then | - | ||||||||||||||||||
| 3789 | ** checks if the snapshot passed as the second argument is still | - | ||||||||||||||||||
| 3790 | ** available. If so, SQLITE_OK is returned. | - | ||||||||||||||||||
| 3791 | ** | - | ||||||||||||||||||
| 3792 | ** If the snapshot is not available, SQLITE_ERROR is returned. Or, if | - | ||||||||||||||||||
| 3793 | ** the CHECKPOINTER lock cannot be obtained, SQLITE_BUSY. If any error | - | ||||||||||||||||||
| 3794 | ** occurs (any value other than SQLITE_OK is returned), the CHECKPOINTER | - | ||||||||||||||||||
| 3795 | ** lock is released before returning. | - | ||||||||||||||||||
| 3796 | */ | - | ||||||||||||||||||
| 3797 | int sqlite3WalSnapshotCheck(Wal *pWal, sqlite3_snapshot *pSnapshot){ | - | ||||||||||||||||||
| 3798 | int rc; | - | ||||||||||||||||||
| 3799 | rc = walLockShared(pWal, WAL_CKPT_LOCK); | - | ||||||||||||||||||
| 3800 | if( rc==SQLITE_OK ){ | - | ||||||||||||||||||
| 3801 | WalIndexHdr *pNew = (WalIndexHdr*)pSnapshot; | - | ||||||||||||||||||
| 3802 | if( memcmp(pNew->aSalt, pWal->hdr.aSalt, sizeof(pWal->hdr.aSalt)) | - | ||||||||||||||||||
| 3803 | || pNew->mxFrame<walCkptInfo(pWal)->nBackfillAttempted | - | ||||||||||||||||||
| 3804 | ){ | - | ||||||||||||||||||
| 3805 | rc = SQLITE_ERROR_SNAPSHOT; | - | ||||||||||||||||||
| 3806 | walUnlockShared(pWal, WAL_CKPT_LOCK); | - | ||||||||||||||||||
| 3807 | } | - | ||||||||||||||||||
| 3808 | } | - | ||||||||||||||||||
| 3809 | return rc; | - | ||||||||||||||||||
| 3810 | } | - | ||||||||||||||||||
| 3811 | - | |||||||||||||||||||
| 3812 | /* | - | ||||||||||||||||||
| 3813 | ** Release a lock obtained by an earlier successful call to | - | ||||||||||||||||||
| 3814 | ** sqlite3WalSnapshotCheck(). | - | ||||||||||||||||||
| 3815 | */ | - | ||||||||||||||||||
| 3816 | void sqlite3WalSnapshotUnlock(Wal *pWal){ | - | ||||||||||||||||||
| 3817 | assert( pWal ); | - | ||||||||||||||||||
| 3818 | walUnlockShared(pWal, WAL_CKPT_LOCK); | - | ||||||||||||||||||
| 3819 | } | - | ||||||||||||||||||
| 3820 | - | |||||||||||||||||||
| 3821 | - | |||||||||||||||||||
| 3822 | #endif /* SQLITE_ENABLE_SNAPSHOT */ | - | ||||||||||||||||||
| 3823 | - | |||||||||||||||||||
| 3824 | #ifdef SQLITE_ENABLE_ZIPVFS | - | ||||||||||||||||||
| 3825 | /* | - | ||||||||||||||||||
| 3826 | ** If the argument is not NULL, it points to a Wal object that holds a | - | ||||||||||||||||||
| 3827 | ** read-lock. This function returns the database page-size if it is known, | - | ||||||||||||||||||
| 3828 | ** or zero if it is not (or if pWal is NULL). | - | ||||||||||||||||||
| 3829 | */ | - | ||||||||||||||||||
| 3830 | int sqlite3WalFramesize(Wal *pWal){ | - | ||||||||||||||||||
| 3831 | assert( pWal==0 || pWal->readLock>=0 ); | - | ||||||||||||||||||
| 3832 | return (pWal ? pWal->szPage : 0); | - | ||||||||||||||||||
| 3833 | } | - | ||||||||||||||||||
| 3834 | #endif | - | ||||||||||||||||||
| 3835 | - | |||||||||||||||||||
| 3836 | /* Return the sqlite3_file object for the WAL file | - | ||||||||||||||||||
| 3837 | */ | - | ||||||||||||||||||
| 3838 | sqlite3_file *sqlite3WalFile(Wal *pWal){ | - | ||||||||||||||||||
| 3839 | return pWal->pWalFd; never executed: return pWal->pWalFd; | 0 | ||||||||||||||||||
| 3840 | } | - | ||||||||||||||||||
| 3841 | - | |||||||||||||||||||
| 3842 | #endif /* #ifndef SQLITE_OMIT_WAL */ | - | ||||||||||||||||||
| Source code | Switch to Preprocessed file |