]> git.pond.sub.org Git - empserver/blobdiff - src/lib/common/file.c
Make server check game state file sizes on startup
[empserver] / src / lib / common / file.c
index 29cc8ed3a024a1fa96682d9eeabd3b82c033de77..b1032a310707132dbd05cf81341e7511958d2d79 100644 (file)
@@ -1,6 +1,6 @@
 /*
  *  Empire - A multi-player, client/server Internet based war game.
- *  Copyright (C) 1986-2000, Dave Pare, Jeff Bailey, Thomas Ruschak,
+ *  Copyright (C) 1986-2008, Dave Pare, Jeff Bailey, Thomas Ruschak,
  *                           Ken Stevens, Steve McClure
  *
  *  This program is free software; you can redistribute it and/or modify
  *
  *  ---
  *
- *  See the "LEGAL", "LICENSE", "CREDITS" and "README" files for all the
- *  related information and legal notices. It is expected that any future
- *  projects/authors will amend these files as needed.
+ *  See files README, COPYING and CREDITS in the root of the source
+ *  tree for related information and legal notices.  It is expected
+ *  that future projects/authors will amend these files as needed.
  *
  *  ---
  *
- *  file.c: Misc. operations on files
+ *  file.c: Operations on Empire tables (`files' for historical reasons)
  * 
  *  Known contributors to this file:
  *     Dave Pare, 1989
  *     Steve McClure, 2000
+ *     Markus Armbruster, 2005-2008
  */
 
-#include <string.h>
+#include <config.h>
+
+#include <errno.h>
 #include <fcntl.h>
-#include <signal.h>
-#include <stdlib.h>
-#if !defined(_WIN32)
+#include <sys/stat.h>
+#include <sys/types.h>
 #include <unistd.h>
-#endif
-#include "misc.h"
-#include "xy.h"
-#include "nsc.h"
 #include "file.h"
 #include "match.h"
-#include "struct.h"
-#include "common.h"
-#include "gen.h"
-
+#include "misc.h"
+#include "nsc.h"
+#include "prototypes.h"
 
-static void fillcache(struct empfile *ep, int start);
+static int ef_realloc_cache(struct empfile *, int);
+static int fillcache(struct empfile *, int);
+static int do_write(struct empfile *, void *, int, int, time_t);
+static void do_blank(struct empfile *, void *, int, int);
 
+/*
+ * Open the file-backed table TYPE (EF_SECTOR, ...).
+ * HOW are flags to control operation.  Naturally, immutable flags are
+ * not permitted.
+ * If NELT is non-negative, the table must have that many elements.
+ * Return non-zero on success, zero on failure.
+ * You must call ef_close() before the next ef_open().
+ */
 int
-ef_open(int type, int mode, int how)
+ef_open(int type, int how, int nelt)
 {
-    register struct empfile *ep;
-    static int block;
-    int size;
+    struct empfile *ep;
+    struct flock lock;
+    int oflags, fd, fsiz, nslots;
 
-#if defined(_WIN32)
-    mode |= _O_BINARY;
-#endif
     if (ef_check(type) < 0)
        return 0;
+    if (CANT_HAPPEN(how & EFF_IMMUTABLE))
+       how &= ~EFF_IMMUTABLE;
+
+    /* open file */
     ep = &empfile[type];
-    if ((ep->fd = open(ep->file, mode, 0660)) < 0) {
-       logerror("%s: open failed", ep->file);
+    if (CANT_HAPPEN(ep->fd >= 0))
+       return 0;
+    oflags = O_RDWR;
+    if (how & EFF_PRIVATE)
+       oflags = O_RDONLY;
+    if (how & EFF_CREATE)
+       oflags |= O_CREAT | O_TRUNC;
+#if defined(_WIN32)
+    oflags |= O_BINARY;
+#endif
+    if ((fd = open(ep->file, oflags, S_IRWUG)) < 0) {
+       logerror("Can't open %s (%s)", ep->file, strerror(errno));
        return 0;
     }
-    if (block == 0)
-       block = blksize(ep->fd);
-    ep->baseid = 0;
-    ep->cids = 0;
-    ep->mode = mode;
-    ep->flags |= how;
-    ep->fids = fsize(ep->fd) / ep->size;
-    if (ep->flags & EFF_MEM)
-       ep->csize = ep->fids;
-    else
-       ep->csize = block / ep->size;
-    size = ep->csize * ep->size;
-    ep->cache = (s_char *)malloc(size);
-    if ((ep->cache == 0) && (size != 0)) {
-       logerror("ef_open: %s malloc(%d) failed\n", ep->file, size);
+
+    lock.l_type = how & EFF_PRIVATE ? F_RDLCK : F_WRLCK;
+    lock.l_whence = SEEK_SET;
+    lock.l_start = lock.l_len = 0;
+    if (fcntl(fd, F_SETLK, &lock) == -1) {
+       logerror("Can't lock %s (%s)", ep->file, strerror(errno));
+       close(fd);
        return 0;
     }
-    if (ep->flags & EFF_MEM) {
-       if (read(ep->fd, ep->cache, size) != size) {
-           logerror("ef_open: read(%s) failed\n", ep->file);
+
+    /* get file size */
+    fsiz = fsize(fd);
+    if (fsiz % ep->size) {
+       logerror("Can't open %s (file size not a multiple of record size %d)",
+                ep->file, ep->size);
+       close(fd);
+       return 0;
+    }
+    ep->fids = fsiz / ep->size;
+    if (nelt >= 0 && nelt != ep->fids) {
+       logerror("Can't open %s (got %d records instead of %d)",
+                ep->file, ep->fids, nelt);
+       close(fd);
+       return 0;
+    }
+
+    /* allocate cache */
+    if (ep->flags & EFF_STATIC) {
+       /* ep->cache already points to space for ep->csize elements */
+       if (how & EFF_MEM) {
+           if (ep->fids > ep->csize) {
+               logerror("Can't open %s: file larger than %d bytes",
+                        ep->file, ep->fids * ep->size);
+               close(fd);
+               return 0;
+           }
+       }
+    } else {
+       if (CANT_HAPPEN(ep->cache))
+           free(ep->cache);
+       if (how & EFF_MEM)
+           nslots = ep->fids;
+       else
+           nslots = blksize(fd) / ep->size;
+       if (!ef_realloc_cache(ep, nslots)) {
+           logerror("Can't map %s (%s)", ep->file, strerror(errno));
+           close(fd);
            return 0;
        }
-       ep->cids = size / ep->size;
     }
+    ep->baseid = 0;
+    ep->cids = 0;
+    ep->flags = (ep->flags & EFF_IMMUTABLE) | (how & ~EFF_CREATE);
+    ep->fd = fd;
+
+    /* map file into cache */
+    if ((how & EFF_MEM) && ep->fids) {
+       if (fillcache(ep, 0) != ep->fids) {
+           ep->cids = 0;       /* prevent cache flush */
+           ep->flags &= EFF_IMMUTABLE; /* maintain invariant */
+           ef_close(type);
+           return 0;
+       }
+    }
+
     return 1;
 }
 
+/*
+ * Reallocate cache for table EP to hold COUNT slots.
+ * The table must not be allocated statically.
+ * The cache may still be unmapped.
+ * If reallocation succeeds, any pointers obtained from ef_ptr()
+ * become invalid.
+ * If it fails, the cache is unchanged, and errno is set.
+ * Return non-zero on success, zero on failure.
+ */
+static int
+ef_realloc_cache(struct empfile *ep, int count)
+{
+    void *cache;
+
+    if (CANT_HAPPEN(ep->flags & EFF_STATIC))
+       return 0;
+    if (CANT_HAPPEN(count < 0))
+       count = 0;
+
+    /*
+     * Avoid zero slots, because that can lead to null cache, which
+     * would be interpreted as unmapped cache.
+     */
+    if (count == 0)
+       count++;
+    cache = realloc(ep->cache, count * ep->size);
+    if (!cache)
+       return 0;
+
+    ep->cache = cache;
+    ep->csize = count;
+    return 1;
+}
+
+/*
+ * Close the file-backed table TYPE (EF_SECTOR, ...).
+ * Return non-zero on success, zero on failure.
+ */
 int
 ef_close(int type)
 {
-    register struct empfile *ep;
-    int r;
+    struct empfile *ep;
+    int retval;
 
-    if (ef_check(type) < 0)
-       return 0;
+    retval = ef_flush(type);
     ep = &empfile[type];
-    if (ep->cache == 0) {
-       /* no cache implies never opened */
-       return 0;
+    ep->flags &= EFF_IMMUTABLE;
+    if (!(ep->flags & EFF_STATIC)) {
+       free(ep->cache);
+       ep->cache = NULL;
     }
-    ef_flush(type);
-    ep->flags &= ~EFF_MEM;
-    free(ep->cache);
-    ep->cache = 0;
-    if ((r = close(ep->fd)) < 0) {
-       logerror("ef_close: %s close(%d) -> %d", ep->name, ep->fd, r);
+    if (close(ep->fd) < 0) {
+       logerror("Error closing %s (%s)", ep->name, strerror(errno));
+       retval = 0;
     }
-    return 1;
+    ep->fd = -1;
+    return retval;
 }
 
+/*
+ * Flush table TYPE (EF_SECTOR, ...) to disk.
+ * Does nothing if the table is privately mapped.
+ * Return non-zero on success, zero on failure.
+ */
 int
 ef_flush(int type)
 {
-    register struct empfile *ep;
-    int size;
-    int r;
+    struct empfile *ep;
 
     if (ef_check(type) < 0)
        return 0;
     ep = &empfile[type];
-    if (ep->cache == 0) {
-       /* no cache implies never opened */
+    if (ep->flags & EFF_PRIVATE)
+       return 1;               /* nothing to do */
+    if (CANT_HAPPEN(ep->fd < 0))
        return 0;
-    }
-    size = ep->csize * ep->size;
-    if (ep->mode > 0 && (ep->flags & EFF_MEM)) {
-       if ((r = lseek(ep->fd, 0L, 0)) < 0) {
-           logerror("ef_flush: %s cache lseek(%d, 0L, 0) -> %d",
-                    ep->name, ep->fd, r);
-           return 0;
-       }
-       if (write(ep->fd, ep->cache, size) != size) {
-           logerror("ef_flush: %s cache write(%d, %p, %d) -> %d",
-                    ep->name, ep->fd, (void *)ep->cache, ep->size, r);
+    /*
+     * We don't know which cache entries are dirty.  ef_write() writes
+     * through, but direct updates through ef_ptr() don't.  They are
+     * allowed only with EFF_MEM.  Assume the whole cash is dirty
+     * then.
+     */
+    if (ep->flags & EFF_MEM) {
+       if (do_write(ep, ep->cache, ep->baseid, ep->cids, time(NULL)) < 0)
            return 0;
-       }
     }
-    /*ef_zapcache(type); */
+
     return 1;
 }
 
-s_char *
+/*
+ * Return pointer to element ID in table TYPE if it exists, else NULL.
+ * The table must be fully cached, i.e. flags & EFF_MEM.
+ * The caller is responsible for flushing changes he makes.
+ */
+void *
 ef_ptr(int type, int id)
 {
-    register struct empfile *ep;
+    struct empfile *ep;
 
     if (ef_check(type) < 0)
-       return 0;
+       return NULL;
     ep = &empfile[type];
+    if (CANT_HAPPEN(!(ep->flags & EFF_MEM) || !ep->cache))
+       return NULL;
     if (id < 0 || id >= ep->fids)
-       return 0;
-    if ((ep->flags & EFF_MEM) == 0) {
-       logerror("ef_ptr: (%s) only valid for EFF_MEM entries", ep->file);
-       return 0;
-    }
-    return (s_char *)(ep->cache + ep->size * id);
+       return NULL;
+    return ep->cache + ep->size * id;
 }
 
 /*
- * buffered read.  Tries to read a large number of items.
- * This system won't work if item size is > sizeof buffer area.
+ * Read element ID from table TYPE into buffer INTO.
+ * FIXME pass buffer size!
+ * Return non-zero on success, zero on failure.
  */
 int
-ef_read(int type, int id, void *ptr)
+ef_read(int type, int id, void *into)
 {
-    register struct empfile *ep;
+    struct empfile *ep;
     void *from;
 
     if (ef_check(type) < 0)
        return 0;
     ep = &empfile[type];
-    if (id < 0)
+    if (CANT_HAPPEN(!ep->cache))
        return 0;
+    if (id < 0 || id >= ep->fids)
+       return 0;
+
     if (ep->flags & EFF_MEM) {
-       if (id >= ep->fids)
-           return 0;
-       from = ep->cache + (id * ep->size);
+       from = ep->cache + id * ep->size;
     } else {
-       if (id >= ep->fids) {
-           ep->fids = fsize(ep->fd) / ep->size;
-           if (id >= ep->fids)
+       if (ep->baseid + ep->cids <= id || ep->baseid > id) {
+           if (fillcache(ep, id) < 1)
                return 0;
        }
-       if (ep->baseid + ep->cids <= id || ep->baseid > id)
-           fillcache(ep, id);
        from = ep->cache + (id - ep->baseid) * ep->size;
     }
-    memcpy(ptr, from, ep->size);
+    memcpy(into, from, ep->size);
 
     if (ep->postread)
-       ep->postread(id, ptr);
+       ep->postread(id, into);
     return 1;
 }
 
-static void
-fillcache(struct empfile *ep, int start)
+/*
+ * Fill cache of file-backed EP with elements starting at ID.
+ * If any were read, return their number.
+ * Else return -1 and leave the cache unchanged.
+ */
+static int
+fillcache(struct empfile *ep, int id)
 {
-    int n;
+    int n, ret;
+    char *p;
+
+    if (CANT_HAPPEN(ep->fd < 0 || !ep->cache))
+       return -1;
+
+    if (lseek(ep->fd, id * ep->size, SEEK_SET) == (off_t)-1) {
+       logerror("Error seeking %s to elt %d (%s)",
+                ep->file, id, strerror(errno));
+       return -1;
+    }
+
+    p = ep->cache;
+    n = MIN(ep->csize, ep->fids - id) * ep->size;
+    while (n > 0) {
+       ret = read(ep->fd, p, n);
+       if (ret < 0) {
+           if (errno != EINTR) {
+               logerror("Error reading %s elt %d (%s)",
+                        ep->file,
+                        id + (int)((p - ep->cache) / ep->size),
+                        strerror(errno));
+               break;
+           }
+       } else if (ret == 0) {
+           logerror("Unexpected EOF reading %s elt %d",
+                    ep->file, id + (int)((p - ep->cache) / ep->size));
+           break;
+       } else {
+           p += ret;
+           n -= ret;
+       }
+    }
+
+    if (p == ep->cache)
+       return -1;              /* nothing read, old cache still ok */
 
-    ep->baseid = start;
-    lseek(ep->fd, start * ep->size, 0);
-    n = read(ep->fd, ep->cache, ep->csize * ep->size);
-    ep->cids = n / ep->size;
+    ep->baseid = id;
+    ep->cids = (p - ep->cache) / ep->size;
+    return ep->cids;
 }
 
-#ifdef notdef
 /*
- * no-buffered read
- * zaps read cache
+ * Write COUNT elements starting at ID from BUF to file-backed EP.
+ * Set the timestamp to NOW if the table has those.
+ * Return 0 on success, -1 on error (file may be corrupt then).
  */
-int
-ef_nbread(int type, int id, void *ptr)
+static int
+do_write(struct empfile *ep, void *buf, int id, int count, time_t now)
 {
-    register struct empfile *ep;
-    int r;
+    int i, n, ret;
+    char *p;
+    struct emptypedstr *elt;
 
-    if (ef_check(type) < 0)
-       return 0;
-    ep = &empfile[type];
-    if (id < 0)
-       return 0;
-    if (id >= ep->fids) {
-       ep->fids = fsize(ep->fd) / ep->size;
-       if (id >= ep->fids)
-           return 0;
+    if (CANT_HAPPEN(ep->fd < 0 || (ep->flags & EFF_PRIVATE)
+                   || id < 0 || count < 0))
+       return -1;
+
+    if (ep->flags & EFF_TYPED) {
+       for (i = 0; i < count; i++) {
+           /*
+            * TODO Oopses here could be due to bad data corruption.
+            * Fail instead of attempting to recover?
+            */
+           elt = (struct emptypedstr *)((char *)buf + i * ep->size);
+           if (CANT_HAPPEN(elt->ef_type != ep->uid))
+               elt->ef_type = ep->uid;
+           if (CANT_HAPPEN(elt->uid != id + i))
+               elt->uid = id + i;
+           elt->timestamp = now;
+       }
     }
-    if ((r = lseek(ep->fd, id * ep->size, 0)) < 0) {
-       logerror("ef_nbread: %s #%d lseek(%d, %d, 0) -> %d",
-                ep->name, id, ep->fd, id * ep->size, r);
-       return 0;
+
+    if (lseek(ep->fd, id * ep->size, SEEK_SET) == (off_t)-1) {
+       logerror("Error seeking %s to elt %d (%s)",
+                ep->file, id, strerror(errno));
+       return -1;
     }
-    if ((r = read(ep->fd, ptr, ep->size)) != ep->size) {
-       logerror("ef_nbread: %s #%d read(%d, %x, %d) -> %d",
-                ep->name, id, ep->fd, ptr, ep->size, r);
-       return 0;
+
+    p = buf;
+    n = count * ep->size;
+    while (n > 0) {
+       ret = write(ep->fd, p, n);
+       if (ret < 0) {
+           if (errno != EINTR) {
+               logerror("Error writing %s elt %d (%s)",
+                        ep->file,
+                        id + (int)((p - (char *)buf) / ep->size),
+                        strerror(errno));
+               return -1;
+           }
+       } else {
+           p += ret;
+           n -= ret;
+       }
     }
-    ef_zapcache(type);
-    if (ep->postread)
-       ep->postread(id, ptr);
-    return 1;
+
+    return 0;
 }
-#endif
 
 /*
- * buffered write.  Modifies read cache (if applicable)
- * and writes through to disk.
+ * Write element ID into table TYPE from buffer FROM.
+ * FIXME pass buffer size!
+ * If table is file-backed and not privately mapped, write through
+ * cache straight to disk.
+ * Cannot write beyond the end of fully cached table (flags & EFF_MEM).
+ * Can write at the end of partially cached table.
+ * Return non-zero on success, zero on failure.
  */
 int
-ef_write(int type, int id, void *ptr)
+ef_write(int type, int id, void *from)
 {
-    register int r;
-    register struct empfile *ep;
-    s_char *to;
+    struct empfile *ep;
+    char *to;
 
     if (ef_check(type) < 0)
        return 0;
     ep = &empfile[type];
-    if (id > 65536) {
-       /* largest unit id; this may bite us in large games */
-       logerror("ef_write: type %d id %d is too large!\n", type, id);
+    if (CANT_HAPPEN((ep->flags & (EFF_MEM | EFF_PRIVATE)) == EFF_PRIVATE))
        return 0;
-    }
-    if ((r = lseek(ep->fd, id * ep->size, 0)) < 0) {
-       logerror("ef_write: %s #%d lseek(%d, %d, 0) -> %d",
-                ep->name, id, ep->fd, id * ep->size, r);
-       return 0;
-    }
     if (ep->prewrite)
-       ep->prewrite(id, ptr);
-    if ((r = write(ep->fd, ptr, ep->size)) != ep->size) {
-       logerror("ef_write: %s #%d write(%d, %p, %d) -> %d",
-                ep->name, id, ep->fd, (void *)ptr, ep->size, r);
-       return 0;
+       ep->prewrite(id, from);
+    if (CANT_HAPPEN((ep->flags & EFF_MEM) ? id >= ep->fids : id > ep->fids))
+       return 0;               /* not implemented */
+    if (!(ep->flags & EFF_PRIVATE)) {
+       if (do_write(ep, from, id, 1, time(NULL)) < 0)
+           return 0;
     }
     if (id >= ep->baseid && id < ep->baseid + ep->cids) {
        /* update the cache if necessary */
        to = ep->cache + (id - ep->baseid) * ep->size;
-       memcpy(to, ptr, ep->size);
-    }
-    if (id > ep->fids) {
-       logerror("WARNING ef_write: expanded %s by more than one id",
-                ep->name);
-       log_last_commands();
+       if (to != from)
+           memcpy(to, from, ep->size);
     }
     if (id >= ep->fids) {
-       if (ep->flags & EFF_MEM) {
-           logerror("file %s went beyond %d items; won't be able toread item w/o restart",
-                    ep->name, ep->fids);
-       } else {
-           /* write expanded file; ep->fids = last id + 1 */
-           ep->fids = id + 1;
-       }
+       /* write beyond end of file extends it, take note */
+       ep->fids = id + 1;
     }
     return 1;
 }
 
-#ifdef notdef
 /*
- * no-buffered write
- * zaps read cache
+ * Extend table TYPE by COUNT elements.
+ * Any pointers obtained from ef_ptr() become invalid.
+ * Return non-zero on success, zero on failure.
  */
 int
-ef_nbwrite(int type, int id, void *ptr)
+ef_extend(int type, int count)
 {
-    register struct empfile *ep;
-    register int r;
+    struct empfile *ep;
+    char *p;
+    int i, id;
+    time_t now = time(NULL);
 
     if (ef_check(type) < 0)
        return 0;
     ep = &empfile[type];
-    if (id > 65536) {
-       /* largest unit id; this may bite us in large games */
-       logerror("ef_nbwrite: %s id %d is too large!\n", ep->name, id);
-       return 0;
-    }
-    if ((r = lseek(ep->fd, id * ep->size, 0)) < 0) {
-       logerror("ef_nbwrite: %s #%d lseek(%d, %d, 0) -> %d",
-                ep->name, id, ep->fd, id * ep->size, r);
+    if (CANT_HAPPEN(count < 0))
        return 0;
+
+    id = ep->fids;
+    if (ep->flags & EFF_MEM) {
+       if (id + count > ep->csize) {
+           if (ep->flags & EFF_STATIC) {
+               logerror("Can't extend %s beyond %d elements",
+                        ep->file, ep->csize);
+               return 0;
+           }
+           if (!ef_realloc_cache(ep, id + count)) {
+               logerror("Can't extend %s to %d elements (%s)",
+                        ep->file, id + count, strerror(errno));
+               return 0;
+           }
+       }
+       p = ep->cache + id * ep->size;
+       do_blank(ep, p, id, count);
+       if (ep->fd >= 0 && !(ep->flags & EFF_PRIVATE)) {
+           if (do_write(ep, p, id, count, now) < 0)
+               return 0;
+       }
+       ep->cids += count;
+    } else {
+       /* need a buffer, steal last cache slot */
+       if (ep->cids == ep->csize)
+           ep->cids--;
+       p = ep->cache + ep->cids * ep->size;
+       for (i = 0; i < count; i++) {
+           do_blank(ep, p, id + i, 1);
+           if (do_write(ep, p, id + i, 1, now) < 0)
+               return 0;
+       }
     }
-    if (ep->prewrite)
-       ep->prewrite(id, ptr);
-    if ((r = write(ep->fd, ptr, ep->size)) != ep->size) {
-       logerror("ef_nbwrite: %s #%d write(%d, %x, %d) -> %d",
-                ep->name, id, ep->fd, ptr, ep->size, r);
-       return 0;
-    }
-    ef_zapcache(type);
-    if (id >= ep->fids) {
-       /* write expanded file; ep->fids = last id + 1 */
-       ep->fids = id + 1;
-    }
+    ep->fids += count;
     return 1;
 }
-#endif
 
+/*
+ * Initialize element ID for EP in BUF.
+ * FIXME pass buffer size!
+ */
+void
+ef_blank(int type, int id, void *buf)
+{
+    if (ef_check(type) < 0)
+       return;
+    do_blank(&empfile[type], buf, id, 1);
+}
+
+/*
+ * Initialize COUNT elements of EP in BUF, starting with element ID.
+ */
+static void
+do_blank(struct empfile *ep, void *buf, int id, int count)
+{
+    int i;
+    struct emptypedstr *elt;
+
+    memset(buf, 0, count * ep->size);
+    if (ep->flags & EFF_TYPED) {
+       for (i = 0; i < count; i++) {
+           elt = (struct emptypedstr *)((char *)buf + i * ep->size);
+           elt->ef_type = ep->uid;
+           elt->uid = id + i;
+       }
+    }
+}
+
+/*
+ * Truncate table TYPE to COUNT elements.
+ * Any pointers obtained from ef_ptr() become invalid.
+ * Return non-zero on success, zero on failure.
+ */
 int
-ef_extend(int type, int count)
+ef_truncate(int type, int count)
 {
-    register struct empfile *ep;
-    char *ptr;
-    int cur, max;
-    int mode, how;
-    int r;
+    struct empfile *ep;
 
     if (ef_check(type) < 0)
        return 0;
     ep = &empfile[type];
-    max = ep->fids + count;
-    cur = ep->fids;
-    ptr = (s_char *)calloc(1, ep->size);
-    if ((r = lseek(ep->fd, ep->fids * ep->size, 0)) < 0) {
-       logerror("ef_extend: %s +#%d lseek(%d, %d, 0) -> %d",
-                ep->name, count, ep->fd, ep->fids * ep->size, r);
+    if (CANT_HAPPEN(count < 0 || count > ep->fids))
        return 0;
-    }
-    for (cur = ep->fids; cur < max; cur++) {
-       if (ep->init)
-           ep->init(cur, ptr);
-       if ((r = write(ep->fd, ptr, ep->size)) != ep->size) {
-           logerror("ef_extend: %s +#%d write(%d, %p, %d) -> %d",
-                    ep->name, count, ep->fd, (void *)ptr, ep->size, r);
+
+    if (ep->fd >= 0 && !(ep->flags & EFF_PRIVATE)) {
+       if (ftruncate(ep->fd, count * ep->size) < 0) {
+           logerror("Can't truncate %s to %d elements (%s)",
+                    ep->file, count, strerror(errno));
            return 0;
        }
     }
-    free(ptr);
+    ep->fids = count;
+
     if (ep->flags & EFF_MEM) {
-       /* XXX this will cause problems if there are ef_ptrs (to the
-        * old allocated structure) active when we do the re-open */
-       mode = ep->mode;
-       how = ep->flags;
-       ef_close(type);
-       ef_open(type, mode, how);
+       if (!(ep->flags & EFF_STATIC)) {
+           if (!ef_realloc_cache(ep, count)) {
+               logerror("Can't shrink cache after truncate");
+               /* continue with unshrunk cache */
+           }
+       }
+       ep->cids = count;
     } else {
-       ep->fids += count;
+       if (ep->baseid >= count)
+           ep->cids = 0;
+       else if (ep->cids > count - ep->baseid)
+           ep->cids = count - ep->baseid;
     }
-    return 1;
-}
 
-void
-ef_zapcache(int type)
-{
-    register struct empfile *ep = &empfile[type];
-    if ((ep->flags & EFF_MEM) == 0) {
-       ep->cids = 0;
-       ep->baseid = -1;
-    }
+    return 1;
 }
 
 struct castr *
@@ -423,56 +604,77 @@ ef_mtime(int type)
     return fdate(empfile[type].fd);
 }
 
-u_short *
-ef_items(int type, void *sp)
+/*
+ * Search for a table matching NAME, return its table type.
+ * Return M_NOTFOUND if there are no matches, M_NOTUNIQUE if there are
+ * several.
+ */
+int
+ef_byname(char *name)
 {
-    register struct empfile *ef;
-
-    if (ef_check(type) < 0)
-       return 0;
-    ef = &empfile[type];
-    if ((ef->flags & EFF_COM) == 0)
-       return 0;
-    return (u_short *)((char *)sp + ef->itemoffs);
+    return stmtch(name, empfile, offsetof(struct empfile, name),
+                 sizeof(empfile[0]));
 }
 
+/*
+ * Search CHOICES[] for a table type matching NAME, return it.
+ * Return M_NOTFOUND if there are no matches, M_NOTUNIQUE if there are
+ * several.
+ * CHOICES[] must be terminated with a negative value.
+ */
 int
-ef_byname(s_char *name)
+ef_byname_from(char *name, int choices[])
 {
-    register struct empfile *ef;
-    register int i;
-    int len;
-
-    len = strlen(name);
-    for (i = 0; i < EF_MAX; i++) {
-       ef = &empfile[i];
-       if (strncmp(ef->name, name, min(len, strlen(ef->name))) == 0)
-           return i;
+    int res;
+    int *p;
+
+    res = M_NOTFOUND;
+    for (p = choices; *p >= 0; p++) {
+       if (ef_check(*p) < 0)
+           continue;
+       switch (mineq(name, empfile[*p].name)) {
+       case ME_MISMATCH:
+           break;
+       case ME_PARTIAL:
+           if (res >= 0)
+               return M_NOTUNIQUE;
+           res = *p;
+           break;
+       case ME_EXACT:
+           return *p;
+       }
     }
-    return -1;
+    return res;
 }
 
-s_char *
+char *
 ef_nameof(int type)
 {
-    if (type < 0 || type >= EF_MAX)
-       return "bad item type";
+    if (ef_check(type) < 0)
+       return "bad ef_type";
     return empfile[type].name;
 }
 
 int
 ef_check(int type)
 {
-    if (type < 0 || type >= EF_MAX) {
-       logerror("ef_ptr: bad EF_type %d\n", type);
+    if (CANT_HAPPEN((unsigned)type >= EF_MAX))
        return -1;
-    }
     return 0;
 }
 
+/*
+ * Ensure file-backed table contains ID.
+ * If necessary, extend it in steps of COUNT elements.
+ * Return non-zero on success, zero on failure.
+ */
 int
 ef_ensure_space(int type, int id, int count)
 {
+    if (ef_check(type) < 0)
+       return 0;
+    CANT_HAPPEN(id < 0);
+
     while (id >= empfile[type].fids) {
        if (!ef_extend(type, count))
            return 0;