]> git.pond.sub.org Git - empserver/blobdiff - src/lib/common/file.c
Clean up how a view's base table is defined
[empserver] / src / lib / common / file.c
index 2ed507b04b0b8b658468fbcd9ea76f3fd4d2cc0b..d6db60fd9e00e2bcc88b1c178c78d94abe4cf0fb 100644 (file)
@@ -1,11 +1,11 @@
 /*
  *  Empire - A multi-player, client/server Internet based war game.
- *  Copyright (C) 1986-2007, Dave Pare, Jeff Bailey, Thomas Ruschak,
- *                           Ken Stevens, Steve McClure
+ *  Copyright (C) 1986-2011, Dave Pare, Jeff Bailey, Thomas Ruschak,
+ *                Ken Stevens, Steve McClure, Markus Armbruster
  *
- *  This program is free software; you can redistribute it and/or modify
+ *  Empire is free software: you can redistribute it and/or modify
  *  it under the terms of the GNU General Public License as published by
- *  the Free Software Foundation; either version 2 of the License, or
+ *  the Free Software Foundation, either version 3 of the License, or
  *  (at your option) any later version.
  *
  *  This program is distributed in the hope that it will be useful,
@@ -14,8 +14,7 @@
  *  GNU General Public License for more details.
  *
  *  You should have received a copy of the GNU General Public License
- *  along with this program; if not, write to the Free Software
- *  Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
+ *  along with this program.  If not, see <http://www.gnu.org/licenses/>.
  *
  *  ---
  *
  *  ---
  *
  *  file.c: Operations on Empire tables (`files' for historical reasons)
- * 
+ *
  *  Known contributors to this file:
  *     Dave Pare, 1989
  *     Steve McClure, 2000
- *     Markus Armbruster, 2005-2006
+ *     Markus Armbruster, 2005-2011
  */
 
 #include <config.h>
 
 #include <errno.h>
-#if defined(_WIN32)
-#include <io.h>
-#include <share.h>
-#endif
 #include <fcntl.h>
 #include <sys/stat.h>
-#include <signal.h>
 #include <sys/types.h>
-#if !defined(_WIN32)
 #include <unistd.h>
+#ifdef _WIN32
+#include <io.h>
+#include <share.h>
 #endif
 #include "file.h"
 #include "match.h"
 #include "misc.h"
 #include "nsc.h"
-#include "optlist.h"
 #include "prototypes.h"
 
+static int open_locked(char *, int, mode_t);
+static int ef_realloc_cache(struct empfile *, int);
 static int fillcache(struct empfile *, int);
+static int do_read(struct empfile *, void *, int, int);
 static int do_write(struct empfile *, void *, int, int);
+static unsigned get_seqno(struct empfile *, int);
+static void new_seqno(struct empfile *, void *);
+static void must_be_fresh(struct empfile *, void *);
+static void do_blank(struct empfile *, void *, int, int);
+static int ef_check(int);
+
+static unsigned ef_generation;
 
 /*
  * Open the file-backed table TYPE (EF_SECTOR, ...).
  * HOW are flags to control operation.  Naturally, immutable flags are
  * not permitted.
+ * If NELT is non-negative, the table must have that many elements.
  * Return non-zero on success, zero on failure.
  * You must call ef_close() before the next ef_open().
  */
 int
-ef_open(int type, int how)
+ef_open(int type, int how, int nelt)
 {
     struct empfile *ep;
-#if !defined(_WIN32)
-    struct flock lock;
-#endif
-    int oflags, fd, fsiz, size;
+    int oflags, fd, fsiz, fids, nslots;
 
     if (ef_check(type) < 0)
        return 0;
@@ -80,36 +83,19 @@ ef_open(int type, int how)
 
     /* open file */
     ep = &empfile[type];
-    if (CANT_HAPPEN(ep->fd >= 0))
+    if (CANT_HAPPEN(!ep->file || ep->base != EF_BAD || ep->fd >= 0))
        return 0;
     oflags = O_RDWR;
-    if (how & EFF_RDONLY)
+    if (how & EFF_PRIVATE)
        oflags = O_RDONLY;
     if (how & EFF_CREATE)
        oflags |= O_CREAT | O_TRUNC;
-#if defined(_WIN32)
-    oflags |= O_BINARY;
-    if ((fd = sopen(ep->file, oflags,
-       how & EFF_RDONLY ? SH_DENYNO : SH_DENYWR,
-       S_IRWUG)) < 0) {
-       logerror("Can't open %s (%s)", ep->file, strerror(errno));
-       return 0;
-    }
-#else
-    if ((fd = open(ep->file, oflags, S_IRWUG)) < 0) {
+    fd = open_locked(ep->file, oflags, S_IRUSR | S_IWUSR | S_IRGRP | S_IWGRP);
+    if (fd < 0) {
        logerror("Can't open %s (%s)", ep->file, strerror(errno));
        return 0;
     }
 
-    lock.l_type = how & EFF_RDONLY ? F_RDLCK : F_WRLCK;
-    lock.l_whence = SEEK_SET;
-    lock.l_start = lock.l_len = 0;
-    if (fcntl(fd, F_SETLK, &lock) == -1) {
-       logerror("Can't lock %s (%s)", ep->file, strerror(errno));
-       return 0;
-    }
-#endif
-
     /* get file size */
     fsiz = fsize(fd);
     if (fsiz % ep->size) {
@@ -118,87 +104,197 @@ ef_open(int type, int how)
        close(fd);
        return 0;
     }
-    ep->fids = fsiz / ep->size;
+    fids = fsiz / ep->size;
+    if (nelt >= 0 && nelt != fids) {
+       logerror("Can't open %s (got %d records instead of %d)",
+                ep->file, fids, nelt);
+       close(fd);
+       return 0;
+    }
 
     /* allocate cache */
     if (ep->flags & EFF_STATIC) {
        /* ep->cache already points to space for ep->csize elements */
        if (how & EFF_MEM) {
-           if (ep->fids > ep->csize) {
-               logerror("Can't open %s: file larger than %d bytes",
-                        ep->file, ep->fids * ep->size);
+           if (fids > ep->csize) {
+               logerror("Can't open %s (file larger than %d records)",
+                        ep->file, ep->csize);
                close(fd);
                return 0;
            }
        }
     } else {
-       if (how & EFF_MEM)
-           ep->csize = ep->fids;
-       else
-           ep->csize = blksize(fd) / ep->size;
-       /* 0 could lead to null cache, which confuses assertions */
-       if (!ep->csize)
-           ep->csize++;
-       size = ep->csize * ep->size;
        if (CANT_HAPPEN(ep->cache))
            free(ep->cache);
-       ep->cache = malloc(size);
-       if (ep->cache == NULL) {
-           logerror("Can't open %s: out of memory", ep->file);
+       if (how & EFF_MEM)
+           nslots = fids;
+       else
+           nslots = blksize(fd) / ep->size;
+       if (!ef_realloc_cache(ep, nslots)) {
+           logerror("Can't map %s (%s)", ep->file, strerror(errno));
            close(fd);
            return 0;
        }
     }
     ep->baseid = 0;
     ep->cids = 0;
+    ep->fids = fids;
     ep->flags = (ep->flags & EFF_IMMUTABLE) | (how & ~EFF_CREATE);
     ep->fd = fd;
 
     /* map file into cache */
-    if ((how & EFF_MEM) && ep->fids) {
-       if (fillcache(ep, 0) != ep->fids) {
+    if ((how & EFF_MEM) && fids) {
+       if (fillcache(ep, 0) != fids) {
            ep->cids = 0;       /* prevent cache flush */
-           ep->flags &= EFF_IMMUTABLE; /* maintain invariant */
            ef_close(type);
            return 0;
        }
     }
 
+    if (ep->onresize)
+       ep->onresize(type);
+    return 1;
+}
+
+static int
+open_locked(char *name, int oflags, mode_t mode)
+{
+    int rdlonly = (oflags & O_ACCMODE) == O_RDONLY;
+    int fd;
+
+#ifdef _WIN32
+    fd = _sopen(name, oflags | O_BINARY, rdlonly ? SH_DENYNO : SH_DENYWR,
+               mode);
+    if (fd < 0)
+       return -1;
+#else  /* !_WIN32 */
+    struct flock lock;
+
+    fd = open(name, oflags, mode);
+    if (fd < 0)
+       return -1;
+
+    lock.l_type = rdlonly ? F_RDLCK : F_WRLCK;
+    lock.l_whence = SEEK_SET;
+    lock.l_start = lock.l_len = 0;
+    if (fcntl(fd, F_SETLK, &lock) == -1) {
+       close(fd);
+       return -1;
+    }
+#endif /* !_WIN32 */
+    return fd;
+}
+
+/*
+ * Reallocate cache for table EP to hold COUNT slots.
+ * The table must not be allocated statically.
+ * The cache may still be unmapped.
+ * If reallocation succeeds, any pointers obtained from ef_ptr()
+ * become invalid.
+ * If it fails, the cache is unchanged, and errno is set.
+ * Return non-zero on success, zero on failure.
+ */
+static int
+ef_realloc_cache(struct empfile *ep, int count)
+{
+    void *cache;
+
+    if (CANT_HAPPEN(ep->flags & EFF_STATIC))
+       return 0;
+    if (CANT_HAPPEN(count < 0))
+       count = 0;
+
     /*
-     * Could close fd if both EFF_RDONLY and EFF_MEM, but that doesn't
-     * happen, so don't bother.
+     * Avoid zero slots, because that can lead to null cache, which
+     * would be interpreted as unmapped cache.
      */
+    if (count == 0)
+       count++;
+    cache = realloc(ep->cache, count * ep->size);
+    if (!cache)
+       return 0;
 
+    ep->cache = cache;
+    ep->csize = count;
     return 1;
 }
 
 /*
- * Close the file-backed table TYPE (EF_SECTOR, ...).
+ * Open the table TYPE, which is a view of a base table
+ * The table must not be already open.
+ * Return non-zero on success, zero on failure.
+ * Beware: views work only as long as the base table doesn't change size!
+ * You must close the view before closing its base table.
+ */
+int
+ef_open_view(int type)
+{
+    struct empfile *ep;
+    int base;
+
+    if (ef_check(type) < 0)
+       return 0;
+    ep = &empfile[type];
+    base = ep->base;
+    if (ef_check(base) < 0)
+       return 0;
+    if (CANT_HAPPEN(!(ef_flags(base) & EFF_MEM)
+                   || ep->file || ep->size != empfile[base].size
+                   || ep->cache || ep->oninit || ep->postread
+                   || ep->prewrite || ep->onresize))
+       return -1;
+
+    ep->cache = empfile[base].cache;
+    ep->csize = empfile[base].csize;
+    ep->flags |= EFF_MEM;
+    ep->baseid = empfile[base].baseid;
+    ep->cids = empfile[base].cids;
+    ep->fids = empfile[base].fids;
+    return 0;
+}
+
+/*
+ * Close the open table TYPE (EF_SECTOR, ...).
  * Return non-zero on success, zero on failure.
  */
 int
 ef_close(int type)
 {
     struct empfile *ep;
-    int retval;
+    int retval = 1;
 
-    retval = ef_flush(type);
+    if (ef_check(type) < 0)
+       return 0;
     ep = &empfile[type];
-    ep->flags &= EFF_IMMUTABLE;
-    if (!(ep->flags & EFF_STATIC)) {
-       free(ep->cache);
+
+    if (EF_IS_VIEW(type)) {
        ep->cache = NULL;
+       ep->csize = 0;
+    } else {
+       if (!ef_flush(type))
+           retval = 0;
+       if (!(ep->flags & EFF_STATIC)) {
+           free(ep->cache);
+           ep->cache = NULL;
+           ep->csize = 0;
+       }
+       if (close(ep->fd) < 0) {
+           logerror("Error closing %s (%s)", ep->file, strerror(errno));
+           retval = 0;
+       }
+       ep->fd = -1;
     }
-    if (close(ep->fd) < 0) {
-       logerror("Error closing %s (%s)", ep->name, strerror(errno));
-       retval = 0;
-    }
-    ep->fd = -1;
+    ep->flags &= EFF_IMMUTABLE;
+    ep->baseid = ep->cids = ep->fids = 0;
+    if (ep->onresize)
+       ep->onresize(type);
     return retval;
 }
 
 /*
- * Flush file-backed table TYPE (EF_SECTOR, ...) to disk.
+ * Flush file-backed table TYPE (EF_SECTOR, ...) to its backing file.
+ * Do nothing if the table is privately mapped.
+ * Update timestamps of written elements if table is EFF_TYPED.
  * Return non-zero on success, zero on failure.
  */
 int
@@ -209,6 +305,8 @@ ef_flush(int type)
     if (ef_check(type) < 0)
        return 0;
     ep = &empfile[type];
+    if (ep->flags & EFF_PRIVATE)
+       return 1;               /* nothing to do */
     if (CANT_HAPPEN(ep->fd < 0))
        return 0;
     /*
@@ -217,8 +315,10 @@ ef_flush(int type)
      * allowed only with EFF_MEM.  Assume the whole cash is dirty
      * then.
      */
-    if (!(ep->flags & EFF_RDONLY) && (ep->flags & EFF_MEM))
-       return do_write(ep, ep->cache, ep->baseid, ep->cids) >= 0;
+    if (ep->flags & EFF_MEM) {
+       if (do_write(ep, ep->cache, ep->baseid, ep->cids) < 0)
+           return 0;
+    }
 
     return 1;
 }
@@ -246,13 +346,14 @@ ef_ptr(int type, int id)
 /*
  * Read element ID from table TYPE into buffer INTO.
  * FIXME pass buffer size!
+ * INTO is marked fresh with ef_mark_fresh().
  * Return non-zero on success, zero on failure.
  */
 int
 ef_read(int type, int id, void *into)
 {
     struct empfile *ep;
-    void *from;
+    void *cachep;
 
     if (ef_check(type) < 0)
        return 0;
@@ -263,15 +364,16 @@ ef_read(int type, int id, void *into)
        return 0;
 
     if (ep->flags & EFF_MEM) {
-       from = ep->cache + id * ep->size;
+       cachep = ep->cache + id * ep->size;
     } else {
        if (ep->baseid + ep->cids <= id || ep->baseid > id) {
            if (fillcache(ep, id) < 1)
                return 0;
        }
-       from = ep->cache + (id - ep->baseid) * ep->size;
+       cachep = ep->cache + (id - ep->baseid) * ep->size;
     }
-    memcpy(into, from, ep->size);
+    memcpy(into, cachep, ep->size);
+    ef_mark_fresh(type, into);
 
     if (ep->postread)
        ep->postread(id, into);
@@ -279,34 +381,57 @@ ef_read(int type, int id, void *into)
 }
 
 /*
- * Fill cache of EP with elements starting at ID.
+ * Fill cache of file-backed EP with elements starting at ID.
  * If any were read, return their number.
  * Else return -1 and leave the cache unchanged.
  */
 static int
-fillcache(struct empfile *ep, int start)
+fillcache(struct empfile *ep, int id)
+{
+    int ret;
+
+    if (CANT_HAPPEN(!ep->cache))
+       return -1;
+
+    ret = do_read(ep, ep->cache, id, MIN(ep->csize, ep->fids - id));
+    if (ret >= 0) {
+       /* cache changed */
+       ep->baseid = id;
+       ep->cids = ret;
+    }
+    return ret;
+}
+
+static int
+do_read(struct empfile *ep, void *buf, int id, int count)
 {
     int n, ret;
     char *p;
 
-    if (CANT_HAPPEN(ep->fd < 0 || !ep->cache))
+    if (CANT_HAPPEN(ep->fd < 0 || id < 0 || count < 0))
        return -1;
 
-    if (lseek(ep->fd, start * ep->size, SEEK_SET) == (off_t)-1) {
-       logerror("Error seeking %s (%s)", ep->file, strerror(errno));
+    if (lseek(ep->fd, id * ep->size, SEEK_SET) == (off_t)-1) {
+       logerror("Error seeking %s to elt %d (%s)",
+                ep->file, id, strerror(errno));
        return -1;
     }
 
-    p = ep->cache;
-    n = ep->csize * ep->size;
+    p = buf;
+    n = count * ep->size;
     while (n > 0) {
        ret = read(ep->fd, p, n);
        if (ret < 0) {
-           if (errno != EAGAIN) {
-               logerror("Error reading %s (%s)", ep->file, strerror(errno));
+           if (errno != EINTR) {
+               logerror("Error reading %s elt %d (%s)",
+                        ep->file,
+                        id + (int)((p - (char *)buf) / ep->size),
+                        strerror(errno));
                break;
            }
        } else if (ret == 0) {
+           logerror("Unexpected EOF reading %s elt %d",
+                    ep->file, id + (int)((p - (char *)buf) / ep->size));
            break;
        } else {
            p += ret;
@@ -314,29 +439,49 @@ fillcache(struct empfile *ep, int start)
        }
     }
 
-    if (p == ep->cache)
-       return -1;              /* nothing read, old cache still ok */
-
-    ep->baseid = start;
-    ep->cids = (p - ep->cache) / ep->size;
-    return ep->cids;
+    return (p - (char *)buf) / ep->size;
 }
 
 /*
- * Write COUNT elements from BUF to EP, starting at ID.
- * Return 0 on success, -1 on error.
+ * Write COUNT elements starting at ID from BUF to file-backed EP.
+ * Update the timestamp if the table is EFF_TYPED.
+ * Don't actually write if table is privately mapped.
+ * Return 0 on success, -1 on error (file may be corrupt then).
  */
 static int
 do_write(struct empfile *ep, void *buf, int id, int count)
 {
-    int n, ret;
+    int i, n, ret;
     char *p;
+    struct emptypedstr *elt;
+    time_t now;
 
     if (CANT_HAPPEN(ep->fd < 0 || id < 0 || count < 0))
        return -1;
 
+    if (ep->flags & EFF_TYPED) {
+       now = ep->flags & EFF_NOTIME ? (time_t)-1 : time(NULL);
+       for (i = 0; i < count; i++) {
+           /*
+            * TODO Oopses here could be due to bad data corruption.
+            * Fail instead of attempting to recover?
+            */
+           elt = (struct emptypedstr *)((char *)buf + i * ep->size);
+           if (CANT_HAPPEN(elt->ef_type != ep->uid))
+               elt->ef_type = ep->uid;
+           if (CANT_HAPPEN(elt->uid != id + i))
+               elt->uid = id + i;
+           if (now != (time_t)-1)
+               elt->timestamp = now;
+       }
+    }
+
+    if (ep->flags & EFF_PRIVATE)
+       return 0;
+
     if (lseek(ep->fd, id * ep->size, SEEK_SET) == (off_t)-1) {
-       logerror("Error seeking %s (%s)", ep->file, strerror(errno));
+       logerror("Error seeking %s to elt %d (%s)",
+                ep->file, id, strerror(errno));
        return -1;
     }
 
@@ -345,9 +490,11 @@ do_write(struct empfile *ep, void *buf, int id, int count)
     while (n > 0) {
        ret = write(ep->fd, p, n);
        if (ret < 0) {
-           if (errno != EAGAIN) {
-               logerror("Error writing %s (%s)", ep->file, strerror(errno));
-               /* FIXME if this extended file, truncate back to old size */
+           if (errno != EINTR) {
+               logerror("Error writing %s elt %d (%s)",
+                        ep->file,
+                        id + (int)((p - (char *)buf) / ep->size),
+                        strerror(errno));
                return -1;
            }
        } else {
@@ -360,103 +507,346 @@ do_write(struct empfile *ep, void *buf, int id, int count)
 }
 
 /*
- * Write element ID into file-backed table TYPE from buffer FROM.
+ * Write element ID into table TYPE from buffer FROM.
  * FIXME pass buffer size!
- * Write through cache straight to disk.
+ * Update timestamp in FROM if table is EFF_TYPED.
+ * If table is file-backed and not privately mapped, write through
+ * cache straight to disk.
  * Cannot write beyond the end of fully cached table (flags & EFF_MEM).
  * Can write at the end of partially cached table.
+ * FROM must be fresh; see ef_make_stale().
  * Return non-zero on success, zero on failure.
  */
 int
 ef_write(int type, int id, void *from)
 {
     struct empfile *ep;
-    char *to;
+    char *cachep;
 
     if (ef_check(type) < 0)
        return 0;
     ep = &empfile[type];
-    if (ep->prewrite)
-       ep->prewrite(id, from);
-    if (CANT_HAPPEN((ep->flags & EFF_MEM) ? id >= ep->fids : id > ep->fids))
-       return 0;               /* not implemented */
-    if (do_write(ep, from, id, 1) < 0)
+    if (CANT_HAPPEN((ep->flags & (EFF_MEM | EFF_PRIVATE)) == EFF_PRIVATE))
        return 0;
-    if (id >= ep->baseid && id < ep->baseid + ep->cids) {
-       /* update the cache if necessary */
-       to = ep->cache + (id - ep->baseid) * ep->size;
-       if (to != from)
-           memcpy(to, from, ep->size);
-    }
+    new_seqno(ep, from);
     if (id >= ep->fids) {
-       /* write beyond end of file extends it, take note */
+       /* beyond end of file */
+       if (CANT_HAPPEN((ep->flags & EFF_MEM) || id > ep->fids))
+           return 0;           /* not implemented */
+       /* write at end of file extends it */
        ep->fids = id + 1;
+       if (ep->onresize)
+           ep->onresize(type);
     }
+    if (id >= ep->baseid && id < ep->baseid + ep->cids) {
+       cachep = ep->cache + (id - ep->baseid) * ep->size;
+       if (cachep != from)
+           must_be_fresh(ep, from);
+    } else
+       cachep = NULL;
+    if (ep->prewrite)
+       ep->prewrite(id, cachep, from);
+    if (ep->fd >= 0) {
+       if (do_write(ep, from, id, 1) < 0)
+           return 0;
+    }
+    if (cachep && cachep != from)      /* update the cache if necessary */
+       memcpy(cachep, from, ep->size);
     return 1;
 }
 
 /*
- * Extend the file-backed table TYPE by COUNT elements.
+ * Change element id.
+ * BUF is an element of table TYPE.
+ * ID is its new element ID.
+ * If table is EFF_TYPED, change id and sequence number stored in BUF.
+ * Else do nothing.
+ */
+void
+ef_set_uid(int type, void *buf, int uid)
+{
+    struct emptypedstr *elt;
+    struct empfile *ep;
+
+    if (ef_check(type) < 0)
+       return;
+    ep = &empfile[type];
+    if (!(ep->flags & EFF_TYPED))
+       return;
+    elt = buf;
+    if (elt->uid == uid)
+       return;
+    elt->uid = uid;
+    elt->seqno = get_seqno(ep, uid);
+}
+
+/*
+ * Return sequence number of element ID in table EP.
+ * Return zero if table is not EFF_TYPED (it has no sequence number
+ * then).
+ */
+static unsigned
+get_seqno(struct empfile *ep, int id)
+{
+    struct emptypedstr *elt;
+
+    if (!(ep->flags & EFF_TYPED))
+       return 0;
+    if (id < 0 || id >= ep->fids)
+       return 0;
+    if (id >= ep->baseid && id < ep->baseid + ep->cids)
+       elt = (void *)(ep->cache + (id - ep->baseid) * ep->size);
+    else {
+       /* need a buffer, steal last cache slot */
+       if (ep->cids == ep->csize)
+           ep->cids--;
+       elt = (void *)(ep->cache + ep->cids * ep->size);
+       if (do_read(ep, elt, id, 1) < 0)
+           return 0;           /* deep trouble */
+    }
+    return elt->seqno;
+}
+
+/*
+ * Increment sequence number in BUF, which is about to be written to EP.
+ * Do nothing if table is not EFF_TYPED (it has no sequence number
+ * then).
+ * Else, BUF's sequence number must match the one in EP's cache.  If
+ * it doesn't, we're about to clobber a previous write.
+ */
+static void
+new_seqno(struct empfile *ep, void *buf)
+{
+    struct emptypedstr *elt = buf;
+    unsigned old_seqno;
+
+    if (!(ep->flags & EFF_TYPED))
+       return;
+    old_seqno = get_seqno(ep, elt->uid);
+    CANT_HAPPEN(old_seqno != elt->seqno);
+    elt->seqno = old_seqno + 1;
+}
+
+/*
+ * Make all copies stale.
+ * Only fresh copies may be written back to the cache.
+ * To be called by functions that may yield the processor.
+ * Writing an copy when there has been a yield since it was read is
+ * unsafe, because we could clobber another thread's write then.
+ * Robust code must assume the that any function that may yield does
+ * yield.  Marking copies stale there lets us catch unsafe writes.
+ */
+void
+ef_make_stale(void)
+{
+    ef_generation++;
+}
+
+/* Mark copy of an element of table TYPE in BUF fresh.  */
+void
+ef_mark_fresh(int type, void *buf)
+{
+    struct empfile *ep;
+
+    if (ef_check(type) < 0)
+       return;
+    ep = &empfile[type];
+    if (!(ep->flags & EFF_TYPED))
+       return;
+    ((struct emptypedstr *)buf)->generation = ef_generation;
+}
+
+static void
+must_be_fresh(struct empfile *ep, void *buf)
+{
+    struct emptypedstr *elt = buf;
+
+    if (!(ep->flags & EFF_TYPED))
+       return;
+    CANT_HAPPEN(elt->generation != (ef_generation & 0xfff));
+}
+
+/*
+ * Extend table TYPE by COUNT elements.
+ * Any pointers obtained from ef_ptr() become invalid.
  * Return non-zero on success, zero on failure.
  */
 int
 ef_extend(int type, int count)
 {
     struct empfile *ep;
-    void *tmpobj;
-    int id, i, how;
+    char *p;
+    int need_sentinel, i, id;
 
-    if (ef_check(type) < 0)
+    if (ef_check(type) < 0 || CANT_HAPPEN(EF_IS_VIEW(type)))
        return 0;
     ep = &empfile[type];
-    if (CANT_HAPPEN(ep->fd < 0 || count < 0))
+    if (CANT_HAPPEN(count < 0))
        return 0;
 
-    tmpobj = calloc(1, ep->size);
     id = ep->fids;
+    if (ep->flags & EFF_MEM) {
+       need_sentinel = (ep->flags & EFF_SENTINEL) != 0;
+       if (id + count + need_sentinel > ep->csize) {
+           if (ep->flags & EFF_STATIC) {
+               logerror("Can't extend %s beyond %d elements",
+                        ep->name, ep->csize - need_sentinel);
+               return 0;
+           }
+           if (!ef_realloc_cache(ep, id + count + need_sentinel)) {
+               logerror("Can't extend %s to %d elements (%s)",
+                        ep->name, id + count, strerror(errno));
+               return 0;
+           }
+       }
+       p = ep->cache + id * ep->size;
+       do_blank(ep, p, id, count);
+       if (ep->fd >= 0) {
+           if (do_write(ep, p, id, count) < 0)
+               return 0;
+       }
+       if (need_sentinel)
+           memset(ep->cache + (id + count) * ep->size, 0, ep->size);
+       ep->cids = id + count;
+    } else {
+       /* need a buffer, steal last cache slot */
+       if (ep->cids == ep->csize)
+           ep->cids--;
+       p = ep->cache + ep->cids * ep->size;
+       for (i = 0; i < count; i++) {
+           do_blank(ep, p, id + i, 1);
+           if (do_write(ep, p, id + i, 1) < 0)
+               return 0;
+       }
+    }
+    ep->fids = id + count;
+    if (ep->onresize)
+       ep->onresize(type);
+    return 1;
+}
+
+/*
+ * Initialize element ID for table TYPE in BUF.
+ * FIXME pass buffer size!
+ * BUF is marked fresh with ef_mark_fresh().
+ */
+void
+ef_blank(int type, int id, void *buf)
+{
+    struct empfile *ep;
+    struct emptypedstr *elt;
+
+    if (ef_check(type) < 0)
+       return;
+    ep = &empfile[type];
+    do_blank(ep, buf, id, 1);
+    if (ep->flags & EFF_TYPED) {
+       elt = buf;
+       elt->seqno = get_seqno(ep, elt->uid);
+    }
+    ef_mark_fresh(type, buf);
+}
+
+/*
+ * Initialize COUNT elements of EP in BUF, starting with element ID.
+ */
+static void
+do_blank(struct empfile *ep, void *buf, int id, int count)
+{
+    int i;
+    struct emptypedstr *elt;
+
+    memset(buf, 0, count * ep->size);
     for (i = 0; i < count; i++) {
-       if (ep->init)
-           ep->init(id + i, tmpobj);
-       if (do_write(ep, tmpobj, id + i, 1) < 0)
-           break;
+       elt = (struct emptypedstr *)((char *)buf + i * ep->size);
+       if (ep->flags & EFF_TYPED) {
+           elt->ef_type = ep->uid;
+           elt->uid = id + i;
+       }
+       if (ep->oninit)
+           ep->oninit(elt);
+    }
+}
+
+/*
+ * Truncate table TYPE to COUNT elements.
+ * Any pointers obtained from ef_ptr() become invalid.
+ * Return non-zero on success, zero on failure.
+ */
+int
+ef_truncate(int type, int count)
+{
+    struct empfile *ep;
+    int need_sentinel;
+
+    if (ef_check(type) < 0 || CANT_HAPPEN(EF_IS_VIEW(type)))
+       return 0;
+    ep = &empfile[type];
+    if (CANT_HAPPEN(count < 0 || count > ep->fids))
+       return 0;
+
+    if (ep->fd >= 0 && !(ep->flags & EFF_PRIVATE)) {
+       if (ftruncate(ep->fd, count * ep->size) < 0) {
+           logerror("Can't truncate %s to %d elements (%s)",
+                    ep->file, count, strerror(errno));
+           return 0;
+       }
     }
-    free(tmpobj);
+    ep->fids = count;
 
     if (ep->flags & EFF_MEM) {
-       /* FIXME lazy bastards...  do this right */
-       /* XXX this will cause problems if there are ef_ptrs (to the
-        * old allocated structure) active when we do the re-open */
-       how = ep->flags & ~EFF_IMMUTABLE;
-       ef_close(type);
-       ef_open(type, how);
+       need_sentinel = (ep->flags & EFF_SENTINEL) != 0;
+       if (!(ep->flags & EFF_STATIC)) {
+           if (!ef_realloc_cache(ep, count + need_sentinel)) {
+               logerror("Can't shrink %s cache after truncate (%s)",
+                        ep->name, strerror(errno));
+               /* continue with unshrunk cache */
+           }
+       }
+       if (need_sentinel)
+           memset(ep->cache + count * ep->size, 0, ep->size);
+       ep->cids = count;
     } else {
-       ep->fids += i;
+       if (ep->baseid >= count)
+           ep->cids = 0;
+       else if (ep->cids > count - ep->baseid)
+           ep->cids = count - ep->baseid;
     }
 
-    return i == count;
+    if (ep->onresize)
+       ep->onresize(type);
+    return 1;
 }
 
 struct castr *
 ef_cadef(int type)
 {
+    if (ef_check(type) < 0)
+       return NULL;
     return empfile[type].cadef;
 }
 
 int
 ef_nelem(int type)
 {
+    if (ef_check(type) < 0)
+       return 0;
     return empfile[type].fids;
 }
 
 int
 ef_flags(int type)
 {
+    if (ef_check(type) < 0)
+       return 0;
     return empfile[type].flags;
 }
 
 time_t
 ef_mtime(int type)
 {
+    if (ef_check(type) < 0)
+       return 0;
     if (empfile[type].fd <= 0)
        return 0;
     return fdate(empfile[type].fd);
@@ -513,7 +903,7 @@ ef_nameof(int type)
     return empfile[type].name;
 }
 
-int
+static int
 ef_check(int type)
 {
     if (CANT_HAPPEN((unsigned)type >= EF_MAX))
@@ -522,7 +912,7 @@ ef_check(int type)
 }
 
 /*
- * Ensure file-backed table contains ID.
+ * Ensure table contains element ID.
  * If necessary, extend it in steps of COUNT elements.
  * Return non-zero on success, zero on failure.
  */
@@ -539,37 +929,3 @@ ef_ensure_space(int type, int id, int count)
     }
     return 1;
 }
-
-static void
-ef_fix_size(struct empfile *ep, int n)
-{
-    ep->cids = ep->fids = n;
-    ep->csize = n + 1;
-}
-
-/*
- * Initialize Empire tables.
- * Must be called once, before using anything else from this module.
- */
-void
-ef_init(void)
-{
-    struct castr *ca;
-    struct empfile *ep;
-    struct symbol *lup;
-    int i;
-
-    empfile[EF_MAP].size = empfile[EF_BMAP].size = (WORLD_X * WORLD_Y) / 2;
-
-    ca = (struct castr *)empfile[EF_META].cache;
-    for (i = 0; ca[i].ca_name; i++) ;
-    ef_fix_size(&empfile[EF_META], i);
-
-    for (ep = empfile; ep->uid >= 0; ep++) {
-       if (ep->cadef == symbol_ca) {
-           lup = (struct symbol *)ep->cache;
-           for (i = 0; lup[i].name; i++) ;
-           ef_fix_size(ep, i);
-       }
-    }
-}