]> git.pond.sub.org Git - empserver/blobdiff - src/lib/common/xundump.c
Clean up maintenance of config table sentinels
[empserver] / src / lib / common / xundump.c
index 2b3bb26992e99736544559127b4fc181eb447b63..abef9c27e664d1a6b73198938a3d44de72e2c9e8 100644 (file)
@@ -1,6 +1,6 @@
 /*
  *  Empire - A multi-player, client/server Internet based war game.
- *  Copyright (C) 1986-2005, Dave Pare, Jeff Bailey, Thomas Ruschak,
+ *  Copyright (C) 1986-2008, Dave Pare, Jeff Bailey, Thomas Ruschak,
  *                           Ken Stevens, Steve McClure
  *
  *  This program is free software; you can redistribute it and/or modify
  *
  *  ---
  *
- *  See the "LEGAL", "LICENSE", "CREDITS" and "README" files for all the
- *  related information and legal notices. It is expected that any future
- *  projects/authors will amend these files as needed.
+ *  See files README, COPYING and CREDITS in the root of the source
+ *  tree for related information and legal notices.  It is expected
+ *  that future projects/authors will amend these files as needed.
  *
  *  ---
  *
- *  xundump.c: Text loading functions based on xdump output
+ *  xundump.c: Load back xdump output
  * 
  *  Known contributors to this file:
  *     Ron Koenderink, 2005
- *  
+ *     Markus Armbruster, 2005-2008
  */
 
-#include <stdio.h>
-#include <stdlib.h>
+/*
+ * See doc/xdump!  And keep it up-to-date.
+ *
+ * Parsing of machine-readable xdump is not precise: it recognizes
+ * comments, accepts whitespace in place of single space, and accepts
+ * the full human-readable field syntax instead of its machine-
+ * readable subset.
+ *
+ * FIXME:
+ * - Normalize terminology: table/rows/columns or file/records/fields
+ * - Loading tables with NSC_STRING elements more than once leaks memory
+ * TODO:
+ * - Check each partial table supplies the same rows
+ * - Check EFF_CFG tables are dense
+ * - Symbolic array indexes
+ * - Option to treat missing and unknown fields as warning, not error
+ * TODO, but hardly worth the effort:
+ * - Permit reordering of array elements
+ */
+
+#include <config.h>
 
 #include <ctype.h>
-#include <string.h>
 #include <stdarg.h>
+#include <stdio.h>
+#include <stdlib.h>
+#include <string.h>
 #include <time.h>
-
-#include "prototypes.h"
 #include "file.h"
-#include "nsc.h"
 #include "match.h"
-
-#define MAX_NUM_COLUMNS 256
-
-static char *fname = "";
-static int lineno = 0;
+#include "nsc.h"
+#include "optlist.h"
+#include "xdump.h"
+
+static char *fname;            /* Name of file being read */
+static int lineno;             /* Current line number */
+static int human;              /* Reading human-readable syntax? */
+static int ellipsis;           /* Header ended with ...? */
+static int is_partial;         /* Is input split into parts? */
+static int cur_type;           /* Current table's file type */
+static void *cur_obj;          /* The object being read into */
+static int cur_id;             /* and its index in the table */
+static int cur_obj_is_blank;
+static int nflds;              /* #fields in input records */
+static struct castr **fldca;   /* Map field number to selector */
+static int *fldidx;            /* Map field number to index */
+static int *caflds;            /* Map selector number to #fields seen */
+static int *cafldspp;          /* ditto, in previous parts */
+
+static int gripe(char *, ...) ATTRIBUTE((format (printf, 1, 2)));
+static int deffld(int, char *, int);
+static int defellipsis(void);
+static int chkflds(void);
+static int setnum(int, double);
+static int setstr(int, char *);
+static int xunsymbol(char *, struct castr *, int);
+static int setsym(int, char *);
+static int mtsymset(int, long *);
+static int add2symset(int, long *, char *);
+static int xubody(FILE *);
+static int xutail(FILE *, struct castr *);
 
 /*
- * TODO
- * This structure could be replaced with struct valstr.
+ * Gripe about the current line to stderr, return -1.
  */
-enum enum_value {
-    VAL_NOTUSED,
-    VAL_STRING,
-    VAL_SYMBOL,
-    VAL_SYMBOL_SET,
-    VAL_DOUBLE
-};
-
-struct value {
-    enum enum_value v_type;
-    union {
-       char *v_string;
-       double v_double;
-    } v_field;
-};
-
 static int
 gripe(char *fmt, ...)
 {
@@ -84,6 +111,32 @@ gripe(char *fmt, ...)
     return -1;
 }
 
+/*
+ * Read and ignore field separators from FP.
+ * Return first character that is not a field separator.
+ */
+static int
+skipfs(FILE *fp)
+{
+    int ch;
+
+    do {
+       ch = getc(fp);
+    } while (ch == ' ' || ch == '\t');
+
+    if (ch == '#') {
+       do {
+           ch = getc(fp);
+       } while (ch != EOF && ch != '\n');
+    }
+
+    return ch;
+}
+
+/*
+ * Decode escape sequences in BUF.
+ * Return BUF on success, null pointer on failure.
+ */
 static char *
 xuesc(char *buf)
 {
@@ -105,419 +158,835 @@ xuesc(char *buf)
     return buf;
 }
 
+/*
+ * Read an identifier from FP into BUF.
+ * BUF must have space for 1024 characters.
+ * Return number of characters read on success, -1 on failure.
+ */
+static int
+getid(FILE *fp, char *buf)
+{
+    int n;
+    if (fscanf(fp, "%1023[^\"#()<>= \t\n]%n", buf, &n) != 1
+       || !isalpha(buf[0]))
+       return -1;
+    xuesc(buf);
+    return n;
+}
+
+/*
+ * Try to read a field name from FP.
+ * I is the field number, counting from zero.
+ * If a name is read, set fldca[I] and fldidx[I] for it, and update
+ * caflds[].
+ * Return 1 if a name or ... was read, 0 on end of line, -1 on error.
+ */
 static int
-xuflds(FILE *fp, struct value values[])
+xufldname(FILE *fp, int i)
 {
-    int i, ch;
-    char sep;
+    int ch, idx;
     char buf[1024];
 
-    for (i = 0; i < MAX_NUM_COLUMNS; i++) {
+    ch = skipfs(fp);
+    switch (ch) {
+    case EOF:
+       return gripe("Unexpected EOF");
+    case '\n':
+       if (chkflds() < 0)
+           return -1;
+       lineno++;
+       return 0;
+    case '.':
+       if (getc(fp) != '.' || getc(fp) != '.')
+           return gripe("Junk in header field %d", i + 1);
+       if (defellipsis() < 0)
+           return -1;
+       ch = skipfs(fp);
+       if (ch != EOF && ch != '\n')
+           return gripe("Junk after ...");
+       ungetc(ch, fp);
+       return 1;
+    default:
+       ungetc(ch, fp);
+       if (getid(fp, buf) < 0)
+           return gripe("Junk in header field %d", i + 1);
+       ch = getc(fp);
+       if (ch != '(') {
+           ungetc(ch, fp);
+           return deffld(i, buf, -1);
+       }
        ch = getc(fp);
        ungetc(ch, fp);
+       if (isdigit(ch) || ch == '-' || ch == '+') {
+           if (fscanf(fp, "%d", &idx) != 1)
+               return gripe("Malformed number in index of header field %d",
+                            i + 1);
+           if (idx < 0)
+               return gripe("Index must not be negative in header field %d",
+                            i + 1);
+       } else {
+           if (getid(fp, buf) < 0)
+               return gripe("Malformed index in header field %d", i + 1);
+           return gripe("Symbolic index in header field %d not yet implemented",
+                        i + 1);
+       }
+       ch = getc(fp);
+       if (ch != ')')
+           return gripe("Malformed index in header field %d", i + 1);
+       return deffld(i, buf, idx);
+    }
+}
 
-       switch (ch) {
-       case '+': case '-': case '.':
-       case '0': case '1': case '2': case '3': case '4':
-       case '5': case '6': case '7': case '8': case '9':
-           if (fscanf(fp, "%lg%c", &values[i].v_field.v_double, &sep) != 2)
-               return gripe("Malformed number in field %d", i + 1);
-           values[i].v_type = VAL_DOUBLE;
-           break;
-       case '"':
-           if (fscanf(fp, "\"%1023[^ \n]%c", buf, &sep) != 2
-               || buf[strlen(buf)-1] != '"')
+/*
+ * Try to read a field value from FP.
+ * I is the field number, counting from zero.
+ * Return 1 if a value was read, 0 on end of line, -1 on error.
+ */
+static int
+xufld(FILE *fp, int i)
+{
+    int ch;
+    char buf[1024];
+    double dbl;
+    long set;
+
+    ch = skipfs(fp);
+    switch (ch) {
+    case EOF:
+       return gripe("Unexpected EOF");
+    case '\n':
+       CANT_HAPPEN(i > nflds);
+       if (i < nflds) {
+           if (fldca[i]->ca_type != NSC_STRINGY && fldca[i]->ca_len)
+               return gripe("Field %s(%d) missing",
+                            fldca[i]->ca_name, fldidx[i]);
+           return gripe("Field %s missing", fldca[i]->ca_name);
+       }
+       lineno++;
+       return 0;
+    case '+': case '-': case '.':
+    case '0': case '1': case '2': case '3': case '4':
+    case '5': case '6': case '7': case '8': case '9':
+       ungetc(ch, fp);
+       if (fscanf(fp, "%lg", &dbl) != 1)
+           return gripe("Malformed number in field %d", i + 1);
+       return setnum(i, dbl);
+    case '"':
+       ch = getc(fp);
+       if (ch == '"')
+           buf[0] = 0;
+       else {
+           ungetc(ch, fp);
+           if (fscanf(fp, "%1023[^\"\n]", buf) != 1 || getc(fp) != '"')
                return gripe("Malformed string in field %d", i + 1);
-           buf[strlen(buf)-1] = '\0';
            if (!xuesc(buf))
                return gripe("Invalid escape sequence in field %d",
-                   i + 1);
-           values[i].v_type = VAL_STRING;
-           values[i].v_field.v_string = strdup(buf);
-           break;
-       case '(':
-           ch = getc(fp);
-           ch = getc(fp);
-           if (ch == EOF)
-               return gripe("Unexpected end of file while reading a symbol set for field %d", i + 1);
-           if (ch == ')') {
-               values[i].v_field.v_double = 0.0;
-               values[i].v_type = VAL_DOUBLE;
-               sep = getc(fp);
-               if (sep == EOF)
-                   return gripe("Unexpected end of file while reading a symbol set for field %d", i + 1);
+                            i + 1);
+       }
+       return setstr(i, buf);
+    case '(':
+       if (mtsymset(i, &set) < 0)
+           return -1;
+       for (;;) {
+           ch = skipfs(fp);
+           if (ch == EOF || ch == '\n')
+               return gripe("Unmatched '(' in field %d", i + 1);
+           if (ch == ')')
                break;
-           }
            ungetc(ch, fp);
-           ungetc('(', fp);
-           if (fscanf(fp, "(%1023[^)\n])%c", buf, &sep) != 2)
-               return gripe("Malformed symbol set in field %d", i + 1);
-           values[i].v_type = VAL_SYMBOL_SET;
-           values[i].v_field.v_string = strdup(buf);
-           break;
-       default:
-           if (fscanf(fp, "%1023[^ \n]%c", buf, &sep) != 2) {
+           if (getid(fp, buf) < 0)
                return gripe("Junk in field %d", i + 1);
-           }
-           if (!strcmp(buf, "nil")) {
-               values[i].v_field.v_string = NULL;
-               values[i].v_type = VAL_STRING;
-           }
-           else {
-               values[i].v_field.v_string = strdup(buf);
-               values[i].v_type = VAL_SYMBOL;
-           }
+           if (add2symset(i, &set, buf) < 0)
+               return -1;
        }
-       if (sep == '\n')
-           break;
-       if (sep != ' ')
-           return gripe(
-               "Expected space or newline as field separator found %c",
-               sep);
+       return setnum(i, set);
+    default:
+       ungetc(ch, fp);
+       if (getid(fp, buf) < 0)
+           return gripe("Junk in field %d", i + 1);
+       if (!strcmp(buf, "nil"))
+           return setstr(i, NULL);
+       else
+           return setsym(i, buf);
     }
-    if (i >= MAX_NUM_COLUMNS)
-       return gripe("Too many columns");
-    if (i == 0)
-       return gripe("No columns read");
-    values[++i].v_type = VAL_NOTUSED;
-    return i;
 }
 
+/*
+ * Read fields from FP.
+ * Use PARSE() to read each field.
+ * Return number of fields read on success, -1 on error.
+ */
 static int
-xunsymbol(struct castr *ca, char *buf, int symbol_set)
+xuflds(FILE *fp, int (*parse)(FILE *, int))
 {
-    struct symbol *symbol = (struct symbol *)empfile[ca->ca_table].cache;
-    int i;
-    int value = 0;
-    char *token;
-
-    if (symbol_set && !(ca->ca_flags & NSC_BITS))
-       return gripe("Symbol Set (%s) was found but the field does not have "
-           "NSC_BITS set for field %s", buf, ca->ca_name);
-    if (!symbol_set && (ca->ca_flags & NSC_BITS))
-       return gripe("Symbol (%s) was found but the field was expecting an "
-           "Symbol Set for field %s", buf, ca->ca_name);
-    if (symbol_set)
-       token = strtok( buf, " ");
-    else
-       token = buf;
-
-    if (!token || token[0] == '\0')
-       return gripe("Empty symbol value for field %s", ca->ca_name);
-
-    while (token) {
-       if ((i = stmtch(token, symbol, offsetof(struct symbol, name),
-                       sizeof(struct symbol))) != M_NOTFOUND) {
-           if (!(ca->ca_flags & NSC_BITS))
-               return(symbol[i].value);
-           value |= symbol[i].value;
-       }
-       else
-           return gripe("Symbol %s was not found for field %s", token,
-               ca->ca_name);
-       token = strtok(NULL, " ");
+    int i, ch, res;
+
+    for (i = 0; ; i++) {
+       res = parse(fp, i);
+       if (res < 0)
+           return -1;
+       if (res == 0)
+           return i;
+       ch = getc(fp);
+       if (ch == '\n')
+           ungetc(ch, fp);
+       else if (ch != ' ' && ch != '\t')
+           return gripe("Bad field separator after field %d", i + 1);
+    }
+}
+
+/*
+ * Define the FLDNO-th field.
+ * If IDX is negative, define as selector NAME, else as NAME(IDX).
+ * Set fldca[FLDNO] and fldidx[FLDNO] accordingly.
+ * Update caflds[].
+ * Return 1 on success, -1 on error.
+ */
+static int
+deffld(int fldno, char *name, int idx)
+{
+    struct castr *ca = ef_cadef(cur_type);
+    int res;
+
+    res = stmtch(name, ca, offsetof(struct castr, ca_name),
+                    sizeof(struct castr));
+    if (res < 0)
+       return gripe("Header %s of field %d is %s", name, fldno + 1,
+                    res == M_NOTUNIQUE ? "ambiguous" : "unknown");
+    if (ca[res].ca_flags == NSC_EXTRA || CANT_HAPPEN(ca[res].ca_get))
+       return gripe("Extraneous header %s in field %d", name, fldno + 1);
+    if (ca[res].ca_type != NSC_STRINGY && ca[res].ca_len != 0) {
+       if (idx < 0)
+           return gripe("Header %s requires an index in field %d",
+                        ca[res].ca_name, fldno + 1);
+       if (idx >= ca[res].ca_len)
+           return gripe("Header %s(%d) index out of bounds in field %d",
+                        ca[res].ca_name, idx, fldno + 1);
+       if (idx < caflds[res])
+           return gripe("Duplicate header %s(%d) in field %d",
+                        ca[res].ca_name, idx, fldno + 1);
+       if (idx > caflds[res])
+           return gripe("Expected header %s(%d) in field %d",
+                        ca[res].ca_name, caflds[res], fldno + 1);
+    } else {
+       if (idx >= 0)
+           return gripe("Header %s doesn't take an index in field %d",
+                        ca[res].ca_name, fldno + 1);
+       idx = 0;
+       if (caflds[res])
+           return gripe("Duplicate header %s in field %d",
+                        ca[res].ca_name, fldno + 1);
     }
-    return(value);
+    fldca[fldno] = &ca[res];
+    fldidx[fldno] = idx;
+    caflds[res]++;
+    return 1;
 }
 
+/*
+ * Record that header ends with ...
+ * Set ellipsis and is_partial.
+ * Return 0 on success, -1 on error.
+ */
 static int
-has_const(struct castr ca[])
+defellipsis(void)
 {
-    int i;
+    struct castr *ca = ef_cadef(cur_type);
+
+    if (ca[0].ca_table != cur_type)
+       return gripe("Table %s doesn't support ...", ef_nameof(cur_type));
+    ellipsis = is_partial = 1;
+    return 0;
+}
+
+/*
+ * Check fields in xdump are sane.
+ * Return 0 on success, -1 on error.
+ */
+static int
+chkflds(void)
+{
+    struct castr *ca = ef_cadef(cur_type);
+    int i, len, cafldsmax, res = 0;
+
+    if (is_partial) {
+       /* Need a join field, use 0-th selector */
+       if (!caflds[0])
+           return gripe("Header field %s required with ...", ca[0].ca_name);
+    }
+
+    if (ellipsis)
+       return 0;
 
     for (i = 0; ca[i].ca_name; i++) {
-       if (ca[i].ca_flags & NSC_CONST)
-           return 1;
+       cafldsmax = MAX(caflds[i], cafldspp[i]);
+       if (ca[i].ca_flags & NSC_EXTRA)
+           continue;
+       len = ca[i].ca_type != NSC_STRINGY ? ca[i].ca_len : 0;
+       if (!len && !cafldsmax)
+           res = gripe("Header field %s missing", ca[i].ca_name);
+       else if (len && cafldsmax == len - 1)
+           res = gripe("Header field %s(%d) missing",
+                       ca[i].ca_name, len - 1);
+       else if (len && cafldsmax < len - 1)
+           res = gripe("Header fields %s(%d) ... %s(%d) missing",
+                       ca[i].ca_name, cafldsmax, ca[i].ca_name, len - 1);
     }
-    return 0;
+
+    return res;
 }
 
-static void
-xuinitrow(int type, int row)
+/*
+ * Get selector for field FLDNO.
+ * Assign the field's selector index to *IDX, unless it is null.
+ * Return the selector on success, null pointer on error.
+ */
+static struct castr *
+getfld(int fldno, int *idx)
 {
-    struct empfile *ep = &empfile[type];
-    char *ptr = ep->cache + ep->size * row;
+    if (fldno >= nflds) {
+       gripe("Too many fields, expected only %d", nflds);
+       return NULL;
+    }
+    if (CANT_HAPPEN(fldno < 0))
+       return NULL;
+    if (idx)
+       *idx = fldidx[fldno];
+    return fldca[fldno];
+}
 
-    memset(ptr, 0, ep->size);
+/*
+ * Is a new value for field FLDNO required to match the old one?
+ */
+static int
+fldval_must_match(int fldno)
+{
+    struct castr *ca = ef_cadef(cur_type);
+    int i = fldca[fldno] - ca;
+
+    /*
+     * Value must match if:
+     * it's for a const selector, unless the object is still blank, or
+     * it was already given in a previous part of a split table.
+     */
+    return (!cur_obj_is_blank && (fldca[fldno]->ca_flags & NSC_CONST))
+       || fldidx[fldno] < cafldspp[i];
+}
 
-    if (ep->init)
-       ep->init(row, ptr);
+/*
+ * Get the current object.
+ * Store it in cur_obj, and set cur_obj_is_blank accordingly.
+ * Return cur_obj, which is null on error.
+ */
+static void *
+getobj(void)
+{
+    struct empfile *ep = &empfile[cur_type];
+
+    if (!cur_obj) {
+       cur_obj_is_blank = cur_id >= ep->fids;
+       if (cur_obj_is_blank) {
+           if (ef_ensure_space(cur_type, cur_id, 1))
+               cur_obj = ef_ptr(cur_type, cur_id);
+           /* FIXME diagnose out of dynamic memory vs. static table full */
+           if (!cur_obj)
+               gripe("Can't put ID %d into table %s, it holds only 0..%d.",
+                     cur_id, ep->name, ep->fids - 1);
+       } else
+           cur_obj = ef_ptr(cur_type, cur_id);
+    }
+
+    return cur_obj;
 }
 
+/*
+ * Set value of field FLDNO in current object to DBL.
+ * Return 1 on success, -1 on error.
+ */
 static int
-xuloadrow(int type, int row, struct value values[])
+setnum(int fldno, double dbl)
 {
-    int i,j,k;
-    struct empfile *ep = &empfile[type];
-    char *ptr = ep->cache + ep->size * row;
-    struct castr *ca = ep->cadef;
-    void *row_ref;
-
-    i = 0;
-    j = 0;
-    while (ca[i].ca_type != NSC_NOTYPE &&
-          values[j].v_type != VAL_NOTUSED) {
-       row_ref = (char *)ptr + ca[i].ca_off;
-       k = 0;
-       do {
-           /*
-            * TODO
-            * factor out NSC_CONST comparsion
-            */
-           switch (values[j].v_type) {
-           case VAL_SYMBOL_SET:
-           case VAL_SYMBOL:
-               if (ca[i].ca_table == EF_BAD)
-                   return(gripe("Found symbol string %s, but column %s "
-                       "is not symbol or symbol sets",
-                       values[j].v_field.v_string, ca[i].ca_name));
-               values[j].v_field.v_double =
-                   (double)xunsymbol(&ca[i], values[j].v_field.v_string,
-                   values[j].v_type == VAL_SYMBOL_SET ? 1 : 0);
-               free(values[i].v_field.v_string);
-               if (values[j].v_field.v_double < 0.0)
-                   return -1;
-               /*
-                * fall through
-                */
-           case VAL_DOUBLE:
-               switch (ca[i].ca_type) {
-               case NSC_INT:
-                   if (ca[i].ca_flags & NSC_CONST) {
-                       if (((int *)row_ref)[k] != (int)
-                            values[j].v_field.v_double)
-                           gripe("Field %s must be same, "
-                               "read %d != expected %d",
-                               ca[i].ca_name,
-                               ((int *)row_ref)[k],
-                               (int)values[j].v_field.v_double);
-
-                   } else
-                       ((int *)row_ref)[k] =
-                           (int)values[j].v_field.v_double;
-                   break;
-               case NSC_LONG:
-                   if (ca[i].ca_flags & NSC_CONST) {
-                       if (((long *)row_ref)[k] != (long)
-                            values[j].v_field.v_double)
-                           gripe("Field %s must be same, "
-                               "read %ld != expected %ld",
-                               ca[i].ca_name,
-                               ((long *)row_ref)[k],
-                               (long)values[j].v_field.v_double);
-                   } else
-                       ((long *)row_ref)[k] = (long)
-                           values[j].v_field.v_double;
-                   break;
-               case NSC_USHORT:
-                   if (ca[i].ca_flags & NSC_CONST) {
-                       if (((unsigned short *)row_ref)[k] !=
-                            (unsigned short)values[j].v_field.v_double)
-                           gripe("Field %s must be same, "
-                               "read %d != expected %d",
-                               ca[i].ca_name,
-                               ((unsigned short *)row_ref)[k],
-                               (unsigned short)values[j].v_field.v_double);
-                   } else
-                       ((unsigned short *)row_ref)[k] = (unsigned short)
-                           values[j].v_field.v_double;
-                   break;
-               case NSC_UCHAR:
-                   if (ca[i].ca_flags & NSC_CONST) {
-                       if (((unsigned char *)row_ref)[k] != (unsigned char)
-                            values[j].v_field.v_double)
-                           gripe("Field %s must be same, "
-                               "read %d != expected %d",
-                               ca[i].ca_name,
-                               ((unsigned char *)row_ref)[k],
-                               (unsigned char)values[j].v_field.v_double);
-                   } else
-                       ((unsigned char *)row_ref)[k] = (unsigned char)
-                           values[j].v_field.v_double;
-                   break;
-               case NSC_FLOAT:
-                   if (ca[i].ca_flags & NSC_CONST) {
-                       if (((float *)row_ref)[k] != (float)
-                            values[j].v_field.v_double)
-                           gripe("Field %s must be same, "
-                               "read %g != expected %g",
-                               ca[i].ca_name,
-                               ((float *)row_ref)[k],
-                               (float)values[j].v_field.v_double);
-                   } else
-                       ((float *)row_ref)[k] = (float)
-                           values[j].v_field.v_double;
-                   break;
-               case NSC_STRING:
-                   return gripe("Field %s is a string type, "
-                       "but %lg was read which is a number",
-                       ca[i].ca_name, values[j].v_field.v_double);
-               default:
-                   return gripe("Field %s's type %d is not supported",
-                       ca[i].ca_name, ca[i].ca_type);
-               }
-               break;
-           case VAL_STRING:
-               switch(ca[i].ca_type) {
-               case NSC_STRINGY:
-                   return gripe("Field %s is of NSC_STRINGY type "
-                       "which is not supported", ca[i].ca_name);
-               case NSC_STRING:
-                   if (ca[i].ca_flags & NSC_CONST) {
-                       if (strcmp(((char **)row_ref)[k],
-                                  values[j].v_field.v_string) != 0)
-                           gripe("Field %s must be same, "
-                               "read %s != expected %s",
-                               ca[i].ca_name,
-                               *((char **)row_ref)[k],
-                               *values[j].v_field.v_string);
-                   } else
-                       ((char **)row_ref)[k] = values[j].v_field.v_string;
-                   break;
-               case NSC_INT:
-               case NSC_LONG:
-               case NSC_USHORT:
-               case NSC_UCHAR:
-               case NSC_FLOAT:
-                   return gripe("Field %s is a number type %d, "
-                       "but %s was read which is a string",
-                       ca[i].ca_name, ca[i].ca_type,
-                       values[j].v_field.v_string);
-               default:
-                   return gripe("Field %s's type %d is not supported",
-                           ca[i].ca_name, ca[i].ca_type);
-               }
-               break;
-           case VAL_NOTUSED:
-               return gripe("Missing column %s in file", ca[i].ca_name);
-           default:
-               return gripe("Unknown value type %d", values[j].v_type);
-           }
-           k++;
-           j++;
-       } while (k < ca[i].ca_len);
-       i++;
+    struct castr *ca;
+    int idx;
+    char *memb_ptr;
+    double old;
+
+    ca = getfld(fldno, &idx);
+    if (!ca)
+       return -1;
+
+    /*
+     * If this is the record index, put it into cur_id.
+     */
+    if (fldno == 0 && ca->ca_table == cur_type)
+       cur_id = (int)dbl;
+
+    memb_ptr = getobj();
+    if (!memb_ptr)
+       return -1;
+    memb_ptr += ca->ca_off;
+
+    /* FIXME check assignment preserves value */
+    switch (ca->ca_type) {
+    case NSC_CHAR:
+       old = ((signed char *)memb_ptr)[idx];
+       ((signed char *)memb_ptr)[idx] = (signed char)dbl;
+       break;
+    case NSC_UCHAR:
+    case NSC_HIDDEN:
+       old = ((unsigned char *)memb_ptr)[idx];
+       ((unsigned char *)memb_ptr)[idx] = (unsigned char)dbl;
+       break;
+    case NSC_SHORT:
+       old = ((short *)memb_ptr)[idx];
+       ((short *)memb_ptr)[idx] = (short)dbl;
+       break;
+    case NSC_USHORT:
+       old = ((unsigned short *)memb_ptr)[idx];
+       ((unsigned short *)memb_ptr)[idx] = (unsigned short)dbl;
+       break;
+    case NSC_INT:
+       old = ((int *)memb_ptr)[idx];
+       ((int *)memb_ptr)[idx] = (int)dbl;
+       break;
+    case NSC_LONG:
+       old = ((long *)memb_ptr)[idx];
+       ((long *)memb_ptr)[idx] = (long)dbl;
+       break;
+    case NSC_XCOORD:
+       old = ((coord *)memb_ptr)[idx];
+       /* FIXME use variant of xrel() that takes orig instead of nation */
+       if (old >= WORLD_X / 2)
+           old -= WORLD_X;
+       ((coord *)memb_ptr)[idx] = XNORM((coord)dbl);
+       break;
+    case NSC_YCOORD:
+       old = ((coord *)memb_ptr)[idx];
+       /* FIXME use variant of yrel() that takes orig instead of nation */
+       if (old >= WORLD_Y / 2)
+           old -= WORLD_Y;
+       ((coord *)memb_ptr)[idx] = YNORM((coord)dbl);
+       break;
+    case NSC_FLOAT:
+       old = ((float *)memb_ptr)[idx];
+       ((float *)memb_ptr)[idx] = (float)dbl;
+       break;
+    case NSC_DOUBLE:
+       old = ((double *)memb_ptr)[idx];
+       ((double *)memb_ptr)[idx] = dbl;
+       break;
+    case NSC_TIME:
+       old = ((time_t *)memb_ptr)[idx];
+       ((time_t *)memb_ptr)[idx] = (time_t)dbl;
+       break;
+    default:
+       return gripe("Field %d doesn't take numbers", fldno + 1);
     }
-    if (ca[i].ca_type != NSC_NOTYPE)
-       return gripe("Missing column %s in file", ca[i].ca_name);
-    switch  (values[j].v_type) {
-    case VAL_NOTUSED:
+
+    if (fldval_must_match(fldno) && old != dbl)
+       return gripe("Value for field %d must be %g", fldno + 1, old);
+
+    return 1;
+}
+
+/*
+ * Set value of field FLDNO in current object to STR.
+ * Return 1 on success, -1 on error.
+ */
+static int
+setstr(int fldno, char *str)
+{
+    struct castr *ca;
+    int must_match, idx;
+    size_t len;
+    char *memb_ptr, *old;
+
+    ca = getfld(fldno, &idx);
+    if (!ca)
+       return -1;
+
+    memb_ptr = getobj();
+    if (!memb_ptr)
+       return -1;
+    memb_ptr += ca->ca_off;
+    must_match = fldval_must_match(fldno);
+
+    switch (ca->ca_type) {
+    case NSC_STRING:
+       old = ((char **)memb_ptr)[idx];
+       if (!must_match)
+           ((char **)memb_ptr)[idx] = str ? strdup(str) : NULL;
+       len = 65535;            /* really SIZE_MAX, but that's C99 */
+       break;
+    case NSC_STRINGY:
+       if (CANT_HAPPEN(idx))
+           return -1;
+       if (!str)
+           return gripe("Field %d doesn't take nil", fldno + 1);
+       len = ca->ca_len;
+       if (strlen(str) > len)
+           return gripe("Field %d takes at most %d characters",
+                        fldno + 1, (int)len);
+       old = memb_ptr;
+       if (!must_match)
+           strncpy(memb_ptr, str, len);
        break;
-    case VAL_STRING:
-    case VAL_SYMBOL:
-    case VAL_SYMBOL_SET:
-       return gripe("Extra junk after the last column, read %s",
-           values[j].v_field.v_string);
-    case VAL_DOUBLE:
-       return gripe("Extra junk after the last column, read %lg",
-           values[j].v_field.v_double);
     default:
-       return gripe("Extra junk after the last column, "
-           "unknown value type %d", values[j].v_type);
+       return gripe("Field %d doesn't take strings", fldno + 1);
     }
+
+    if (must_match) {
+       if (old && (!str || strncmp(old, str, len)))
+           return gripe("Value for field %d must be \"%.*s\"",
+                        fldno + 1, (int)len, old);
+       if (!old && str)
+           return gripe("Value for field %d must be nil", fldno + 1);
+    }
+
+    return 1;
+}
+
+/*
+ * Resolve symbol name ID in table referred to by CA.
+ * Use field number N for error messages.
+ * Return index in referred table on success, -1 on failure.
+ */
+static int
+xunsymbol(char *id, struct castr *ca, int n)
+{
+    int i = ef_elt_byname(ca->ca_table, id);
+    if (i < 0)
+       return gripe("%s %s symbol `%s' in field %d",
+                    i == M_NOTUNIQUE ? "Ambiguous" : "Unknown",
+                    ca->ca_name, id, n + 1);
+    return i;
+}
+
+/*
+ * Map symbol index to symbol value.
+ * CA is the table, and I is the index in it.
+ */
+static int
+symval(struct castr *ca, int i)
+{
+    int type = ca->ca_table;
+
+    if (ef_check(type) < 0)
+       return -1;
+    if (ef_cadef(type) == symbol_ca)
+       /* symbol table, value is in the table */
+       return ((struct symbol *)ef_ptr(type, i))->value;
+    /* value is the table index */
+    return i;
+}
+
+/*
+ * Set value of field FLDNO in current object to value of symbol SYM.
+ * Return 1 on success, -1 on error.
+ */
+static int
+setsym(int fldno, char *sym)
+{
+    struct castr *ca;
+    int i;
+
+    ca = getfld(fldno, NULL);
+    if (!ca)
+       return -1;
+
+    if (ca->ca_table == EF_BAD || (ca->ca_flags & NSC_BITS))
+       return gripe("Field %d doesn't take symbols", fldno + 1);
+
+    i = xunsymbol(sym, ca, fldno);
+    if (i < 0)
+       return -1;
+    return setnum(fldno, symval(ca, i));
+}
+
+/*
+ * Create an empty symbol set for field FLDNO in *SET.
+ * Return 1 on success, -1 on error.
+ */
+static int
+mtsymset(int fldno, long *set)
+{
+    struct castr *ca;
+
+    ca = getfld(fldno, NULL);
+    if (!ca)
+       return -1;
+
+    if (ca->ca_table == EF_BAD || ef_cadef(ca->ca_table) != symbol_ca
+       || !(ca->ca_flags & NSC_BITS))
+       return gripe("Field %d doesn't take symbol sets", fldno + 1);
+    *set = 0;
     return 0;
 }
 
-static void
-xuskipcommentlines(FILE *fp)
+/*
+ * Add a symbol to a symbol set for field FLDNO in *SET.
+ * SYM is the name of the symbol to add.
+ * Return 1 on success, -1 on error.
+ */
+static int
+add2symset(int fldno, long *set, char *sym)
 {
-    int ch;
+    struct castr *ca;
+    int i;
 
-    for (;;) {
-        ch = getc(fp);
-       if (ch == EOF)
-           return;
-       if (ch == '#') {
-           do {
-               ch = getc(fp);
-           } while (ch != '\n' && ch != EOF);
-           lineno++;
-       } else {
-           ungetc(ch, fp);
-           return;
-       }
-    }
+    ca = getfld(fldno, NULL);
+    if (!ca)
+       return -1;
+
+    i = xunsymbol(sym, ca, fldno);
+    if (i < 0)
+       return -1;
+    *set |= symval(ca, i);
+    return 0;
 }
 
-int
-xundump(FILE *fp, char *file, int expected_table)
+/*
+ * Read an xdump table header line from FP.
+ * Expect header for EXPECTED_TABLE, unless it is EF_BAD.
+ * Recognize header for machine- and human-readable syntax, and set
+ * human accordingly.
+ * Return table type on success, -2 on EOF before header, -1 on failure.
+ */
+static int
+xuheader(FILE *fp, int expected_table)
 {
     char name[64];
-    char sep;
-    int row, rows, ch;
-    struct value values[MAX_NUM_COLUMNS + 1];
+    int res, ch;
     int type;
-    int fixed_rows;
 
-    if (strcmp(fname, file) != 0) {
-        fname = file;
-       lineno = 1;
-    } else
+    while ((ch = skipfs(fp)) == '\n')
        lineno++;
-
-    xuskipcommentlines(fp);
-    if (fscanf(fp, "XDUMP %63[^0123456789]%*d%c", name, &sep) != 2)
-       return gripe("Expected XDUMP header");
-    if (sep != '\n')
-       return gripe("Junk after XDUMP header");
-
-    if (strlen(name) < 2)
-       return gripe("Invalid table name in header %s", name);
-    if (name[strlen(name) - 1] != ' ')
-       return gripe("Missing space after table name in header %s",
-           name);
-    name[strlen(name) - 1] = '\0';
+    if (ch == EOF && expected_table == EF_BAD)
+       return -2;
+    ungetc(ch, fp);
+
+    human = ch == 'c';
+    res = -1;
+    if ((human
+         ? fscanf(fp, "config%*[ \t]%63[^ \t#\n]%n", name, &res) != 1
+         : fscanf(fp, "XDUMP%*[ \t]%63[^ \t#\n]%*[ \t]%*[^ \t#\n]%n",
+                  name, &res) != 1) || res < 0)
+       return gripe("Expected xdump header");
 
     type = ef_byname(name);
     if (type < 0)
-       return gripe("Table not found %s", name);
-
+       return gripe("Unknown table `%s'", name);
     if (expected_table != EF_BAD && expected_table != type)
-       return gripe("Incorrect Table expecting %s got %s",
-           ef_nameof(expected_table), name);
+       return gripe("Expected table `%s', not `%s'",
+                    ef_nameof(expected_table), name);
 
-    fixed_rows = has_const(ef_cadef(type));
+    if (!ef_cadef(type) || !(ef_flags(type) & EFF_MEM)) {
+       CANT_HAPPEN(expected_table != EF_BAD);
+       return gripe("Table `%s' is not permitted here", name);
+    }
 
-    for (row = 0; ; row++) {
-        xuskipcommentlines(fp);
-       lineno++;
-       ch = getc(fp);
+    if (skipfs(fp) != '\n')
+       return gripe("Junk after xdump header");
+    lineno++;
+
+    return type;
+}
+
+/*
+ * Find fields in this xdump.
+ * If reading human-readable syntax, read a field header line from FP.
+ * Else take fields from the table's selectors in CA[].
+ * Set ellipsis, nflds, fldca[], fldidx[] and caflds[] accordingly.
+ * Return 0 on success, -1 on failure.
+ */
+static int
+xufldhdr(FILE *fp, struct castr ca[])
+{
+    struct castr **fca;
+    int *fidx;
+    int ch, i, j, n;
+
+    for (i = 0; ca[i].ca_name; i++)
+       caflds[i] = 0;
+    ellipsis = 0;
+
+    if (human) {
+       while ((ch = skipfs(fp)) == '\n')
+           lineno++;
        ungetc(ch, fp);
-       if (ch == EOF)
-           return gripe("Unexpected EOF");
-       if (ch == '/')
-           break;
-       /*
-        * TODO
-        * Add column count check to the return value of xuflds()
-        */
-       if (xuflds(fp, values) <= 0)
+       nflds = xuflds(fp, xufldname);
+       if (nflds < 0)
            return -1;
-       else {
-           if (row >= empfile[type].csize - 1)
-               return gripe("Too many rows for table %s", name);
-           empfile[type].fids = row + 1;
-           if (!fixed_rows)
-               xuinitrow(type, row);
-           if (xuloadrow(type, row, values) < 0)
-               return -1;
+       nflds -= ellipsis != 0;
+    } else {
+       fca = fldca;
+       fidx = fldidx;
+
+       for (i = 0; ca[i].ca_name; i++) {
+           if ((ca[i].ca_flags & NSC_EXTRA))
+               continue;
+           n = ca[i].ca_type != NSC_STRINGY ? ca[i].ca_len : 0;
+           j = 0;
+           do {
+               *fca++ = &ca[i];
+               *fidx++ = j;
+           } while (++j < n);
        }
+
+       nflds = fidx - fldidx;
+    }
+
+    return 0;
+}
+
+/*
+ * Read xdump footer from FP.
+ * CA[] contains the table's selectors.
+ * The body had RECS records.
+ * Update cafldspp[] from caflds[].
+ * Return 0 on success, -1 on failure.
+ */
+static int
+xufooter(FILE *fp, struct castr ca[], int recs)
+{
+    int res, n, i;
+
+    res = -1;
+    if (human) {
+       if (fscanf(fp, "config%n",  &res) != 0 || res < 0)
+           return gripe("Malformed table footer");
+    } else {
+       if (fscanf(fp, "%d", &n) != 1)
+           return gripe("Malformed table footer");
+       if (recs != n)
+           return gripe("Read %d rows, which doesn't match footer "
+                        "%d rows", recs, n);
+    }
+    if (skipfs(fp) != '\n')
+       return gripe("Junk after table footer");
+    lineno++;
+
+    for (i = 0; ca[i].ca_name; i++) {
+       if (cafldspp[i] < caflds[i])
+           cafldspp[i] = caflds[i];
     }
 
-    if (fscanf(fp, "/%d%c", &rows, &sep) != 2)
-       return gripe("Failed to find number of rows trailer");
-    if (row != rows)
-       return gripe("Number of rows doesn't match between "
-           "the trailer and what was read");
-    if (fixed_rows && row != empfile[type].csize -1)
-       return gripe("Number of rows doesn't match, and "
-           "it must for table %s", name);
-    if (sep != '\n')
-       return gripe("Junk after number of rows trailer");
-
-    if (!fixed_rows)
-       xuinitrow(type, row);
-
-    xuskipcommentlines(fp);
     return 0;
 }
+
+/*
+ * Read an xdump table from FP.
+ * Both machine- and human-readable xdump syntax are recognized.
+ * Expect table EXPECTED_TABLE, unless it is EF_BAD.
+ * Report errors to stderr.
+ * Messages assume FP starts in the file FILE at line *PLNO.
+ * Update *PLNO to reflect lines read from FP.
+ * Return table type on success, -2 on EOF before header, -1 on failure.
+ */
+int
+xundump(FILE *fp, char *file, int *plno, int expected_table)
+{
+    struct castr *ca;
+    int type, nca, nf, i, ch;
+
+    fname = file;
+    lineno = *plno;
+
+    if ((type = xuheader(fp, expected_table)) < 0)
+       return type;
+
+    ca = ef_cadef(type);
+    if (CANT_HAPPEN(!ca))
+       return -1;
+
+    nca = nf = 0;
+    for (i = 0; ca[i].ca_name; i++) {
+       nca++;
+       if (!(ca[i].ca_flags & NSC_EXTRA))
+           nf += MAX(1, ca[i].ca_type != NSC_STRINGY ? ca[i].ca_len : 0);
+    }
+    fldca = malloc(nf * sizeof(*fldca));
+    fldidx = malloc(nf * sizeof(*fldidx));
+    caflds = malloc(nca * sizeof(*caflds));
+    cafldspp = calloc(nca, sizeof(*cafldspp));
+    cur_type = type;
+
+    if (xutail(fp, ca) < 0)
+       type = EF_BAD;
+
+    free(cafldspp);
+    free(caflds);
+    free(fldidx);
+    free(fldca);
+
+    /* Skip empty lines so that callers can easily check for EOF */
+    while ((ch = skipfs(fp)) == '\n')
+       lineno++;
+    ungetc(ch, fp);
+
+    *plno = lineno;
+    return type;
+}
+
+/*
+ * Read the remainder of an xdump after the table header line from FP.
+ * CA[] contains the table's selectors.
+ * Return 0 on success, -1 on failure.
+ */
+static int
+xutail(FILE *fp, struct castr *ca)
+{
+    int recs;
+
+    is_partial = 0;
+    for (;;) {
+       if (xufldhdr(fp, ca) < 0)
+           return -1;
+       if ((recs = xubody(fp)) < 0)
+           return -1;
+       if (xufooter(fp, ca, recs) < 0)
+           return -1;
+       if (!ellipsis)
+           return 0;
+       if (xuheader(fp, cur_type) < 0)
+           return -1;
+    }
+}
+
+/*
+ * Read the body of an xdump table from FP.
+ * Return number of rows read on success, -1 on failure.
+ */
+static int
+xubody(FILE *fp)
+{
+    struct empfile *ep = &empfile[cur_type];
+    int i, maxid, ch;
+
+    maxid = 0;
+    for (i = 0;; ++i) {
+       while ((ch = skipfs(fp)) == '\n')
+           lineno++;
+       if (ch == '/')
+           break;
+       ungetc(ch, fp);
+       cur_obj = NULL;
+       cur_id = i;
+       if (xuflds(fp, xufld) < 0)
+           return -1;
+       maxid = MAX(maxid, cur_id + 1);
+    }
+
+    if (CANT_HAPPEN(maxid > ep->fids))
+       maxid = ep->fids;
+    if (maxid < ep->fids) {
+       if (EF_IS_GAME_STATE(cur_type)
+           || (cur_type >= EF_SHIP_CHR && cur_type <= EF_NUKE_CHR))
+           ef_truncate(cur_type, maxid);
+       else
+           return gripe("Table %s requires %d rows, got %d",
+                        ef_nameof(cur_type), ep->fids, maxid);
+    }
+
+    return i;
+}