]> git.pond.sub.org Git - empserver/blobdiff - src/lib/common/xundump.c
Don't stop checking xdump field headers when join field is missing
[empserver] / src / lib / common / xundump.c
index 28834c2f1741ba270feb1b12c7eee26585a43372..9b17cab1cee12fdb4ca257b778e123d60bd0bcef 100644 (file)
@@ -1,11 +1,11 @@
 /*
  *  Empire - A multi-player, client/server Internet based war game.
- *  Copyright (C) 1986-2007, Dave Pare, Jeff Bailey, Thomas Ruschak,
- *                           Ken Stevens, Steve McClure
+ *  Copyright (C) 1986-2011, Dave Pare, Jeff Bailey, Thomas Ruschak,
+ *                Ken Stevens, Steve McClure, Markus Armbruster
  *
- *  This program is free software; you can redistribute it and/or modify
+ *  Empire is free software: you can redistribute it and/or modify
  *  it under the terms of the GNU General Public License as published by
- *  the Free Software Foundation; either version 2 of the License, or
+ *  the Free Software Foundation, either version 3 of the License, or
  *  (at your option) any later version.
  *
  *  This program is distributed in the hope that it will be useful,
@@ -14,8 +14,7 @@
  *  GNU General Public License for more details.
  *
  *  You should have received a copy of the GNU General Public License
- *  along with this program; if not, write to the Free Software
- *  Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
+ *  along with this program.  If not, see <http://www.gnu.org/licenses/>.
  *
  *  ---
  *
  *  ---
  *
  *  xundump.c: Load back xdump output
- * 
+ *
  *  Known contributors to this file:
  *     Ron Koenderink, 2005
- *     Markus Armbruster, 2005-2007
+ *     Markus Armbruster, 2005-2011
  */
 
 /*
+ * See doc/xdump!  And keep it up-to-date.
+ *
+ * Parsing of machine-readable xdump is not precise: it recognizes
+ * comments, accepts whitespace in place of single space, and accepts
+ * the full human-readable field syntax instead of its machine-
+ * readable subset.
+ *
  * FIXME:
  * - Normalize terminology: table/rows/columns or file/records/fields
  * - Loading tables with NSC_STRING elements more than once leaks memory
  * TODO:
  * - Check each partial table supplies the same rows
  * - Check EFF_CFG tables are dense
- * - Symbolic references to non-symbol tables
  * - Symbolic array indexes
+ * - Option to treat missing and unknown fields as warning, not error
  * TODO, but hardly worth the effort:
  * - Permit reordering of array elements
  */
 #include <ctype.h>
 #include <stdarg.h>
 #include <stdio.h>
+#include <stdlib.h>
+#include <string.h>
 #include <time.h>
 #include "file.h"
 #include "match.h"
 #include "nsc.h"
 #include "optlist.h"
-#include "prototypes.h"
-
-static char *fname;
-static int lineno;
-static int human;
-static int ellipsis, is_partial;
-static int cur_type, cur_id;
-static void *cur_obj;
+#include "xdump.h"
+
+static char *fname;            /* Name of file being read */
+static int lineno;             /* Current line number */
+static int human;              /* Reading human-readable syntax? */
+static int ellipsis;           /* Header ended with ...? */
+static int is_partial;         /* Is input split into parts? */
+static int cur_type;           /* Current table's file type */
+static void *cur_obj;          /* The object being read into */
+static int cur_id;             /* and its index in the table */
 static int cur_obj_is_blank;
-static int nflds;
-static struct castr **fldca;
-static int *fldidx;
+static int nflds;              /* #fields in input records */
+static struct castr **fldca;   /* Map field number to selector */
+static int *fldidx;            /* Map field number to index */
 static int *caflds;            /* Map selector number to #fields seen */
 static int *cafldspp;          /* ditto, in previous parts */
 
@@ -83,6 +93,9 @@ static int add2symset(int, long *, char *);
 static int xubody(FILE *);
 static int xutail(FILE *, struct castr *);
 
+/*
+ * Gripe about the current line to stderr, return -1.
+ */
 static int
 gripe(char *fmt, ...)
 {
@@ -97,6 +110,10 @@ gripe(char *fmt, ...)
     return -1;
 }
 
+/*
+ * Read and ignore field separators from FP.
+ * Return first character that is not a field separator.
+ */
 static int
 skipfs(FILE *fp)
 {
@@ -115,16 +132,10 @@ skipfs(FILE *fp)
     return ch;
 }
 
-static int
-getid(FILE *fp, char *buf)
-{
-    int n;
-    if (fscanf(fp, "%1023[^#()<>=#\" \t\n]%n", buf, &n) != 1
-       || !isalpha(buf[0]))
-       return -1;
-    return n;
-}
-
+/*
+ * Decode escape sequences in BUF.
+ * Return BUF on success, null pointer on failure.
+ */
 static char *
 xuesc(char *buf)
 {
@@ -146,6 +157,29 @@ xuesc(char *buf)
     return buf;
 }
 
+/*
+ * Read an identifier from FP into BUF.
+ * BUF must have space for 1024 characters.
+ * Return number of characters read on success, -1 on failure.
+ */
+static int
+getid(FILE *fp, char *buf)
+{
+    int n;
+    if (fscanf(fp, "%1023[^\"#()<>= \t\n]%n", buf, &n) != 1
+       || !isalpha(buf[0]))
+       return -1;
+    xuesc(buf);
+    return n;
+}
+
+/*
+ * Try to read a field name from FP.
+ * I is the field number, counting from zero.
+ * If a name is read, set fldca[I] and fldidx[I] for it, and update
+ * caflds[].
+ * Return 1 if a name or ... was read, 0 on end of line, -1 on error.
+ */
 static int
 xufldname(FILE *fp, int i)
 {
@@ -202,6 +236,11 @@ xufldname(FILE *fp, int i)
     }
 }
 
+/*
+ * Try to read a field value from FP.
+ * I is the field number, counting from zero.
+ * Return 1 if a value was read, 0 on end of line, -1 on error.
+ */
 static int
 xufld(FILE *fp, int i)
 {
@@ -271,6 +310,11 @@ xufld(FILE *fp, int i)
     }
 }
 
+/*
+ * Read fields from FP.
+ * Use PARSE() to read each field.
+ * Return number of fields read on success, -1 on error.
+ */
 static int
 xuflds(FILE *fp, int (*parse)(FILE *, int))
 {
@@ -290,6 +334,13 @@ xuflds(FILE *fp, int (*parse)(FILE *, int))
     }
 }
 
+/*
+ * Define the FLDNO-th field.
+ * If IDX is negative, define as selector NAME, else as NAME(IDX).
+ * Set fldca[FLDNO] and fldidx[FLDNO] accordingly.
+ * Update caflds[].
+ * Return 1 on success, -1 on error.
+ */
 static int
 deffld(int fldno, char *name, int idx)
 {
@@ -297,10 +348,12 @@ deffld(int fldno, char *name, int idx)
     int res;
 
     res = stmtch(name, ca, offsetof(struct castr, ca_name),
-                    sizeof(struct castr));
+                sizeof(struct castr));
     if (res < 0)
        return gripe("Header %s of field %d is %s", name, fldno + 1,
                     res == M_NOTUNIQUE ? "ambiguous" : "unknown");
+    if (ca[res].ca_flags == NSC_EXTRA || CANT_HAPPEN(ca[res].ca_get))
+       return gripe("Extraneous header %s in field %d", name, fldno + 1);
     if (ca[res].ca_type != NSC_STRINGY && ca[res].ca_len != 0) {
        if (idx < 0)
            return gripe("Header %s requires an index in field %d",
@@ -329,6 +382,11 @@ deffld(int fldno, char *name, int idx)
     return 1;
 }
 
+/*
+ * Record that header ends with ...
+ * Set ellipsis and is_partial.
+ * Return 0 on success, -1 on error.
+ */
 static int
 defellipsis(void)
 {
@@ -340,6 +398,10 @@ defellipsis(void)
     return 0;
 }
 
+/*
+ * Check fields in xdump are sane.
+ * Return 0 on success, -1 on error.
+ */
 static int
 chkflds(void)
 {
@@ -349,12 +411,14 @@ chkflds(void)
     if (is_partial) {
        /* Need a join field, use 0-th selector */
        if (!caflds[0])
-           return gripe("Header field %s required with ...", ca[0].ca_name);
+           res = gripe("Header field %s required in each table part",
+                       ca[0].ca_name);
     }
 
     if (ellipsis)
-       return 0;
+       return res;             /* table is split, another part expected */
 
+    /* Check for missing fields */
     for (i = 0; ca[i].ca_name; i++) {
        cafldsmax = MAX(caflds[i], cafldspp[i]);
        if (ca[i].ca_flags & NSC_EXTRA)
@@ -373,6 +437,11 @@ chkflds(void)
     return res;
 }
 
+/*
+ * Get selector for field FLDNO.
+ * Assign the field's selector index to *IDX, unless it is null.
+ * Return the selector on success, null pointer on error.
+ */
 static struct castr *
 getfld(int fldno, int *idx)
 {
@@ -387,6 +456,9 @@ getfld(int fldno, int *idx)
     return fldca[fldno];
 }
 
+/*
+ * Is a new value for field FLDNO required to match the old one?
+ */
 static int
 fldval_must_match(int fldno)
 {
@@ -402,29 +474,36 @@ fldval_must_match(int fldno)
        || fldidx[fldno] < cafldspp[i];
 }
 
+/*
+ * Get the current object.
+ * Store it in cur_obj, and set cur_obj_is_blank accordingly.
+ * Return cur_obj, which is null on error.
+ */
 static void *
 getobj(void)
 {
     struct empfile *ep = &empfile[cur_type];
-    int need_sentinel = !EF_IS_GAME_STATE(cur_type);
 
     if (!cur_obj) {
        cur_obj_is_blank = cur_id >= ep->fids;
        if (cur_obj_is_blank) {
-           /* TODO grow cache (and posssibly file) unless EFF_STATIC */
-           if (cur_id < ep->csize - !!need_sentinel)
-               ep->cids = ep->fids = cur_id + 1;
-           /* else: ef_ptr() will fail */
-       }
-       cur_obj = ef_ptr(cur_type, cur_id);
-       if (!cur_obj)
-           gripe("Can't put ID %d into table %s, it holds only 0..%d.",
-                 cur_id, ep->name, ep->fids - 1);
+           if (ef_ensure_space(cur_type, cur_id, 1))
+               cur_obj = ef_ptr(cur_type, cur_id);
+           /* FIXME diagnose out of dynamic memory vs. static table full */
+           if (!cur_obj)
+               gripe("Can't put ID %d into table %s, it holds only 0..%d.",
+                     cur_id, ep->name, ep->fids - 1);
+       } else
+           cur_obj = ef_ptr(cur_type, cur_id);
     }
 
     return cur_obj;
 }
 
+/*
+ * Set value of field FLDNO in current object to DBL.
+ * Return 1 on success, -1 on error.
+ */
 static int
 setnum(int fldno, double dbl)
 {
@@ -511,6 +590,10 @@ setnum(int fldno, double dbl)
     return 1;
 }
 
+/*
+ * Set value of field FLDNO in current object to STR.
+ * Return 1 on success, -1 on error.
+ */
 static int
 setstr(int fldno, char *str)
 {
@@ -533,6 +616,7 @@ setstr(int fldno, char *str)
     case NSC_STRING:
        old = ((char **)memb_ptr)[idx];
        if (!must_match)
+           /* FIXME may leak old value */
            ((char **)memb_ptr)[idx] = str ? strdup(str) : NULL;
        len = 65535;            /* really SIZE_MAX, but that's C99 */
        break;
@@ -564,6 +648,11 @@ setstr(int fldno, char *str)
     return 1;
 }
 
+/*
+ * Resolve symbol name ID in table referred to by CA.
+ * Use field number N for error messages.
+ * Return index in referred table on success, -1 on failure.
+ */
 static int
 xunsymbol(char *id, struct castr *ca, int n)
 {
@@ -575,20 +664,26 @@ xunsymbol(char *id, struct castr *ca, int n)
     return i;
 }
 
+/*
+ * Map symbol index to symbol value.
+ * CA is the table, and I is the index in it.
+ */
 static int
 symval(struct castr *ca, int i)
 {
     int type = ca->ca_table;
 
-    if (ef_check(type) < 0)
-       return -1;
-    if (ef_cadef(type) == symbol_ca)
+    if (type != EF_BAD && ef_cadef(type) == symbol_ca)
        /* symbol table, value is in the table */
        return ((struct symbol *)ef_ptr(type, i))->value;
     /* value is the table index */
     return i;
 }
 
+/*
+ * Set value of field FLDNO in current object to value of symbol SYM.
+ * Return 1 on success, -1 on error.
+ */
 static int
 setsym(int fldno, char *sym)
 {
@@ -608,6 +703,10 @@ setsym(int fldno, char *sym)
     return setnum(fldno, symval(ca, i));
 }
 
+/*
+ * Create an empty symbol set for field FLDNO in *SET.
+ * Return 1 on success, -1 on error.
+ */
 static int
 mtsymset(int fldno, long *set)
 {
@@ -624,6 +723,11 @@ mtsymset(int fldno, long *set)
     return 0;
 }
 
+/*
+ * Add a symbol to a symbol set for field FLDNO in *SET.
+ * SYM is the name of the symbol to add.
+ * Return 1 on success, -1 on error.
+ */
 static int
 add2symset(int fldno, long *set, char *sym)
 {
@@ -641,6 +745,13 @@ add2symset(int fldno, long *set, char *sym)
     return 0;
 }
 
+/*
+ * Read an xdump table header line from FP.
+ * Expect header for EXPECTED_TABLE, unless it is EF_BAD.
+ * Recognize header for machine- and human-readable syntax, and set
+ * human accordingly.
+ * Return table type on success, -2 on EOF before header, -1 on failure.
+ */
 static int
 xuheader(FILE *fp, int expected_table)
 {
@@ -657,9 +768,9 @@ xuheader(FILE *fp, int expected_table)
     human = ch == 'c';
     res = -1;
     if ((human
-         ? fscanf(fp, "config%*[ \t]%63[^ \t#\n]%n", name, &res) != 1
-         : fscanf(fp, "XDUMP%*[ \t]%63[^ \t#\n]%*[ \t]%*[^ \t#\n]%n",
-                  name, &res) != 1) || res < 0)
+        ? fscanf(fp, "config%*[ \t]%63[^ \t#\n]%n", name, &res) != 1
+        : fscanf(fp, "XDUMP%*[ \t]%63[^ \t#\n]%*[ \t]%*[^ \t#\n]%n",
+                 name, &res) != 1) || res < 0)
        return gripe("Expected xdump header");
 
     type = ef_byname(name);
@@ -681,6 +792,13 @@ xuheader(FILE *fp, int expected_table)
     return type;
 }
 
+/*
+ * Find fields in this xdump.
+ * If reading human-readable syntax, read a field header line from FP.
+ * Else take fields from the table's selectors in CA[].
+ * Set ellipsis, nflds, fldca[], fldidx[] and caflds[] accordingly.
+ * Return 0 on success, -1 on failure.
+ */
 static int
 xufldhdr(FILE *fp, struct castr ca[])
 {
@@ -721,6 +839,13 @@ xufldhdr(FILE *fp, struct castr ca[])
     return 0;
 }
 
+/*
+ * Read xdump footer from FP.
+ * CA[] contains the table's selectors.
+ * The body had RECS records.
+ * Update cafldspp[] from caflds[].
+ * Return 0 on success, -1 on failure.
+ */
 static int
 xufooter(FILE *fp, struct castr ca[], int recs)
 {
@@ -728,7 +853,7 @@ xufooter(FILE *fp, struct castr ca[], int recs)
 
     res = -1;
     if (human) {
-       if (fscanf(fp, "config%n",  &res) != 0 || res < 0)
+       if (fscanf(fp, "config%n", &res) != 0 || res < 0)
            return gripe("Malformed table footer");
     } else {
        if (fscanf(fp, "%d", &n) != 1)
@@ -749,6 +874,15 @@ xufooter(FILE *fp, struct castr ca[], int recs)
     return 0;
 }
 
+/*
+ * Read an xdump table from FP.
+ * Both machine- and human-readable xdump syntax are recognized.
+ * Expect table EXPECTED_TABLE, unless it is EF_BAD.
+ * Report errors to stderr.
+ * Messages assume FP starts in the file FILE at line *PLNO.
+ * Update *PLNO to reflect lines read from FP.
+ * Return table type on success, -2 on EOF before header, -1 on failure.
+ */
 int
 xundump(FILE *fp, char *file, int *plno, int expected_table)
 {
@@ -794,6 +928,11 @@ xundump(FILE *fp, char *file, int *plno, int expected_table)
     return type;
 }
 
+/*
+ * Read the remainder of an xdump after the table header line from FP.
+ * CA[] contains the table's selectors.
+ * Return 0 on success, -1 on failure.
+ */
 static int
 xutail(FILE *fp, struct castr *ca)
 {
@@ -814,11 +953,14 @@ xutail(FILE *fp, struct castr *ca)
     }
 }
 
+/*
+ * Read the body of an xdump table from FP.
+ * Return number of rows read on success, -1 on failure.
+ */
 static int
 xubody(FILE *fp)
 {
     struct empfile *ep = &empfile[cur_type];
-    int need_sentinel = !EF_IS_GAME_STATE(cur_type);
     int i, maxid, ch;
 
     maxid = 0;
@@ -838,22 +980,13 @@ xubody(FILE *fp)
     if (CANT_HAPPEN(maxid > ep->fids))
        maxid = ep->fids;
     if (maxid < ep->fids) {
-       if (EF_IS_GAME_STATE(cur_type) && maxid != ep->csize)
-           /* TODO truncate file */
-           gripe("Warning: should resize table %s from %d to %d, not implemented",
-                 ef_nameof(cur_type), ep->csize, maxid);
-       else if (cur_type >= EF_SHIP_CHR && cur_type <= EF_NUKE_CHR)
-           ep->cids = ep->fids = maxid;
+       if (EF_IS_GAME_STATE(cur_type)
+           || (cur_type >= EF_SHIP_CHR && cur_type <= EF_NUKE_CHR))
+           ef_truncate(cur_type, maxid);
        else
            return gripe("Table %s requires %d rows, got %d",
                         ef_nameof(cur_type), ep->fids, maxid);
     }
 
-    if (need_sentinel) {
-       if (CANT_HAPPEN(maxid >= ep->csize))
-           return gripe("No space for sentinel");
-       memset(ep->cache + ep->size * maxid, 0, ep->size);
-    }
-
     return i;
 }