A lot of things changed in the expressions
[phpeclipse.git] / net.sourceforge.phpeclipse / src / test / PHPParser.jj
index ac77fff..af9d369 100644 (file)
@@ -29,7 +29,6 @@ import org.eclipse.ui.texteditor.MarkerUtilities;
 import org.eclipse.jface.preference.IPreferenceStore;
 
 import java.util.Hashtable;
-import java.util.Enumeration;
 import java.util.ArrayList;
 import java.io.StringReader;
 import java.io.*;
@@ -39,6 +38,7 @@ import net.sourceforge.phpeclipse.actions.PHPStartApacheAction;
 import net.sourceforge.phpeclipse.PHPeclipsePlugin;
 import net.sourceforge.phpdt.internal.compiler.ast.*;
 import net.sourceforge.phpdt.internal.compiler.parser.OutlineableWithChildren;
+import net.sourceforge.phpdt.internal.compiler.parser.Outlineable;
 import net.sourceforge.phpdt.internal.compiler.parser.PHPOutlineInfo;
 
 /**
@@ -47,6 +47,7 @@ import net.sourceforge.phpdt.internal.compiler.parser.PHPOutlineInfo;
  * given with JavaCC. You can get JavaCC at http://www.webgain.com
  * You can test the parser with the PHPParserTestCase2.java
  * @author Matthieu Casanova
+ * @version $Reference: 1.0$
  */
 public final class PHPParser extends PHPParserSuperclass {
 
@@ -60,8 +61,6 @@ public final class PHPParser extends PHPParserSuperclass {
   private static final String PARSE_WARNING_STRING = "Warning"; //$NON-NLS-1$
   static PHPOutlineInfo outlineInfo;
 
-  private static boolean assigning;
-
   /** The error level of the current ParseException. */
   private static int errorLevel = ERROR;
   /** The message of the current ParseException. If it's null it's because the parse exception wasn't handled */
@@ -70,6 +69,8 @@ public final class PHPParser extends PHPParserSuperclass {
   private static int errorStart = -1;
   private static int errorEnd = -1;
   private static PHPDocument phpDocument;
+
+  private static final char[] SYNTAX_ERROR_CHAR = {'s','y','n','t','a','x',' ','e','r','r','o','r'};
   /**
    * The point where html starts.
    * It will be used by the token manager to create HTMLCode objects
@@ -108,12 +109,12 @@ public final class PHPParser extends PHPParserSuperclass {
    * Add an php node on the stack.
    * @param node the node that will be added to the stack
    */
-  private static final void pushOnAstNodes(AstNode node) {
+  private static final void pushOnAstNodes(final AstNode node) {
     try {
       nodes[++nodePtr] = node;
     } catch (IndexOutOfBoundsException e) {
-      int oldStackLength = nodes.length;
-      AstNode[] oldStack = nodes;
+      final int oldStackLength = nodes.length;
+      final AstNode[] oldStack = nodes;
       nodes = new AstNode[oldStackLength + AstStackIncrement];
       System.arraycopy(oldStack, 0, nodes, 0, oldStackLength);
       nodePtr = oldStackLength;
@@ -158,6 +159,7 @@ public final class PHPParser extends PHPParserSuperclass {
     }
     setMarker(e);
     errorMessage = null;
+    if (PHPeclipsePlugin.DEBUG) PHPeclipsePlugin.log(e);
   }
 
   /**
@@ -188,31 +190,6 @@ public final class PHPParser extends PHPParserSuperclass {
     }
   }
 
-  /**
-   * Create markers according to the external parser output
-   */
-  private static void createMarkers(final String output, final IFile file) throws CoreException {
-    // delete all markers
-    file.deleteMarkers(IMarker.PROBLEM, false, 0);
-
-    int indx = 0;
-    int brIndx;
-    boolean flag = true;
-    while ((brIndx = output.indexOf("<br />", indx)) != -1) {
-      // newer php error output (tested with 4.2.3)
-      scanLine(output, file, indx, brIndx);
-      indx = brIndx + 6;
-      flag = false;
-    }
-    if (flag) {
-      while ((brIndx = output.indexOf("<br>", indx)) != -1) {
-        // older php error output (tested with 4.2.3)
-        scanLine(output, file, indx, brIndx);
-        indx = brIndx + 4;
-      }
-    }
-  }
-
   private static void scanLine(final String output,
                                final IFile file,
                                final int indx,
@@ -295,13 +272,32 @@ public final class PHPParser extends PHPParserSuperclass {
    */
   public static final void createNewHTMLCode() {
     final int currentPosition = SimpleCharStream.getPosition();
-    if (currentPosition == htmlStart) {
+    if (currentPosition == htmlStart || currentPosition > SimpleCharStream.currentBuffer.length()) {
       return;
     }
     final char[] chars = SimpleCharStream.currentBuffer.substring(htmlStart,currentPosition+1).toCharArray();
     pushOnAstNodes(new HTMLCode(chars, htmlStart,currentPosition));
   }
 
+  /**
+   * Create a new task.
+   */
+  public static final void createNewTask() {
+    final int currentPosition = SimpleCharStream.getPosition();
+    final String  todo = SimpleCharStream.currentBuffer.substring(currentPosition+1,
+                                                                  SimpleCharStream.currentBuffer.indexOf("\n",
+                                                                                                         currentPosition)-1);
+    try {
+      setMarker(fileToParse,
+                "todo : " + todo,
+                SimpleCharStream.getBeginLine(),
+                TASK,
+                "Line "+SimpleCharStream.getBeginLine());
+    } catch (CoreException e) {
+      PHPeclipsePlugin.log(e);
+    }
+  }
+
   private static final void parse() throws ParseException {
          phpFile();
   }
@@ -342,34 +338,30 @@ PARSER_END(PHPParser)
 <PHPPARSING> SPECIAL_TOKEN :
 {
   "//" : IN_SINGLE_LINE_COMMENT
-|
-  "#"  : IN_SINGLE_LINE_COMMENT
-|
-  <"/**" ~["/"]> { input_stream.backup(1); } : IN_FORMAL_COMMENT
-|
-  "/*" : IN_MULTI_LINE_COMMENT
+| "#"  : IN_SINGLE_LINE_COMMENT
+| <"/**" ~["/"]> { input_stream.backup(1); } : IN_FORMAL_COMMENT
+| "/*" : IN_MULTI_LINE_COMMENT
 }
 
 <IN_SINGLE_LINE_COMMENT> SPECIAL_TOKEN :
 {
   <SINGLE_LINE_COMMENT: "\n" | "\r" | "\r\n" > : PHPPARSING
+| "?>" : DEFAULT
 }
 
-<IN_SINGLE_LINE_COMMENT> SPECIAL_TOKEN :
+<IN_SINGLE_LINE_COMMENT,IN_FORMAL_COMMENT,IN_MULTI_LINE_COMMENT> SPECIAL_TOKEN :
 {
-  <SINGLE_LINE_COMMENT_PHPEND : "?>" > : DEFAULT
+ "todo" {PHPParser.createNewTask();}
 }
 
-<IN_FORMAL_COMMENT>
-SPECIAL_TOKEN :
+<IN_FORMAL_COMMENT> SPECIAL_TOKEN :
 {
-  <FORMAL_COMMENT: "*/" > : PHPPARSING
+  "*/" : PHPPARSING
 }
 
-<IN_MULTI_LINE_COMMENT>
-SPECIAL_TOKEN :
+<IN_MULTI_LINE_COMMENT> SPECIAL_TOKEN :
 {
-  <MULTI_LINE_COMMENT: "*/" > : PHPPARSING
+  "*/" : PHPPARSING
 }
 
 <IN_SINGLE_LINE_COMMENT,IN_FORMAL_COMMENT,IN_MULTI_LINE_COMMENT>
@@ -402,6 +394,7 @@ MORE :
 | <INCLUDE_ONCE       : "include_once">
 | <REQUIRE_ONCE       : "require_once">
 | <GLOBAL             : "global">
+| <DEFINE             : "define">
 | <STATIC             : "static">
 | <CLASSACCESS        : "->">
 | <STATICCLASSACCESS  : "::">
@@ -467,8 +460,8 @@ MORE :
 {
   <OR_OR              : "||">
 | <AND_AND            : "&&">
-| <INCR               : "++">
-| <DECR               : "--">
+| <PLUS_PLUS          : "++">
+| <MINUS_MINUS        : "--">
 | <PLUS               : "+">
 | <MINUS              : "-">
 | <STAR               : "*">
@@ -509,39 +502,16 @@ MORE :
   <#EXPONENT: ["e","E"] (["+","-"])? (["0"-"9"])+ >
 |
   <STRING_LITERAL: (<STRING_1> | <STRING_2> | <STRING_3>)>
-|    <STRING_1:
-      "\""
-      (
-          ~["\""]
-        | "\\\""
-        | "\\"
-      )*
-      "\""
-    >
-|    <STRING_2:
-      "'"
-      (
-         ~["'"]
-       | "\\'"
-      )*
-
-      "'"
-    >
-|   <STRING_3:
-      "`"
-      (
-        ~["`"]
-      | "\\`"
-      )*
-      "`"
-    >
+|   <STRING_1: "\"" ( ~["\"","\\"] | "\\" ~[] )* "\"">
+|   <STRING_2: "'"  ( ~["'","\\"]  | "\\" ~[] )* "'">
+|   <STRING_3: "`"  ( ~["`","\\"]  | "\\" ~[] )* "`">
 }
 
 /* IDENTIFIERS */
 
 <PHPPARSING> TOKEN :
 {
-  < IDENTIFIER: (<LETTER>|<SPECIAL>) (<LETTER>|<DIGIT>|<SPECIAL>)* >
+  <IDENTIFIER: (<LETTER>|<SPECIAL>) (<LETTER>|<DIGIT>|<SPECIAL>)* >
 |
   < #LETTER:
       ["a"-"z"] | ["A"-"Z"]
@@ -606,7 +576,7 @@ MORE :
 
 <PHPPARSING> TOKEN :
 {
-  < DOLLAR_ID: <DOLLAR> <IDENTIFIER>  >
+  <DOLLAR_ID: <DOLLAR> <IDENTIFIER>>
 }
 
 void phpFile() :
@@ -614,7 +584,7 @@ void phpFile() :
 {
   try {
     (PhpBlock())*
-    <EOF>
+    {PHPParser.createNewHTMLCode();}
   } catch (TokenMgrError e) {
     PHPeclipsePlugin.log(e);
     errorStart   = SimpleCharStream.getPosition();
@@ -633,9 +603,11 @@ void phpFile() :
 void PhpBlock() :
 {
   final int start = SimpleCharStream.getPosition();
+  final PHPEchoBlock phpEchoBlock;
 }
 {
-  phpEchoBlock()
+  phpEchoBlock = phpEchoBlock()
+  {pushOnAstNodes(phpEchoBlock);}
 |
   [   <PHPSTARTLONG>
     | <PHPSTARTSHORT>
@@ -658,7 +630,7 @@ void PhpBlock() :
     errorLevel   = ERROR;
     errorStart = SimpleCharStream.getPosition() - e.currentToken.next.image.length() + 1;
     errorEnd   = SimpleCharStream.getPosition() + 1;
-    throw e;
+    processParseException(e);
   }
 }
 
@@ -666,7 +638,7 @@ PHPEchoBlock phpEchoBlock() :
 {
   final Expression expr;
   final int pos = SimpleCharStream.getPosition();
-  PHPEchoBlock echoBlock;
+  final PHPEchoBlock echoBlock;
 }
 {
   <PHPECHOSTART> expr = Expression() [ <SEMICOLON> ] <PHPEND>
@@ -685,44 +657,48 @@ void Php() :
 ClassDeclaration ClassDeclaration() :
 {
   final ClassDeclaration classDeclaration;
-  final Token className;
-  Token superclassName = null;
+  final Token className,superclassName;
   final int pos;
+  char[] classNameImage = SYNTAX_ERROR_CHAR;
+  char[] superclassNameImage = null;
 }
 {
   <CLASS>
+  {pos = SimpleCharStream.getPosition();}
   try {
-    {pos = SimpleCharStream.getPosition();}
     className = <IDENTIFIER>
+    {classNameImage = className.image.toCharArray();}
   } catch (ParseException e) {
     errorMessage = "unexpected token : '"+ e.currentToken.next.image +"', identifier expected";
     errorLevel   = ERROR;
     errorStart   = SimpleCharStream.getPosition() - e.currentToken.next.image.length() + 1;
     errorEnd     = SimpleCharStream.getPosition() + 1;
-    throw e;
+    processParseException(e);
   }
   [
     <EXTENDS>
     try {
       superclassName = <IDENTIFIER>
+      {superclassNameImage = superclassName.image.toCharArray();}
     } catch (ParseException e) {
       errorMessage = "unexpected token : '"+ e.currentToken.next.image +"', identifier expected";
       errorLevel   = ERROR;
       errorStart = SimpleCharStream.getPosition() - e.currentToken.next.image.length() + 1;
       errorEnd   = SimpleCharStream.getPosition() + 1;
-      throw e;
+      processParseException(e);
+      superclassNameImage = SYNTAX_ERROR_CHAR;
     }
   ]
   {
-    if (superclassName == null) {
+    if (superclassNameImage == null) {
       classDeclaration = new ClassDeclaration(currentSegment,
-                                              className.image.toCharArray(),
+                                              classNameImage,
                                               pos,
                                               0);
     } else {
       classDeclaration = new ClassDeclaration(currentSegment,
-                                              className.image.toCharArray(),
-                                              superclassName.image.toCharArray(),
+                                              classNameImage,
+                                              superclassNameImage,
                                               pos,
                                               0);
     }
@@ -736,7 +712,7 @@ ClassDeclaration ClassDeclaration() :
    return classDeclaration;}
 }
 
-void ClassBody(ClassDeclaration classDeclaration) :
+void ClassBody(final ClassDeclaration classDeclaration) :
 {}
 {
   try {
@@ -763,14 +739,14 @@ void ClassBody(ClassDeclaration classDeclaration) :
 /**
  * A class can contain only methods and fields.
  */
-void ClassBodyDeclaration(ClassDeclaration classDeclaration) :
+void ClassBodyDeclaration(final ClassDeclaration classDeclaration) :
 {
-  MethodDeclaration method;
-  FieldDeclaration field;
+  final MethodDeclaration method;
+  final FieldDeclaration field;
 }
 {
-  method = MethodDeclaration() {method.setParent(classDeclaration);}
-| field = FieldDeclaration()
+  method = MethodDeclaration() {classDeclaration.addMethod(method);}
+| field = FieldDeclaration()   {classDeclaration.addField(field);}
 }
 
 /**
@@ -779,19 +755,17 @@ void ClassBodyDeclaration(ClassDeclaration classDeclaration) :
 FieldDeclaration FieldDeclaration() :
 {
   VariableDeclaration variableDeclaration;
-  VariableDeclaration[] list;
+  final VariableDeclaration[] list;
   final ArrayList arrayList = new ArrayList();
   final int pos = SimpleCharStream.getPosition();
 }
 {
   <VAR> variableDeclaration = VariableDeclarator()
   {arrayList.add(variableDeclaration);
-   outlineInfo.addVariable(new String(variableDeclaration.name));
-   currentSegment.add(variableDeclaration);}
+   outlineInfo.addVariable(new String(variableDeclaration.name));}
   ( <COMMA> variableDeclaration = VariableDeclarator()
       {arrayList.add(variableDeclaration);
-       outlineInfo.addVariable(new String(variableDeclaration.name));
-       currentSegment.add(variableDeclaration);}
+       outlineInfo.addVariable(new String(variableDeclaration.name));}
   )*
   try {
     <SEMICOLON>
@@ -851,23 +825,26 @@ VariableDeclaration VariableDeclarator() :
  */
 String VariableDeclaratorId() :
 {
-  String expr;
-  Expression expression;
-  final StringBuffer buff = new StringBuffer();
+  final String expr;
+  Expression expression = null;
   final int pos = SimpleCharStream.getPosition();
   ConstantIdentifier ex;
 }
 {
   try {
-    expr = Variable()   {buff.append(expr);}
+    expr = Variable()
     ( LOOKAHEAD(2)
       {ex = new ConstantIdentifier(expr.toCharArray(),
                                    pos,
                                    SimpleCharStream.getPosition());}
       expression = VariableSuffix(ex)
-      {buff.append(expression.toStringExpression());}
     )*
-    {return buff.toString();}
+    {
+     if (expression == null) {
+       return expr;
+     }
+     return expression.toStringExpression();
+    }
   } catch (ParseException e) {
     errorMessage = "'$' expected for variable identifier";
     errorLevel   = ERROR;
@@ -877,6 +854,10 @@ String VariableDeclaratorId() :
   }
 }
 
+/**
+ * Return a variablename without the $.
+ * @return a variable name
+ */
 String Variable():
 {
   final StringBuffer buff;
@@ -887,7 +868,7 @@ String Variable():
 {
   token = <DOLLAR_ID> [<LBRACE> expression = Expression() <RBRACE>]
   {
-    if (expression == null && !assigning) {
+    if (expression == null) {
       return token.image.substring(1);
     }
     buff = new StringBuffer(token.image);
@@ -898,13 +879,17 @@ String Variable():
   }
 |
   <DOLLAR> expr = VariableName()
-  {return "$" + expr;}
+  {return expr;}
 }
 
+/**
+ * A Variable name (without the $)
+ * @return a variable name String
+ */
 String VariableName():
 {
   final StringBuffer buff;
-  String expr = null;
+  final String expr;
   Expression expression = null;
   final Token token;
 }
@@ -970,7 +955,7 @@ Expression VariableInitializer() :
 
 ArrayVariableDeclaration ArrayVariable() :
 {
-Expression expr,expr2;
+final Expression expr,expr2;
 }
 {
   expr = Expression()
@@ -995,7 +980,7 @@ ArrayVariableDeclaration[] ArrayInitializer() :
            [<COMMA> {list.add(null);}]
   <RPAREN>
   {
-  ArrayVariableDeclaration[] vars = new ArrayVariableDeclaration[list.size()];
+  final ArrayVariableDeclaration[] vars = new ArrayVariableDeclaration[list.size()];
   list.toArray(vars);
   return vars;}
 }
@@ -1008,6 +993,7 @@ MethodDeclaration MethodDeclaration() :
 {
   final MethodDeclaration functionDeclaration;
   final Block block;
+  final OutlineableWithChildren seg = currentSegment;
 }
 {
   <FUNCTION>
@@ -1022,20 +1008,11 @@ MethodDeclaration MethodDeclaration() :
     errorEnd   = SimpleCharStream.getPosition() + 1;
     throw e;
   }
-  {
-    if (currentSegment != null) {
-      currentSegment.add(functionDeclaration);
-      currentSegment = functionDeclaration;
-    }
-  }
+  {currentSegment = functionDeclaration;}
   block = Block()
-  {
-    functionDeclaration.statements = block.statements;
-    if (currentSegment != null) {
-      currentSegment = (OutlineableWithChildren) currentSegment.getParent();
-    }
-    return functionDeclaration;
-  }
+  {functionDeclaration.statements = block.statements;
+   currentSegment = seg;
+   return functionDeclaration;}
 }
 
 /**
@@ -1049,16 +1026,27 @@ MethodDeclaration MethodDeclarator() :
   Token reference = null;
   final Hashtable formalParameters;
   final int pos = SimpleCharStream.getPosition();
+  char[] identifierChar = SYNTAX_ERROR_CHAR;
 }
 {
-  [reference = <BIT_AND>] identifier = <IDENTIFIER>
+  [reference = <BIT_AND>]
+  try {
+    identifier = <IDENTIFIER>
+    {identifierChar = identifier.image.toCharArray();}
+  } catch (ParseException e) {
+    errorMessage = "unexpected token : '"+ e.currentToken.next.image +"', function identifier expected";
+    errorLevel   = ERROR;
+    errorStart = SimpleCharStream.getPosition() - e.currentToken.next.image.length() + 1;
+    errorEnd   = SimpleCharStream.getPosition() + 1;
+    processParseException(e);
+  }
   formalParameters = FormalParameters()
   {return new MethodDeclaration(currentSegment,
-                                 identifier.image.toCharArray(),
-                                 formalParameters,
-                                 reference != null,
-                                 pos,
-                                 SimpleCharStream.getPosition());}
+                                identifierChar,
+                                formalParameters,
+                                reference != null,
+                                pos,
+                                SimpleCharStream.getPosition());}
 }
 
 /**
@@ -1078,7 +1066,7 @@ Hashtable FormalParameters() :
     errorLevel   = ERROR;
     errorStart = SimpleCharStream.getPosition() - e.currentToken.next.image.length() + 1;
     errorEnd   = SimpleCharStream.getPosition() + 1;
-    throw e;
+    processParseException(e);
   }
             [ var = FormalParameter()
               {parameters.put(new String(var.name),var);}
@@ -1094,7 +1082,7 @@ Hashtable FormalParameters() :
     errorLevel   = ERROR;
     errorStart = SimpleCharStream.getPosition() - e.currentToken.next.image.length() + 1;
     errorEnd   = SimpleCharStream.getPosition() + 1;
-    throw e;
+    processParseException(e);
   }
  {return parameters;}
 }
@@ -1143,48 +1131,47 @@ ConstantIdentifier Type() :
 Expression Expression() :
 {
   final Expression expr;
+  Expression initializer = null;
+  int assignOperator = -1;
+  final int pos = SimpleCharStream.getPosition();
 }
 {
-  expr = PrintExpression()       {return expr;}
-| expr = ListExpression()        {return expr;}
-| LOOKAHEAD(varAssignation())
-  expr = varAssignation()        {return expr;}
-| expr = ConditionalExpression() {return expr;}
+  LOOKAHEAD(2)
+  expr = ConditionalExpression() [ assignOperator = AssignmentOperator() initializer = Expression() ]
+  {
+    if (assignOperator == -1) return expr;
+    return new VarAssignation(expr,
+                               initializer,
+                               assignOperator,
+                               pos,
+                               SimpleCharStream.getPosition());
+  return expr;}
+| expr = ExpressionWBang()       {return expr;}
 }
 
-/**
- * A Variable assignation.
- * varName (an assign operator) any expression
- */
-VarAssignation varAssignation() :
+Expression ExpressionWBang() :
 {
-  String varName;
-  final Expression expression;
-  final int assignOperator;
+  final Expression expr;
   final int pos = SimpleCharStream.getPosition();
 }
 {
-  varName = VariableDeclaratorId()
-  assignOperator = AssignmentOperator()
-    try {
-      expression = Expression()
-    } catch (ParseException e) {
-      if (errorMessage != null) {
-        throw e;
-      }
-      errorMessage = "expression expected";
-      errorLevel   = ERROR;
-      errorStart = SimpleCharStream.getPosition() - e.currentToken.next.image.length() + 1;
-      errorEnd   = SimpleCharStream.getPosition() + 1;
-      throw e;
-    }
-    {return new VarAssignation(varName.toCharArray(),
-                               expression,
-                               assignOperator,
-                               pos,
-                               SimpleCharStream.getPosition());}
+  <BANG> expr = ExpressionWBang() {return new PrefixedUnaryExpression(expr,OperatorIds.NOT,pos);}
+| expr = ExpressionNoBang() {return expr;}
+}
+
+Expression ExpressionNoBang() :
+{
+  final Expression expr;
+}
+{
+  expr = PrintExpression()       {return expr;}
+| expr = ListExpression()        {return expr;}
 }
 
+/**
+ * Any assignement operator.
+ * @return the assignement operator id
+ */
 int AssignmentOperator() :
 {}
 {
@@ -1419,7 +1406,7 @@ Expression MultiplicativeExpression() :
  */
 Expression UnaryExpression() :
 {
-  Expression expr;
+  final Expression expr;
   final int pos = SimpleCharStream.getPosition();
 }
 {
@@ -1431,7 +1418,7 @@ Expression UnaryExpression() :
 
 Expression AtUnaryExpression() :
 {
-  Expression expr;
+  final Expression expr;
   final int pos = SimpleCharStream.getPosition();
 }
 {
@@ -1446,8 +1433,8 @@ Expression AtUnaryExpression() :
 
 Expression UnaryExpressionNoPrefix() :
 {
-  Expression expr;
-  int operator;
+  final Expression expr;
+  final int operator;
   final int pos = SimpleCharStream.getPosition();
 }
 {
@@ -1471,21 +1458,21 @@ final int operator;
   final int pos = SimpleCharStream.getPosition();
 }
 {
-  (  <INCR> {operator = OperatorIds.PLUS_PLUS;}
-   | <DECR> {operator = OperatorIds.MINUS_MINUS;})
+  (  <PLUS_PLUS> {operator = OperatorIds.PLUS_PLUS;}
+   | <MINUS_MINUS> {operator = OperatorIds.MINUS_MINUS;})
    expr = PrimaryExpression()
   {return new PrefixedUnaryExpression(expr,operator,pos);}
 }
 
 Expression UnaryExpressionNotPlusMinus() :
 {
-  Expression expr;
+  final Expression expr;
   final int pos = SimpleCharStream.getPosition();
 }
 {
-  <BANG> expr = UnaryExpression() {return new PrefixedUnaryExpression(expr,OperatorIds.NOT,pos);}
-| LOOKAHEAD( <LPAREN> (Type() | <ARRAY>) <RPAREN> )
+  LOOKAHEAD( <LPAREN> (Type() | <ARRAY>) <RPAREN> )
   expr = CastExpression()         {return expr;}
+| <BANG> expr = UnaryExpression() {return new PrefixedUnaryExpression(expr,OperatorIds.NOT,pos);}
 | expr = PostfixExpression()      {return expr;}
 | expr = Literal()                {return expr;}
 | <LPAREN> expr = Expression()
@@ -1517,14 +1504,14 @@ final int pos = SimpleCharStream.getPosition();
 
 Expression PostfixExpression() :
 {
-  Expression expr;
+  final Expression expr;
   int operator = -1;
   final int pos = SimpleCharStream.getPosition();
 }
 {
   expr = PrimaryExpression()
-  [ <INCR> {operator = OperatorIds.PLUS_PLUS;}
-  | <DECR> {operator = OperatorIds.MINUS_MINUS;}]
+  [ <PLUS_PLUS> {operator = OperatorIds.PLUS_PLUS;}
+  | <MINUS_MINUS> {operator = OperatorIds.MINUS_MINUS;}]
   {
     if (operator == -1) {
       return expr;
@@ -1540,34 +1527,16 @@ Expression PrimaryExpression() :
   final int pos = SimpleCharStream.getPosition();
 }
 {
-  LOOKAHEAD(2)
-  identifier = <IDENTIFIER> <STATICCLASSACCESS> expr = ClassIdentifier()
-  {expr = new ClassAccess(new ConstantIdentifier(identifier.image.toCharArray(),
-                                                 pos,
-                                                 SimpleCharStream.getPosition()),
-                          expr,
-                          ClassAccess.STATIC);}
-  (expr = PrimarySuffix(expr))*
-  {return expr;}
-|
   expr = PrimaryPrefix()
-  (expr = PrimarySuffix(expr))*
+  (
+  LOOKAHEAD(PrimarySuffix())
+  expr = PrimarySuffix(expr))*
   {return expr;}
 |
   expr = ArrayDeclarator()
   {return expr;}
 }
 
-ArrayInitializer ArrayDeclarator() :
-{
-  final ArrayVariableDeclaration[] vars;
-  final int pos = SimpleCharStream.getPosition();
-}
-{
-  <ARRAY> vars = ArrayInitializer()
-  {return new ArrayInitializer(vars,pos,SimpleCharStream.getPosition());}
-}
-
 Expression PrimaryPrefix() :
 {
   final Expression expr;
@@ -1582,9 +1551,40 @@ Expression PrimaryPrefix() :
 | <NEW> expr = ClassIdentifier() {return new PrefixedUnaryExpression(expr,
                                                                      OperatorIds.NEW,
                                                                      pos);}
-| var = VariableDeclaratorId()  {return new ConstantIdentifier(var.toCharArray(),
-                                                               pos,
-                                                               SimpleCharStream.getPosition());}
+| var = VariableDeclaratorId()  {return new VariableDeclaration(currentSegment,
+                                                                var.toCharArray(),
+                                                                pos,
+                                                                SimpleCharStream.getPosition());}
+}
+
+AbstractSuffixExpression PrimarySuffix(final Expression prefix) :
+{
+  final AbstractSuffixExpression suffix;
+  final Expression expr;
+}
+{
+  suffix = Arguments(prefix)      {return suffix;}
+| suffix = VariableSuffix(prefix) {return suffix;}
+| <STATICCLASSACCESS> expr = ClassIdentifier()
+  {suffix = new ClassAccess(prefix,
+                          expr,
+                          ClassAccess.STATIC);
+   return suffix;}
+}
+
+/**
+ * An array declarator.
+ * array(vars)
+ * @return an array
+ */
+ArrayInitializer ArrayDeclarator() :
+{
+  final ArrayVariableDeclaration[] vars;
+  final int pos = SimpleCharStream.getPosition();
+}
+{
+  <ARRAY> vars = ArrayInitializer()
+  {return new ArrayInitializer(vars,pos,SimpleCharStream.getPosition());}
 }
 
 PrefixedUnaryExpression classInstantiation() :
@@ -1613,26 +1613,19 @@ ConstantIdentifier ClassIdentifier():
   final String expr;
   final Token token;
   final int pos = SimpleCharStream.getPosition();
+  final ConstantIdentifier type;
 }
 {
   token = <IDENTIFIER>          {return new ConstantIdentifier(token.image.toCharArray(),
                                                                pos,
                                                                SimpleCharStream.getPosition());}
+| type = Type()          {return type;}
 | expr = VariableDeclaratorId() {return new ConstantIdentifier(expr.toCharArray(),
                                                                pos,
                                                                SimpleCharStream.getPosition());}
 }
 
-AbstractSuffixExpression PrimarySuffix(Expression prefix) :
-{
-  final AbstractSuffixExpression expr;
-}
-{
-  expr = Arguments(prefix)      {return expr;}
-| expr = VariableSuffix(prefix) {return expr;}
-}
-
-AbstractSuffixExpression VariableSuffix(Expression prefix) :
+AbstractSuffixExpression VariableSuffix(final Expression prefix) :
 {
   String expr = null;
   final int pos = SimpleCharStream.getPosition();
@@ -1686,7 +1679,7 @@ Literal Literal() :
                                     return new NullLiteral(pos-4,pos);}
 }
 
-FunctionCall Arguments(Expression func) :
+FunctionCall Arguments(final Expression func) :
 {
 Expression[] args = null;
 }
@@ -1730,7 +1723,7 @@ final ArrayList list = new ArrayList();
       }
    )*
    {
-   Expression[] arguments = new Expression[list.size()];
+   final Expression[] arguments = new Expression[list.size()];
    list.toArray(arguments);
    return arguments;}
 }
@@ -1789,6 +1782,66 @@ Statement StatementNoBreak() :
   return statement;}
 | statement = StaticStatement()         {return statement;}
 | statement = GlobalStatement()         {return statement;}
+| statement = defineStatement()         {currentSegment.add((Outlineable)statement);return statement;}
+}
+
+Define defineStatement() :
+{
+  final int start = SimpleCharStream.getPosition();
+  Expression defineName,defineValue;
+}
+{
+  <DEFINE>
+  try {
+    <LPAREN>
+  } catch (ParseException e) {
+    errorMessage = "unexpected token : '"+ e.currentToken.next.image +"', '(' expected";
+    errorLevel   = ERROR;
+    errorStart   = SimpleCharStream.getPosition() - e.currentToken.next.image.length() + 1;
+    errorEnd     = SimpleCharStream.getPosition() + 1;
+    processParseException(e);
+  }
+  try {
+    defineName = Expression()
+  } catch (ParseException e) {
+    errorMessage = "unexpected token : '"+ e.currentToken.next.image +"', expression expected";
+    errorLevel   = ERROR;
+    errorStart   = SimpleCharStream.getPosition() - e.currentToken.next.image.length() + 1;
+    errorEnd     = SimpleCharStream.getPosition() + 1;
+    throw e;
+  }
+  try {
+    <COMMA>
+  } catch (ParseException e) {
+    errorMessage = "unexpected token : '"+ e.currentToken.next.image +"', ',' expected";
+    errorLevel   = ERROR;
+    errorStart   = SimpleCharStream.getPosition() - e.currentToken.next.image.length() + 1;
+    errorEnd     = SimpleCharStream.getPosition() + 1;
+    processParseException(e);
+  }
+  try {
+    defineValue = Expression()
+  } catch (ParseException e) {
+    errorMessage = "unexpected token : '"+ e.currentToken.next.image +"', expression expected";
+    errorLevel   = ERROR;
+    errorStart   = SimpleCharStream.getPosition() - e.currentToken.next.image.length() + 1;
+    errorEnd     = SimpleCharStream.getPosition() + 1;
+    throw e;
+  }
+  try {
+    <RPAREN>
+  } catch (ParseException e) {
+    errorMessage = "unexpected token : '"+ e.currentToken.next.image +"', ')' expected";
+    errorLevel   = ERROR;
+    errorStart   = SimpleCharStream.getPosition() - e.currentToken.next.image.length() + 1;
+    errorEnd     = SimpleCharStream.getPosition() + 1;
+    processParseException(e);
+  }
+  {return new Define(currentSegment,
+                     defineName,
+                     defineValue,
+                     start,
+                     SimpleCharStream.getPosition());}
 }
 
 /**
@@ -1809,15 +1862,15 @@ Statement Statement() :
 HTMLBlock htmlBlock() :
 {
   final int startIndex = nodePtr;
-  AstNode[] blockNodes;
-  int nbNodes;
+  final AstNode[] blockNodes;
+  final int nbNodes;
 }
 {
   <PHPEND> (phpEchoBlock())*
   try {
     (<PHPSTARTLONG> | <PHPSTARTSHORT>)
   } catch (ParseException e) {
-    errorMessage = "End of file unexpected, '<?php' expected";
+    errorMessage = "unexpected end of file , '<?php' expected";
     errorLevel   = ERROR;
     errorStart   = SimpleCharStream.getPosition();
     errorEnd     = SimpleCharStream.getPosition();
@@ -1888,8 +1941,8 @@ PrintExpression PrintExpression() :
 ListExpression ListExpression() :
 {
   String expr = null;
-  Expression expression = null;
-  ArrayList list = new ArrayList();
+  final Expression expression;
+  final ArrayList list = new ArrayList();
   final int pos = SimpleCharStream.getPosition();
 }
 {
@@ -1918,8 +1971,7 @@ ListExpression ListExpression() :
       errorEnd     = SimpleCharStream.getPosition() + 1;
       throw e;
     }
-    expr = VariableDeclaratorId()
-    {list.add(expr);}
+    [expr = VariableDeclaratorId() {list.add(expr);}]
   )*
   try {
     <RPAREN>
@@ -1932,7 +1984,7 @@ ListExpression ListExpression() :
   }
   [ <ASSIGN> expression = Expression()
     {
-    String[] strings = new String[list.size()];
+    final String[] strings = new String[list.size()];
     list.toArray(strings);
     return new ListExpression(strings,
                               expression,
@@ -1940,7 +1992,7 @@ ListExpression ListExpression() :
                               SimpleCharStream.getPosition());}
   ]
   {
-    String[] strings = new String[list.size()];
+    final String[] strings = new String[list.size()];
     list.toArray(strings);
     return new ListExpression(strings,pos,SimpleCharStream.getPosition());}
 }
@@ -1973,7 +2025,7 @@ EchoStatement EchoStatement() :
       throw e;
     }
   }
-  {Expression[] exprs = new Expression[expressions.size()];
+  {final Expression[] exprs = new Expression[expressions.size()];
    expressions.toArray(exprs);
    return new EchoStatement(exprs,pos);}
 }
@@ -1982,8 +2034,8 @@ GlobalStatement GlobalStatement() :
 {
    final int pos = SimpleCharStream.getPosition();
    String expr;
-   ArrayList vars = new ArrayList();
-   GlobalStatement global;
+   final ArrayList vars = new ArrayList();
+   final GlobalStatement global;
 }
 {
   <GLOBAL>
@@ -1996,7 +2048,7 @@ GlobalStatement GlobalStatement() :
   try {
     <SEMICOLON>
     {
-    String[] strings = new String[vars.size()];
+    final String[] strings = new String[vars.size()];
     vars.toArray(strings);
     global = new GlobalStatement(currentSegment,
                                  strings,
@@ -2025,7 +2077,7 @@ StaticStatement StaticStatement() :
   try {
     <SEMICOLON>
     {
-    String[] strings = new String[vars.size()];
+    final String[] strings = new String[vars.size()];
     vars.toArray(strings);
     return new StaticStatement(strings,
                                 pos,
@@ -2085,7 +2137,7 @@ Block Block() :
     throw e;
   }
   {
-  Statement[] statements = new Statement[list.size()];
+  final Statement[] statements = new Statement[list.size()];
   list.toArray(statements);
   return new Block(statements,pos,SimpleCharStream.getPosition());}
 }
@@ -2095,18 +2147,11 @@ Statement BlockStatement() :
   final Statement statement;
 }
 {
-  try {
   statement = Statement()         {if (phpDocument == currentSegment) pushOnAstNodes(statement);
                                    return statement;}
-  } catch (ParseException e) {
-    errorMessage = "statement expected";
-    errorLevel   = ERROR;
-    errorStart = SimpleCharStream.getPosition() - e.currentToken.next.image.length() + 1;
-    errorEnd   = SimpleCharStream.getPosition() + 1;
-    throw e;
-  }
 | statement = ClassDeclaration()  {return statement;}
 | statement = MethodDeclaration() {if (phpDocument == currentSegment) pushOnAstNodes(statement);
+                                   currentSegment.add((MethodDeclaration) statement);
                                    return statement;}
 }
 
@@ -2120,7 +2165,8 @@ Statement BlockStatementNoBreak() :
 {
   statement = StatementNoBreak()  {return statement;}
 | statement = ClassDeclaration()  {return statement;}
-| statement = MethodDeclaration() {return statement;}
+| statement = MethodDeclaration() {currentSegment.add((MethodDeclaration) statement);
+                                   return statement;}
 }
 
 VariableDeclaration[] LocalVariableDeclaration() :
@@ -2133,7 +2179,7 @@ VariableDeclaration[] LocalVariableDeclaration() :
   {list.add(var);}
   ( <COMMA> var = LocalVariableDeclarator() {list.add(var);})*
   {
-    VariableDeclaration[] vars = new VariableDeclaration[list.size()];
+    final VariableDeclaration[] vars = new VariableDeclaration[list.size()];
     list.toArray(vars);
   return vars;}
 }
@@ -2170,19 +2216,19 @@ EmptyStatement EmptyStatement() :
    return new EmptyStatement(pos-1,pos);}
 }
 
-Statement StatementExpression() :
+Expression StatementExpression() :
 {
-  Expression expr,expr2;
-  int operator;
+  final Expression expr,expr2;
+  final int operator;
 }
 {
   expr = PreIncDecExpression() {return expr;}
 |
   expr = PrimaryExpression()
-  [ <INCR> {return new PostfixedUnaryExpression(expr,
+  [ <PLUS_PLUS> {return new PostfixedUnaryExpression(expr,
                                                 OperatorIds.PLUS_PLUS,
                                                 SimpleCharStream.getPosition());}
-  | <DECR> {return new PostfixedUnaryExpression(expr,
+  | <MINUS_MINUS> {return new PostfixedUnaryExpression(expr,
                                                 OperatorIds.MINUS_MINUS,
                                                 SimpleCharStream.getPosition());}
   | operator = AssignmentOperator() expr2 = Expression()
@@ -2244,7 +2290,7 @@ AbstractCase[] switchStatementBrace() :
   try {
     <RBRACE>
     {
-    AbstractCase[] abcase = new AbstractCase[cases.size()];
+    final AbstractCase[] abcase = new AbstractCase[cases.size()];
     cases.toArray(abcase);
     return abcase;}
   } catch (ParseException e) {
@@ -2290,7 +2336,7 @@ AbstractCase[] switchStatementColon(final int start, final int end) :
   try {
     <SEMICOLON>
     {
-    AbstractCase[] abcase = new AbstractCase[cases.size()];
+    final AbstractCase[] abcase = new AbstractCase[cases.size()];
     cases.toArray(abcase);
     return abcase;}
   } catch (ParseException e) {
@@ -2315,7 +2361,7 @@ AbstractCase switchLabel0() :
   | statement = htmlBlock()             {stmts.add(statement);})*
   [ statement = BreakStatement()        {stmts.add(statement);}]
   {
-  Statement[] stmtsArray = new Statement[stmts.size()];
+  final Statement[] stmtsArray = new Statement[stmts.size()];
   stmts.toArray(stmtsArray);
   if (expr == null) {//it's a default
     return new DefaultCase(stmtsArray,pos,SimpleCharStream.getPosition());
@@ -2391,8 +2437,8 @@ Break BreakStatement() :
 IfStatement IfStatement() :
 {
   final int pos = SimpleCharStream.getPosition();
-  Expression condition;
-  IfStatement ifStatement;
+  final Expression condition;
+  final IfStatement ifStatement;
 }
 {
   <IF> condition = Condition("if") ifStatement = IfStatement0(condition, pos,pos+2)
@@ -2417,28 +2463,28 @@ Expression Condition(final String keyword) :
   condition = Expression()
   try {
      <RPAREN>
-     {return condition;}
   } catch (ParseException e) {
     errorMessage = "')' expected after " + keyword + " keyword";
     errorLevel   = ERROR;
     errorStart = SimpleCharStream.getPosition() - e.currentToken.next.image.length() + 1;
     errorEnd   = SimpleCharStream.getPosition() + 1;
-    throw e;
+    processParseException(e);
   }
+  {return condition;}
 }
 
-IfStatement IfStatement0(Expression condition, final int start,final int end) :
+IfStatement IfStatement0(final Expression condition, final int start,final int end) :
 {
   Statement statement;
-  Statement stmt;
+  final Statement stmt;
   final Statement[] statementsArray;
   ElseIf elseifStatement;
   Else elseStatement = null;
-  ArrayList stmts;
+  final ArrayList stmts;
   final ArrayList elseIfList = new ArrayList();
-  ElseIf[] elseIfs;
+  final ElseIf[] elseIfs;
   int pos = SimpleCharStream.getPosition();
-  int endStatements;
+  final int endStatements;
 }
 {
   <COLON>
@@ -2492,10 +2538,10 @@ IfStatement IfStatement0(Expression condition, final int start,final int end) :
       stmts.toArray(statementsArray);
       return new IfStatement(condition,
                              new Block(statementsArray,pos,endStatements),
-                              elseIfs,
-                              elseStatement,
-                              pos,
-                              SimpleCharStream.getPosition());
+                             elseIfs,
+                             elseStatement,
+                             pos,
+                             SimpleCharStream.getPosition());
     }
     }
 
@@ -2532,7 +2578,7 @@ IfStatement IfStatement0(Expression condition, final int start,final int end) :
 
 ElseIf ElseIfStatementColon() :
 {
-  Expression condition;
+  final Expression condition;
   Statement statement;
   final ArrayList list = new ArrayList();
   final int pos = SimpleCharStream.getPosition();
@@ -2542,7 +2588,7 @@ ElseIf ElseIfStatementColon() :
   <COLON> (  statement = Statement() {list.add(statement);}
            | statement = htmlBlock() {list.add(statement);})*
   {
-  Statement[] stmtsArray = new Statement[list.size()];
+  final Statement[] stmtsArray = new Statement[list.size()];
   list.toArray(stmtsArray);
   return new ElseIf(condition,stmtsArray ,pos,SimpleCharStream.getPosition());}
 }
@@ -2557,22 +2603,22 @@ Else ElseStatementColon() :
   <ELSE> <COLON> (  statement = Statement() {list.add(statement);}
                   | statement = htmlBlock() {list.add(statement);})*
   {
-  Statement[] stmtsArray = new Statement[list.size()];
+  final Statement[] stmtsArray = new Statement[list.size()];
   list.toArray(stmtsArray);
   return new Else(stmtsArray,pos,SimpleCharStream.getPosition());}
 }
 
 ElseIf ElseIfStatement() :
 {
-  Expression condition;
-  Statement statement;
+  final Expression condition;
+  final Statement statement;
   final ArrayList list = new ArrayList();
   final int pos = SimpleCharStream.getPosition();
 }
 {
   <ELSEIF> condition = Condition("elseif") statement = Statement() {list.add(statement);/*todo:do better*/}
   {
-  Statement[] stmtsArray = new Statement[list.size()];
+  final Statement[] stmtsArray = new Statement[list.size()];
   list.toArray(stmtsArray);
   return new ElseIf(condition,stmtsArray,pos,SimpleCharStream.getPosition());}
 }
@@ -2620,7 +2666,7 @@ Statement WhileStatement0(final int start, final int end) :
   try {
     <SEMICOLON>
     {
-    Statement[] stmtsArray = new Statement[stmts.size()];
+    final Statement[] stmtsArray = new Statement[stmts.size()];
     stmts.toArray(stmtsArray);
     return new Block(stmtsArray,pos,SimpleCharStream.getPosition());}
   } catch (ParseException e) {
@@ -2731,9 +2777,9 @@ ForStatement ForStatement() :
 {
 final Token token;
 final int pos = SimpleCharStream.getPosition();
-Statement[] initializations = null;
+Expression[] initializations = null;
 Expression condition = null;
-Statement[] increments = null;
+Expression[] increments = null;
 Statement action;
 final ArrayList list = new ArrayList();
 final int startBlock, endBlock;
@@ -2784,7 +2830,7 @@ final int startBlock, endBlock;
       try {
         <SEMICOLON>
         {
-        Statement[] stmtsArray = new Statement[list.size()];
+        final Statement[] stmtsArray = new Statement[list.size()];
         list.toArray(stmtsArray);
         return new ForStatement(initializations,condition,increments,new Block(stmtsArray,startBlock,endBlock),pos,SimpleCharStream.getPosition());}
       } catch (ParseException e) {
@@ -2797,31 +2843,31 @@ final int startBlock, endBlock;
     )
 }
 
-Statement[] ForInit() :
+Expression[] ForInit() :
 {
-  Statement[] statements;
+  final Expression[] exprs;
 }
 {
   LOOKAHEAD(LocalVariableDeclaration())
-  statements = LocalVariableDeclaration()
-  {return statements;}
+  exprs = LocalVariableDeclaration()
+  {return exprs;}
 |
-  statements = StatementExpressionList()
-  {return statements;}
+  exprs = StatementExpressionList()
+  {return exprs;}
 }
 
-Statement[] StatementExpressionList() :
+Expression[] StatementExpressionList() :
 {
   final ArrayList list = new ArrayList();
-  Statement expr;
+  final Expression expr;
 }
 {
   expr = StatementExpression()   {list.add(expr);}
   (<COMMA> StatementExpression() {list.add(expr);})*
   {
-  Statement[] stmtsArray = new Statement[list.size()];
-  list.toArray(stmtsArray);
-  return stmtsArray;}
+  final Expression[] exprsArray = new Expression[list.size()];
+  list.toArray(exprsArray);
+  return exprsArray;}
 }
 
 Continue ContinueStatement() :