Improved xml scanner for this bug
[phpeclipse.git] / net.sourceforge.phpeclipse / src / net / sourceforge / phpeclipse / phpeditor / php / PHPCodeScanner.java
index 8c0d37a..8a50ffd 100644 (file)
@@ -1,35 +1,34 @@
 /**********************************************************************
-Copyright (c) 2000, 2002 IBM Corp. and others.
-All rights reserved. This program and the accompanying materials
-are made available under the terms of the Common Public License v1.0
-which accompanies this distribution, and is available at
-http://www.eclipse.org/legal/cpl-v10.html
-
-Contributors:
-    IBM Corporation - Initial implementation
-    Klaus Hartlage - www.eclipseproject.de
-**********************************************************************/
+ Copyright (c) 2000, 2002 IBM Corp. and others.
+ All rights reserved. This program and the accompanying materials
+ are made available under the terms of the Common Public License v1.0
+ which accompanies this distribution, and is available at
+ http://www.eclipse.org/legal/cpl-v10.html
+
+ Contributors:
+ IBM Corporation - Initial implementation
+ www.phpeclipse.de
+ **********************************************************************/
 package net.sourceforge.phpeclipse.phpeditor.php;
 
 import java.util.ArrayList;
 import java.util.List;
 
+import net.sourceforge.phpdt.internal.ui.text.AbstractJavaScanner;
+import net.sourceforge.phpdt.ui.text.IColorManager;
 import net.sourceforge.phpeclipse.IPreferenceConstants;
-import net.sourceforge.phpeclipse.PHPeclipsePlugin;
-import net.sourceforge.phpeclipse.phpeditor.util.PHPColorProvider;
+import net.sourceforge.phpeclipse.phpeditor.PHPSyntaxRdr;
 import net.sourceforge.phpeclipse.phpeditor.util.PHPWhitespaceDetector;
 import net.sourceforge.phpeclipse.phpeditor.util.PHPWordDetector;
+
 import org.eclipse.jface.preference.IPreferenceStore;
-import org.eclipse.jface.preference.PreferenceConverter;
-import org.eclipse.jface.text.TextAttribute;
+import org.eclipse.jface.text.BadLocationException;
 import org.eclipse.jface.text.rules.EndOfLineRule;
 import org.eclipse.jface.text.rules.ICharacterScanner;
 import org.eclipse.jface.text.rules.IRule;
 import org.eclipse.jface.text.rules.IToken;
 import org.eclipse.jface.text.rules.IWordDetector;
 import org.eclipse.jface.text.rules.MultiLineRule;
-import org.eclipse.jface.text.rules.RuleBasedScanner;
-import org.eclipse.jface.text.rules.SingleLineRule;
 import org.eclipse.jface.text.rules.Token;
 import org.eclipse.jface.text.rules.WhitespaceRule;
 import org.eclipse.jface.text.rules.WordRule;
@@ -37,16 +36,239 @@ import org.eclipse.jface.text.rules.WordRule;
 /**
  * PHP Code Scanner
  */
-public class PHPCodeScanner extends RuleBasedScanner implements IPreferenceConstants {
+public class PHPCodeScanner extends AbstractJavaScanner {
+  
+  /**
+   * Rule to detect java operators.
+   * 
+   * @since 3.0
+   */
+  protected class OperatorRule implements IRule {
+
+    /** Java operators */
+    private final char[] PHP_OPERATORS = {
+        ';',
+        '(',
+        ')',
+        '.',
+        '=',
+        '/',
+        '\\',
+        '+',
+        '-',
+        '*',
+        '[',
+        ']',
+        '<',
+        '>',
+        ':',
+        '?',
+        '!',
+        ',',
+        '|',
+        '&',
+        '^',
+        '%',
+        '~',
+        '@' };
+
+    /** Token to return for this rule */
+    private final IToken fToken;
+
+    /** Token to return for braces */
+    private final IToken fTokenBraces;
+
+    /**
+     * Creates a new operator rule.
+     * 
+     * @param token
+     *          Token to use for this rule
+     */
+    public OperatorRule(IToken token, IToken tokenBraces) {
+      fToken = token;
+      fTokenBraces = tokenBraces;
+
+    }
+
+    /**
+     * Is this character an operator character?
+     * 
+     * @param character
+     *          Character to determine whether it is an operator character
+     * @return <code>true</code> iff the character is an operator, <code>false</code> otherwise.
+     */
+    public boolean isOperator(char character) {
+      for (int index = 0; index < PHP_OPERATORS.length; index++) {
+        if (PHP_OPERATORS[index] == character)
+          return true;
+      }
+      return false;
+    }
+
+    /*
+     * @see org.eclipse.jface.text.rules.IRule#evaluate(org.eclipse.jface.text.rules.ICharacterScanner)
+     */
+    public IToken evaluate(ICharacterScanner scanner) {
+
+      int character = scanner.read();
+      if (character == '{' || character == '}') {
+        return fTokenBraces;
+      }
+      if (isOperator((char) character)) {
+        int lastCharacter = character;
+        character = scanner.read();
+        if (!isOperator((char) character)) {
+          scanner.unread();
+          return fToken;
+        }
+        if (checkPHPTag(scanner, lastCharacter, character)) {
+          return Token.UNDEFINED;
+        }
+        do {
+          lastCharacter = character;
+          character = scanner.read();
+          if (checkPHPTag(scanner, lastCharacter, character)) {
+            return fToken;
+          }
+        } while (isOperator((char) character));
+        scanner.unread();
+        return fToken;
+      } else {
+        scanner.unread();
+        return Token.UNDEFINED;
+      }
+    }
 
-  private static Token variable;
-  private static Token keyword;
-  private static Token functionName;
-  private static Token string;
-  private static Token comment;
-  private static Token multi_comment;
-  private static Token other;
+    /**
+     * Check if lastCharacter/character are a PHP start or end token ( &lt;? ... ?&gt; )
+     * 
+     * @param scanner
+     * @param lastCharacter
+     * @param character
+     * @return
+     */
+    private boolean checkPHPTag(ICharacterScanner scanner, int lastCharacter, int character) {
+      if (lastCharacter == '<' && character == '?') {
+        scanner.unread();
+        scanner.unread();
+        return true;
+      } else if (lastCharacter == '?' && character == '>') {
+        scanner.unread();
+        scanner.unread();
+        return true;
+      }
+      return false;
+    }
+  }
+
+  protected class SingleQuoteStringRule implements IRule {
+
+    /** Token to return for this rule */
+    private final IToken fToken;
+
+    public SingleQuoteStringRule(IToken token) {
+      fToken = token;
+
+    }
+
+    /*
+     * @see org.eclipse.jface.text.rules.IRule#evaluate(org.eclipse.jface.text.rules.ICharacterScanner)
+     */
+    public IToken evaluate(ICharacterScanner scanner) {
+
+      int character = scanner.read();
+
+      if (character=='\'') {
+       
+        while (true) {
+          character = scanner.read();
+          if (character == '\\') {
+            character = scanner.read();
+          } else if (character == '\'') {
+            return fToken;
+          }
+        } 
+        
+      } else {
+        scanner.unread();
+        return Token.UNDEFINED;
+      }
+    }
+
+  }
+  
+  protected class AccentStringRule implements IRule {
+
+    /** Token to return for this rule */
+    private final IToken fToken;
+
+    public AccentStringRule(IToken token) {
+      fToken = token;
+
+    }
+
+    /*
+     * @see org.eclipse.jface.text.rules.IRule#evaluate(org.eclipse.jface.text.rules.ICharacterScanner)
+     */
+    public IToken evaluate(ICharacterScanner scanner) {
 
+      int character = scanner.read();
+
+      if (character=='`') {
+       
+        while (true) {
+          character = scanner.read();
+          if (character == '\\') {
+            character = scanner.read();
+          } else if (character == '`') {
+            return fToken;
+          }
+        } 
+        
+      } else {
+        scanner.unread();
+        return Token.UNDEFINED;
+      }
+    }
+
+  }
+  
+  protected class DoubleQuoteStringRule implements IRule {
+
+    /** Token to return for this rule */
+    private final IToken fToken;
+
+    public DoubleQuoteStringRule(IToken token) {
+      fToken = token;
+
+    }
+
+    /*
+     * @see org.eclipse.jface.text.rules.IRule#evaluate(org.eclipse.jface.text.rules.ICharacterScanner)
+     */
+    public IToken evaluate(ICharacterScanner scanner) {
+
+      int character = scanner.read();
+
+      if (character=='"') {
+       
+        while (true) {
+          character = scanner.read();
+          if (character == '\\') {
+            character = scanner.read();
+          } else if (character == '"') {
+            return fToken;
+          }
+        } 
+        
+      } else {
+        scanner.unread();
+        return Token.UNDEFINED;
+      }
+    }
+
+  }
+  
   private class PHPWordRule extends WordRule {
     private StringBuffer fBuffer = new StringBuffer();
 
@@ -61,6 +283,49 @@ public class PHPCodeScanner extends RuleBasedScanner implements IPreferenceConst
     public IToken evaluate(ICharacterScanner scanner) {
       int c = scanner.read();
       boolean isVariable = false;
+      if (c == '<') {
+        c = scanner.read();
+        if (c != '?') {
+          scanner.unread();
+          scanner.unread();
+          return Token.UNDEFINED;
+        } else {
+          c = scanner.read();
+          if (c == '=') {  // <?=
+            return getToken(IPreferenceConstants.PHP_TAG);
+          }
+          if (c != 'p' && c != 'P') {
+            scanner.unread();
+            return getToken(IPreferenceConstants.PHP_TAG);
+          } else {
+            c = scanner.read();
+            if (c != 'h' && c != 'H') {
+              scanner.unread();
+              scanner.unread();
+              return getToken(IPreferenceConstants.PHP_TAG);
+            } else {
+              c = scanner.read();
+              if (c != 'p' && c != 'P') {
+                scanner.unread();
+                scanner.unread();
+                scanner.unread();
+                return getToken(IPreferenceConstants.PHP_TAG);
+              } else {
+                return getToken(IPreferenceConstants.PHP_TAG);
+              }
+            }
+          }
+        }
+      }
+      if (c == '?') {
+        c = scanner.read();
+        if (c == '>') {
+          return getToken(IPreferenceConstants.PHP_TAG);
+        }
+        scanner.unread();
+        scanner.unread();
+        return Token.UNDEFINED;
+      }
       if (fDetector.isWordStart((char) c)) {
         if (c == '$') {
           isVariable = true;
@@ -75,7 +340,7 @@ public class PHPCodeScanner extends RuleBasedScanner implements IPreferenceConst
           scanner.unread();
 
           if (isVariable) {
-            return variable;
+            return getToken(IPreferenceConstants.PHP_VARIABLE);
           }
           IToken token = (IToken) fWords.get(fBuffer.toString());
           if (token != null)
@@ -93,95 +358,102 @@ public class PHPCodeScanner extends RuleBasedScanner implements IPreferenceConst
     }
   }
 
-  private static String[] fgConstants = { "__LINE__", "__FILE__", "true", "false", "null", "object", "array" };
-  //  private static TextAttribute fSingleLine;
-  //  private static TextAttribute fMultiLine;
-  //  private static TextAttribute fKeyword;
-  //  private static TextAttribute fFunctionName;
-  //  private static TextAttribute fString;
-  //  private static TextAttribute fVariable;
-  private PHPColorProvider fColorProvider;
+  //private PHPColorProvider fColorProvider;
+
+  private static String[] fgTokenProperties = {
+      IPreferenceConstants.PHP_MULTILINE_COMMENT,
+      IPreferenceConstants.PHP_SINGLELINE_COMMENT,
+      IPreferenceConstants.PHP_TAG,
+      IPreferenceConstants.PHP_KEYWORD,
+      IPreferenceConstants.PHP_FUNCTIONNAME,
+      IPreferenceConstants.PHP_VARIABLE,
+      IPreferenceConstants.PHP_STRING_DQ,
+      IPreferenceConstants.PHP_STRING_SQ,
+      IPreferenceConstants.PHP_TYPE,
+      IPreferenceConstants.PHP_CONSTANT,
+      IPreferenceConstants.PHP_DEFAULT,
+      IPreferenceConstants.PHP_OPERATOR,
+      IPreferenceConstants.PHP_BRACE_OPERATOR,
+      IPreferenceConstants.PHP_KEYWORD_RETURN };
 
   /**
    * Creates a PHP code scanner
    */
-  public PHPCodeScanner(PHPColorProvider provider) {
-    final IPreferenceStore store = PHPeclipsePlugin.getDefault().getPreferenceStore();
+  // public PHPCodeScanner(JavaColorManager provider, IPreferenceStore store) {
+  public PHPCodeScanner(IColorManager manager, IPreferenceStore store) {
+    super(manager, store);
+    initialize();
+  }
 
-    variable = new Token(new TextAttribute(provider.getColor(PreferenceConverter.getColor(store, PHP_VARIABLE))));
-    keyword = new Token(new TextAttribute(provider.getColor(PreferenceConverter.getColor(store, PHP_KEYWORD))));
-    functionName = new Token(new TextAttribute(provider.getColor(PreferenceConverter.getColor(store, PHP_FUNCTIONNAME))));
-    string = new Token(new TextAttribute(provider.getColor(PreferenceConverter.getColor(store, PHP_STRING))));
-    comment = new Token(new TextAttribute(provider.getColor(PreferenceConverter.getColor(store, PHP_SINGLELINE_COMMENT))));
-    multi_comment = new Token(new TextAttribute(provider.getColor(PreferenceConverter.getColor(store, PHP_MULTILINE_COMMENT))));
-    other = new Token(new TextAttribute(provider.getColor(PreferenceConverter.getColor(store, PHP_DEFAULT))));
+  /*
+   * @see AbstractJavaScanner#getTokenProperties()
+   */
+  protected String[] getTokenProperties() {
+    return fgTokenProperties;
+  }
 
+  /*
+   * @see AbstractJavaScanner#createRules()
+   */
+  protected List createRules() {
     List rules = new ArrayList();
-
+    Token token = getToken(IPreferenceConstants.PHP_SINGLELINE_COMMENT);
     // Add rule for single line comments.
-    rules.add(new EndOfLineRule("//", comment)); //$NON-NLS-1$
-    rules.add(new EndOfLineRule("#", comment));
-
+    rules.add(new EndOfLineRule("//", token)); //$NON-NLS-1$
+    rules.add(new EndOfLineRule("#", token)); //$NON-NLS-1$
     // Add rule for strings and character constants.
-    rules.add(new MultiLineRule("\"", "\"", string, '\\')); //$NON-NLS-2$ //$NON-NLS-1$
-    rules.add(new SingleLineRule("'", "'", string, '\\')); //$NON-NLS-2$ //$NON-NLS-1$
-
-    // rules.add(new SingleLineRule("//", "//", php_comment));
-    rules.add(new MultiLineRule("/*", "*/", multi_comment));
+//    token = getToken(IPreferenceConstants.PHP_STRING_SQ);
+//    rules.add(new SingleQuoteStringRule(token));
+//    token = getToken(IPreferenceConstants.PHP_STRING_DQ);
+//    rules.add(new DoubleQuoteStringRule(token));
+    rules.add(new AccentStringRule(token));
 
+    token = getToken(IPreferenceConstants.PHP_MULTILINE_COMMENT);
+    rules.add(new MultiLineRule("/*", "*/", token)); //$NON-NLS-2$ //$NON-NLS-1$
     // Add generic whitespace rule.
     rules.add(new WhitespaceRule(new PHPWhitespaceDetector()));
-
     // Add word rule for keywords, types, and constants.
-    PHPWordRule wordRule = new PHPWordRule(new PHPWordDetector(), other);
-//    //choochter-->
-//    for (int i = 0; i < PHPKeywords.PHP_KEYWORS.length; i++)
-//      wordRule.addWord(PHPKeywords.PHP_KEYWORS[i], keyword);
-//
-//    /*Read in the keywords from the XML file*/
-//    PHPSyntaxRdr syntaxRdr = new PHPSyntaxRdr();
-//    syntaxRdr.readFromFile(
-//      "C:\\eclipse\\workspace\\net.sourceforge.phpeclipse\\src\\net\\sourceforge\\phpeclipse\\phpeditor"
-//        + java.io.File.separator
-//        + "syntax.xml");
-//    {
-//      Vector Vbuffer = syntaxRdr.getKeywords();
-//      String VString = null;
-//      //Read keywords
-//      while ((Vbuffer != null) && (!Vbuffer.isEmpty() && ((VString = (String) Vbuffer.remove(0)) != null))) {
-//        wordRule.addWord(VString, keyword);
-//      }
-//      //Read functions  - to be tested
-//      Vbuffer = syntaxRdr.getFunctions();
-//      while ((Vbuffer != null) && (!Vbuffer.isEmpty() && ((VString = (String) Vbuffer.remove(0)) != null))) {
-//        wordRule.addWord(VString, functionName);
-//      }
-//    }
-//    
-//    //for (int i = 0; i < PHPFunctionNames.FUNCTION_NAMES.length; i++)
-//    //  wordRule.addWord(PHPFunctionNames.FUNCTION_NAMES[i], functionName);
-//    //<--choochter
-    for (int i = 0; i < PHPFunctionNames.FUNCTION_NAMES.length; i++)
-      wordRule.addWord(PHPFunctionNames.FUNCTION_NAMES[i], functionName);
-    for (int i = 0; i < fgConstants.length; i++)
-      wordRule.addWord(fgConstants[i], functionName);
-    rules.add(wordRule);
+    token = getToken(IPreferenceConstants.PHP_DEFAULT);
+    PHPWordRule wordRule = new PHPWordRule(new PHPWordDetector(), token);
 
-    IRule[] result = new IRule[rules.size()];
-    rules.toArray(result);
-    setRules(result);
-  }
+    Token keyword = getToken(IPreferenceConstants.PHP_KEYWORD);
+    Token functionName = getToken(IPreferenceConstants.PHP_FUNCTIONNAME);
+    Token type = getToken(IPreferenceConstants.PHP_TYPE);
+    Token constant = getToken(IPreferenceConstants.PHP_CONSTANT);
 
-  public void updateToken(PHPColorProvider provider) {
-    final IPreferenceStore store = PHPeclipsePlugin.getDefault().getPreferenceStore();
+    ArrayList buffer = PHPSyntaxRdr.getSyntaxData();
+    //  String strbuffer = null; unused
+    PHPElement elbuffer = null;
+    String name;
+    for (int i = 0; i < buffer.size(); i++) {
+      //    while ((buffer != null)
+      //      && (!buffer.isEmpty()
+      //        && ((elbuffer = (PHPElement) buffer.remove(0)) != null))) {
+      elbuffer = (PHPElement) buffer.get(i);
+      if (elbuffer instanceof PHPKeyword) {
+        name = ((PHPKeyword) elbuffer).getName();
+        if (!name.equals("return")) {
+          wordRule.addWord(name, keyword);
+        }
+      } else if (elbuffer instanceof PHPFunction) {
+        wordRule.addWord(((PHPFunction) elbuffer).getName(), functionName);
+      } else if (elbuffer instanceof PHPType) {
+        wordRule.addWord(elbuffer.getName(), type);
+      } else if (elbuffer instanceof PHPConstant) {
+        wordRule.addWord(elbuffer.getName(), constant);
+      }
+    }
+
+    // Add word rule for keyword 'return'.
+    token = getToken(IPreferenceConstants.PHP_KEYWORD_RETURN);
+    wordRule.addWord("return", token);
 
-    variable.setData(new TextAttribute(provider.getColor(PreferenceConverter.getColor(store, PHP_VARIABLE))));
-    keyword.setData(new TextAttribute(provider.getColor(PreferenceConverter.getColor(store, PHP_KEYWORD))));
-    functionName.setData(new TextAttribute(provider.getColor(PreferenceConverter.getColor(store, PHP_FUNCTIONNAME))));
-    string.setData(new TextAttribute(provider.getColor(PreferenceConverter.getColor(store, PHP_STRING))));
-    comment.setData(new TextAttribute(provider.getColor(PreferenceConverter.getColor(store, PHP_SINGLELINE_COMMENT))));
-    multi_comment.setData(new TextAttribute(provider.getColor(PreferenceConverter.getColor(store, PHP_MULTILINE_COMMENT))));
-    other.setData(new TextAttribute(provider.getColor(PreferenceConverter.getColor(store, PHP_DEFAULT))));
+    //  Add rule for operators and brackets (at the end !)
+    rules.add(new OperatorRule(getToken(IPreferenceConstants.PHP_OPERATOR), getToken(IPreferenceConstants.PHP_BRACE_OPERATOR)));
+
+    rules.add(wordRule);
 
+    setDefaultReturnToken(getToken(IPreferenceConstants.PHP_DEFAULT));
+    return rules;
   }
-}
+}
\ No newline at end of file