net.sourceforge.phpeclipse/src/net/sourceforge/phpeclipse/phpeditor/php/PHPCodeScanner.java

   1 /**********************************************************************
   2  Copyright (c) 2000, 2002 IBM Corp. and others.
   3  All rights reserved. This program and the accompanying materials
   4  are made available under the terms of the Common Public License v1.0
   5  which accompanies this distribution, and is available at
   6  http://www.eclipse.org/legal/cpl-v10.html
   7
   8  Contributors:
   9  IBM Corporation - Initial implementation
  10  www.phpeclipse.de
  11  **********************************************************************/
  12 package net.sourceforge.phpeclipse.phpeditor.php;
  13
  14 import java.util.ArrayList;
  15 import java.util.List;
  16
  17 import net.sourceforge.phpdt.internal.ui.text.AbstractJavaScanner;
  18 import net.sourceforge.phpdt.ui.text.IColorManager;
  19 import net.sourceforge.phpeclipse.IPreferenceConstants;
  20 import net.sourceforge.phpeclipse.phpeditor.PHPSyntaxRdr;
  21 import net.sourceforge.phpeclipse.phpeditor.util.PHPWhitespaceDetector;
  22 import net.sourceforge.phpeclipse.phpeditor.util.PHPWordDetector;
  23
  24 import org.eclipse.jface.preference.IPreferenceStore;
  25 import org.eclipse.jface.text.rules.ICharacterScanner;
  26 import org.eclipse.jface.text.rules.IRule;
  27 import org.eclipse.jface.text.rules.IToken;
  28 import org.eclipse.jface.text.rules.IWordDetector;
  29 import org.eclipse.jface.text.rules.MultiLineRule;
  30 import org.eclipse.jface.text.rules.Token;
  31 import org.eclipse.jface.text.rules.WhitespaceRule;
  32 import org.eclipse.jface.text.rules.WordRule;
  33
  34 /**
  35  * PHP Code Scanner
  36  */
  37 public class PHPCodeScanner extends AbstractJavaScanner {
  38
  39   /**
  40    * Rule to detect java operators.
  41    *
  42    * @since 3.0
  43    */
  44   protected class OperatorRule implements IRule {
  45
  46     /** Java operators */
  47     private final char[] PHP_OPERATORS = {
  48         ';',
  49         '(',
  50         ')',
  51         '.',
  52         '=',
  53         '/',
  54         '\\',
  55         '+',
  56         '-',
  57         '*',
  58         '[',
  59         ']',
  60         '<',
  61         '>',
  62         ':',
  63         '?',
  64         '!',
  65         ',',
  66         '|',
  67         '&',
  68         '^',
  69         '%',
  70         '~',
  71         '@' };
  72
  73     /** Token to return for this rule */
  74     private final IToken fToken;
  75
  76     /** Token to return for braces */
  77     private final IToken fTokenBraces;
  78
  79     /**
  80      * Creates a new operator rule.
  81      *
  82      * @param token
  83      *          Token to use for this rule
  84      */
  85     public OperatorRule(IToken token, IToken tokenBraces) {
  86       fToken = token;
  87       fTokenBraces = tokenBraces;
  88
  89     }
  90
  91     /**
  92      * Is this character an operator character?
  93      *
  94      * @param character
  95      *          Character to determine whether it is an operator character
  96      * @return <code>true</code> iff the character is an operator, <code>false</code> otherwise.
  97      */
  98     public boolean isOperator(char character) {
  99       for (int index = 0; index < PHP_OPERATORS.length; index++) {
 100         if (PHP_OPERATORS[index] == character)
 101           return true;
 102       }
 103       return false;
 104     }
 105
 106     /*
 107      * @see org.eclipse.jface.text.rules.IRule#evaluate(org.eclipse.jface.text.rules.ICharacterScanner)
 108      */
 109     public IToken evaluate(ICharacterScanner scanner) {
 110
 111       int character = scanner.read();
 112       if (character == '{' || character == '}') {
 113         return fTokenBraces;
 114       }
 115       if (isOperator((char) character)) {
 116         int lastCharacter = character;
 117         character = scanner.read();
 118         if (!isOperator((char) character)) {
 119           scanner.unread();
 120           return fToken;
 121         }
 122         if (checkPHPTag(scanner, lastCharacter, character)) {
 123           return Token.UNDEFINED;
 124         }
 125         do {
 126           lastCharacter = character;
 127           character = scanner.read();
 128           if (checkPHPTag(scanner, lastCharacter, character)) {
 129             return fToken;
 130           }
 131         } while (isOperator((char) character));
 132         scanner.unread();
 133         return fToken;
 134       } else {
 135         scanner.unread();
 136         return Token.UNDEFINED;
 137       }
 138     }
 139
 140     /**
 141      * Check if lastCharacter/character are a PHP start or end token ( &lt;? ... ?&gt; )
 142      *
 143      * @param scanner
 144      * @param lastCharacter
 145      * @param character
 146      * @return
 147      */
 148     private boolean checkPHPTag(ICharacterScanner scanner, int lastCharacter, int character) {
 149       if (lastCharacter == '<' && character == '?') {
 150         scanner.unread();
 151         scanner.unread();
 152         return true;
 153       } else if (lastCharacter == '?' && character == '>') {
 154         scanner.unread();
 155         scanner.unread();
 156         return true;
 157       }
 158       return false;
 159     }
 160   }
 161
 162
 163   protected class AccentStringRule implements IRule {
 164
 165     /** Token to return for this rule */
 166     private final IToken fToken;
 167
 168     public AccentStringRule(IToken token) {
 169       fToken = token;
 170
 171     }
 172
 173     /*
 174      * @see org.eclipse.jface.text.rules.IRule#evaluate(org.eclipse.jface.text.rules.ICharacterScanner)
 175      */
 176     public IToken evaluate(ICharacterScanner scanner) {
 177
 178       int character = scanner.read();
 179
 180       if (character == '`') {
 181
 182         while (character != ICharacterScanner.EOF) {
 183           character = scanner.read();
 184           if (character == '\\') {
 185             character = scanner.read();
 186           } else if (character == '`') {
 187             return fToken;
 188           }
 189         }
 190         scanner.unread();
 191         return Token.UNDEFINED;
 192       } else {
 193         scanner.unread();
 194         return Token.UNDEFINED;
 195       }
 196     }
 197
 198   }
 199
 200   private class PHPWordRule extends WordRule {
 201     private StringBuffer fBuffer = new StringBuffer();
 202
 203     public PHPWordRule(IWordDetector detector) {
 204       super(detector, Token.UNDEFINED);
 205     }
 206
 207     public PHPWordRule(IWordDetector detector, IToken defaultToken) {
 208       super(detector, defaultToken);
 209     }
 210
 211     public IToken evaluate(ICharacterScanner scanner) {
 212       int c = scanner.read();
 213       boolean isVariable = false;
 214       boolean isUnderscore = false;
 215       if (c == '<') {
 216         c = scanner.read();
 217         if (c != '?') {
 218           scanner.unread();
 219           scanner.unread();
 220           return Token.UNDEFINED;
 221         } else {
 222           c = scanner.read();
 223           if (c == '=') { // <?=
 224             return getToken(IPreferenceConstants.PHP_TAG);
 225           }
 226           if (c != 'p' && c != 'P') {
 227             scanner.unread();
 228             return getToken(IPreferenceConstants.PHP_TAG);
 229           } else {
 230             c = scanner.read();
 231             if (c != 'h' && c != 'H') {
 232               scanner.unread();
 233               scanner.unread();
 234               return getToken(IPreferenceConstants.PHP_TAG);
 235             } else {
 236               c = scanner.read();
 237               if (c != 'p' && c != 'P') {
 238                 scanner.unread();
 239                 scanner.unread();
 240                 scanner.unread();
 241                 return getToken(IPreferenceConstants.PHP_TAG);
 242               } else {
 243                 return getToken(IPreferenceConstants.PHP_TAG);
 244               }
 245             }
 246           }
 247         }
 248       }
 249       if (c == '?') {
 250         c = scanner.read();
 251         if (c == '>') {
 252           return getToken(IPreferenceConstants.PHP_TAG);
 253         }
 254         scanner.unread();
 255         scanner.unread();
 256         return Token.UNDEFINED;
 257       }
 258       if (fDetector.isWordStart((char) c)) {
 259         if (c == '$') {
 260           isVariable = true;
 261         }
 262         if (fColumn == UNDEFINED || (fColumn == scanner.getColumn() - 1)) {
 263
 264           fBuffer.setLength(0);
 265           fBuffer.append((char) c);
 266           c = scanner.read();
 267           if (c == '_') {
 268             isUnderscore = true;
 269           }
 270           while (c != ICharacterScanner.EOF && fDetector.isWordPart((char) c)) {
 271                 fBuffer.append((char) c);
 272             c = scanner.read();
 273           }
 274           scanner.unread();
 275
 276           if (isVariable) {
 277                 if (isUnderscore) {
 278                         return getToken(IPreferenceConstants.PHP_VARIABLE_DOLLAR);
 279                 }
 280             return getToken(IPreferenceConstants.PHP_VARIABLE);
 281           }
 282           IToken token = (IToken) fWords.get(fBuffer.toString());
 283           if (token != null)
 284             return token;
 285
 286           if (fDefaultToken.isUndefined())
 287             unreadBuffer(scanner);
 288
 289           return fDefaultToken;
 290         }
 291       }
 292
 293       scanner.unread();
 294       return Token.UNDEFINED;
 295     }
 296   }
 297
 298   //private PHPColorProvider fColorProvider;
 299
 300   private static String[] fgTokenProperties = {
 301       IPreferenceConstants.PHP_MULTILINE_COMMENT,
 302       IPreferenceConstants.PHP_SINGLELINE_COMMENT,
 303       IPreferenceConstants.PHP_TAG,
 304       IPreferenceConstants.PHP_KEYWORD,
 305       IPreferenceConstants.PHP_FUNCTIONNAME,
 306       IPreferenceConstants.PHP_VARIABLE,
 307       IPreferenceConstants.PHP_VARIABLE_DOLLAR,
 308       IPreferenceConstants.PHP_STRING_DQ,
 309       IPreferenceConstants.PHP_STRING_SQ,
 310       IPreferenceConstants.PHP_TYPE,
 311       IPreferenceConstants.PHP_CONSTANT,
 312       IPreferenceConstants.PHP_DEFAULT,
 313       IPreferenceConstants.PHP_OPERATOR,
 314       IPreferenceConstants.PHP_BRACE_OPERATOR,
 315       IPreferenceConstants.PHP_KEYWORD_RETURN };
 316
 317   /**
 318    * Creates a PHP code scanner
 319    */
 320   // public PHPCodeScanner(JavaColorManager provider, IPreferenceStore store) {
 321   public PHPCodeScanner(IColorManager manager, IPreferenceStore store) {
 322     super(manager, store);
 323     initialize();
 324   }
 325
 326   /*
 327    * @see AbstractJavaScanner#getTokenProperties()
 328    */
 329   protected String[] getTokenProperties() {
 330     return fgTokenProperties;
 331   }
 332
 333   /*
 334    * @see AbstractJavaScanner#createRules()
 335    */
 336   protected List createRules() {
 337     List rules = new ArrayList();
 338     Token token = getToken(IPreferenceConstants.PHP_SINGLELINE_COMMENT);
 339     // Add rule for single line comments.
 340     //    rules.add(new EndOfLineRule("//", token)); //$NON-NLS-1$
 341     //    rules.add(new EndOfLineRule("#", token)); //$NON-NLS-1$
 342     // Add rule for strings and character constants.
 343     //    token = getToken(IPreferenceConstants.PHP_STRING_SQ);
 344     //    rules.add(new SingleQuoteStringRule(token));
 345     //    token = getToken(IPreferenceConstants.PHP_STRING_DQ);
 346     //    rules.add(new DoubleQuoteStringRule(token));
 347     rules.add(new AccentStringRule(token));
 348
 349     token = getToken(IPreferenceConstants.PHP_MULTILINE_COMMENT);
 350     rules.add(new MultiLineRule("/*", "*/", token)); //$NON-NLS-2$ //$NON-NLS-1$
 351     // Add generic whitespace rule.
 352     rules.add(new WhitespaceRule(new PHPWhitespaceDetector()));
 353     // Add word rule for keywords, types, and constants.
 354     token = getToken(IPreferenceConstants.PHP_DEFAULT);
 355     PHPWordRule wordRule = new PHPWordRule(new PHPWordDetector(), token);
 356
 357     Token keyword = getToken(IPreferenceConstants.PHP_KEYWORD);
 358     Token functionName = getToken(IPreferenceConstants.PHP_FUNCTIONNAME);
 359     Token type = getToken(IPreferenceConstants.PHP_TYPE);
 360     Token constant = getToken(IPreferenceConstants.PHP_CONSTANT);
 361
 362     ArrayList buffer = PHPSyntaxRdr.getSyntaxData();
 363     //  String strbuffer = null; unused
 364     PHPElement elbuffer = null;
 365     String name;
 366     for (int i = 0; i < buffer.size(); i++) {
 367       //    while ((buffer != null)
 368       //      && (!buffer.isEmpty()
 369       //        && ((elbuffer = (PHPElement) buffer.remove(0)) != null))) {
 370       elbuffer = (PHPElement) buffer.get(i);
 371       if (elbuffer instanceof PHPKeyword) {
 372         name = ((PHPKeyword) elbuffer).getName();
 373         if (!name.equals("return")) {
 374           wordRule.addWord(name, keyword);
 375         }
 376       } else if (elbuffer instanceof PHPFunction) {
 377         wordRule.addWord(((PHPFunction) elbuffer).getName(), functionName);
 378       } else if (elbuffer instanceof PHPType) {
 379         wordRule.addWord(elbuffer.getName(), type);
 380       } else if (elbuffer instanceof PHPConstant) {
 381         wordRule.addWord(elbuffer.getName(), constant);
 382       }
 383     }
 384
 385     // Add word rule for keyword 'return'.
 386     token = getToken(IPreferenceConstants.PHP_KEYWORD_RETURN);
 387     wordRule.addWord("return", token);
 388
 389     //  Add rule for operators and brackets (at the end !)
 390     rules.add(new OperatorRule(getToken(IPreferenceConstants.PHP_OPERATOR), getToken(IPreferenceConstants.PHP_BRACE_OPERATOR)));
 391
 392     rules.add(wordRule);
 393
 394     setDefaultReturnToken(getToken(IPreferenceConstants.PHP_DEFAULT));
 395     return rules;
 396   }
 397 }