Changes:
[phpeclipse.git] / net.sourceforge.phpeclipse / src / net / sourceforge / phpeclipse / builder / IdentifierIndexManager.java
index 365620c..2e76596 100644 (file)
@@ -1,5 +1,6 @@
 package net.sourceforge.phpeclipse.builder;
 
+import java.io.BufferedInputStream;
 import java.io.BufferedReader;
 import java.io.FileNotFoundException;
 import java.io.FileReader;
@@ -8,16 +9,20 @@ import java.io.IOException;
 import java.io.InputStream;
 import java.util.ArrayList;
 import java.util.Collection;
+import java.util.Comparator;
 import java.util.HashMap;
 import java.util.Iterator;
 import java.util.List;
+import java.util.SortedMap;
 import java.util.StringTokenizer;
+import java.util.TreeMap;
 
 import net.sourceforge.phpdt.core.compiler.ITerminalSymbols;
 import net.sourceforge.phpdt.core.compiler.InvalidInputException;
 import net.sourceforge.phpdt.internal.compiler.parser.Scanner;
 import net.sourceforge.phpdt.internal.compiler.parser.SyntaxError;
-import net.sourceforge.phpeclipse.mover.obfuscator.PHPIdentifier;
+import net.sourceforge.phpdt.internal.compiler.util.Util;
+import net.sourceforge.phpeclipse.obfuscator.PHPIdentifier;
 
 import org.eclipse.core.resources.IFile;
 import org.eclipse.core.runtime.CoreException;
@@ -34,13 +39,42 @@ public class IdentifierIndexManager {
     private int fToken;
 
     public LineCreator() {
-      fScanner = new Scanner(false, false);
+      fScanner = new Scanner(true, false);
     }
+
     /**
-     * gets the next token from input
+     * Add the information of the current identifier to the line
+     * 
+     * @param typeOfIdentifier the type of the identifier ('c'lass, 'd'efine, 'f'unction, 'm'ethod, 'v'ariable)
+     * @param identifier current identifier
+     * @param line Buffer for the current index line
+     * @param phpdocOffset the offset of the PHPdoc comment if available
+     * @param phpdocLength the length of the PHPdoc comment if available
      */
-    private void getNextToken() {
+    private void addIdentifierInformation(
+      char typeOfIdentifier,
+      char[] identifier,
+      StringBuffer line,
+      int phpdocOffset,
+      int phpdocLength) {
+
+      line.append('\t');
+      line.append(typeOfIdentifier);
+      line.append(identifier);
+      line.append("\to"); // Offset 
+      line.append(fScanner.getCurrentTokenStartPosition());
+      if (phpdocOffset >= 0) {
+        line.append("\tp"); // phpdoc offset
+        line.append(phpdocOffset);
+        line.append("\tl"); // phpdoc length
+        line.append(phpdocLength);
+      }
 
+    }
+    /**
+     * Get the next token from input
+     */
+    private void getNextToken() {
       try {
         fToken = fScanner.getNextToken();
         if (Scanner.DEBUG) {
@@ -57,19 +91,31 @@ public class IdentifierIndexManager {
       fToken = TokenNameERROR;
     }
 
-    private void parseDeclarations(StringBuffer buf, boolean goBack) {
+    private void parseDeclarations(char[] parent, StringBuffer buf, boolean goBack) {
       char[] ident;
+      char[] classVariable;
       int counter = 0;
+      int phpdocOffset = -1;
+      int phpdocLength = -1;
 
       try {
         while (fToken != TokenNameEOF && fToken != TokenNameERROR) {
+          phpdocOffset = -1;
+          if (fToken == TokenNameCOMMENT_PHPDOC) {
+            phpdocOffset = fScanner.getCurrentTokenStartPosition();
+            phpdocLength = fScanner.getCurrentTokenEndPosition() - fScanner.getCurrentTokenStartPosition() + 1;
+            getNextToken();
+            if (fToken == TokenNameEOF || fToken == TokenNameERROR) {
+              break;
+            }
+          }
           if (fToken == TokenNamevar) {
             getNextToken();
             if (fToken == TokenNameVariable) {
               ident = fScanner.getCurrentIdentifierSource();
-              buf.append("\tv");
-              buf.append(ident);
-
+              classVariable = new char[ident.length - 1];
+              System.arraycopy(ident, 1, classVariable, 0, ident.length - 1);
+              addIdentifierInformation('v', classVariable, buf, phpdocOffset, phpdocLength);
               getNextToken();
             }
           } else if (fToken == TokenNamefunction) {
@@ -79,24 +125,33 @@ public class IdentifierIndexManager {
             }
             if (fToken == TokenNameIdentifier) {
               ident = fScanner.getCurrentIdentifierSource();
-              buf.append("\tm");
-              buf.append(ident);
+              if (parent != null && equalCharArrays(parent, ident)) {
+                // constructor function
+                addIdentifierInformation('k', ident, buf, phpdocOffset, phpdocLength);
+              } else {
+                if (parent != null) {
+                  // class method function
+                  addIdentifierInformation('m', ident, buf, phpdocOffset, phpdocLength);
+                } else {
+                  // nested function ?!
+                  addIdentifierInformation('f', ident, buf, phpdocOffset, phpdocLength);
+                }
+              }
               getNextToken();
-              parseDeclarations(buf, true);
+              parseDeclarations(null, buf, true);
             }
           } else if (fToken == TokenNameclass) {
             getNextToken();
             if (fToken == TokenNameIdentifier) {
               ident = fScanner.getCurrentIdentifierSource();
-              buf.append("\tc");
-              buf.append(ident);
+              addIdentifierInformation('c', ident, buf, phpdocOffset, phpdocLength);
               getNextToken();
 
               //skip tokens for classname, extends and others until we have the opening '{'
               while (fToken != TokenNameLBRACE && fToken != TokenNameEOF && fToken != TokenNameERROR) {
                 getNextToken();
               }
-              parseDeclarations(buf, true);
+              parseDeclarations(ident, buf, true);
             }
           } else if (fToken == TokenNamedefine) {
             getNextToken();
@@ -104,8 +159,7 @@ public class IdentifierIndexManager {
               getNextToken();
               if (fToken == TokenNameStringLiteral) {
                 ident = fScanner.getCurrentStringLiteralSource();
-                buf.append("\td");
-                buf.append(ident);
+                addIdentifierInformation('d', ident, buf, phpdocOffset, phpdocLength);
                 getNextToken();
               }
             }
@@ -132,6 +186,8 @@ public class IdentifierIndexManager {
       char[] ident;
       String identifier;
       int counter = 0;
+      int phpdocOffset = -1;
+      int phpdocLength = -1;
 
       fScanner.setSource(charArray);
       fScanner.setPHPMode(false);
@@ -140,6 +196,15 @@ public class IdentifierIndexManager {
 
       try {
         while (fToken != TokenNameEOF && fToken != TokenNameERROR) {
+          phpdocOffset = -1;
+          if (fToken == TokenNameCOMMENT_PHPDOC) {
+            phpdocOffset = fScanner.getCurrentTokenStartPosition();
+            phpdocLength = fScanner.getCurrentTokenEndPosition() - fScanner.getCurrentTokenStartPosition() + 1;
+            getNextToken();
+            if (fToken == TokenNameEOF || fToken == TokenNameERROR) {
+              break;
+            }
+          }
           if (fToken == TokenNamefunction) {
             getNextToken();
             if (fToken == TokenNameAND) {
@@ -147,17 +212,15 @@ public class IdentifierIndexManager {
             }
             if (fToken == TokenNameIdentifier) {
               ident = fScanner.getCurrentIdentifierSource();
-              buf.append("\tf");
-              buf.append(ident);
+              addIdentifierInformation('f', ident, buf, phpdocOffset, phpdocLength);
               getNextToken();
-              parseDeclarations(buf, true);
+              parseDeclarations(null, buf, true);
             }
           } else if (fToken == TokenNameclass) {
             getNextToken();
             if (fToken == TokenNameIdentifier) {
               ident = fScanner.getCurrentIdentifierSource();
-              buf.append("\tc");
-              buf.append(ident);
+              addIdentifierInformation('c', ident, buf, phpdocOffset, phpdocLength);
               getNextToken();
 
               //skip fTokens for classname, extends and others until we have the opening '{'
@@ -165,7 +228,7 @@ public class IdentifierIndexManager {
                 getNextToken();
               }
 
-              parseDeclarations(buf, true);
+              parseDeclarations(ident, buf, true);
 
             }
           } else if (fToken == TokenNamedefine) {
@@ -174,8 +237,7 @@ public class IdentifierIndexManager {
               getNextToken();
               if (fToken == TokenNameStringLiteral) {
                 ident = fScanner.getCurrentStringLiteralSource();
-                buf.append("\td");
-                buf.append(ident);
+                addIdentifierInformation('d', ident, buf, phpdocOffset, phpdocLength);
                 getNextToken();
               }
             }
@@ -190,9 +252,22 @@ public class IdentifierIndexManager {
     }
   }
 
+  class StringComparator implements Comparator {
+    public int compare(Object o1, Object o2) {
+      String s1 = (String) o1;
+      String s2 = (String) o2;
+      return s1.compareTo(s2);
+      //       return s1.toUpperCase().compareTo(s2.toUpperCase()); 
+    }
+    public boolean equals(Object o) {
+      String s = (String) o;
+      return compare(this, o) == 0;
+    }
+  }
+
   private HashMap fFileMap;
   private String fFilename;
-  private HashMap fIndentifierMap;
+  private TreeMap fIndentifierMap;
 
   public IdentifierIndexManager(String filename) {
     fFilename = filename;
@@ -201,32 +276,64 @@ public class IdentifierIndexManager {
   }
 
   /**
+   * Check if 2 char arrays are equal
+   * 
+   * @param a
+   * @param b
+   * @return
+   */
+  private static boolean equalCharArrays(char[] a, char[] b) {
+    if (a.length != b.length) {
+      return false;
+    }
+    for (int i = 0; i < b.length; i++) {
+      if (a[i] != b[i]) {
+        return false;
+      }
+    }
+    return true;
+  }
+
+  /**
    * Add the information for a given IFile resource
    *
    */
   public void addFile(IFile fileToParse) {
-    InputStream iStream;
+    //    InputStream iStream;
     LineCreator lineCreator = new LineCreator();
     try {
-      iStream = fileToParse.getContents();
-
-      StringBuffer buf = new StringBuffer();
-      int c0;
+      //      iStream = fileToParse.getContents();
+      //
+      //      StringBuffer buf = new StringBuffer();
+      //      int c0;
+      //      try {
+      //        while ((c0 = iStream.read()) != (-1)) {
+      //          buf.append((char) c0);
+      //        }
+      //      } catch (IOException e) {
+      //        return;
+      //      }
+      InputStream stream = null;
       try {
-        while ((c0 = iStream.read()) != (-1)) {
-          buf.append((char) c0);
+        stream = new BufferedInputStream(fileToParse.getContents());
+
+        StringBuffer lineBuffer = new StringBuffer();
+        lineBuffer.append(fileToParse.getFullPath().toString());
+        int lineLength = lineBuffer.length();
+        // lineCreator.parseIdentifiers(buf.toString().toCharArray(), lineBuffer);
+        lineCreator.parseIdentifiers(Util.getInputStreamAsCharArray(stream, -1, null), lineBuffer);
+        if (lineLength != lineBuffer.length()) {
+          addLine(lineBuffer.toString());
         }
       } catch (IOException e) {
         return;
-      }
-
-      StringBuffer lineBuffer = new StringBuffer();
-      //      lineBuffer.append(fileToParse.getLocation().toString());
-      lineBuffer.append(fileToParse.getFullPath().toString());
-      int lineLength = lineBuffer.length();
-      lineCreator.parseIdentifiers(buf.toString().toCharArray(), lineBuffer);
-      if (lineLength != lineBuffer.length()) {
-        addLine(lineBuffer.toString());
+      } finally {
+        try {
+          if (stream != null) {
+            stream.close();
+          }
+        } catch (IOException e) {
+        }
       }
     } catch (CoreException e1) {
       // TODO Auto-generated catch block
@@ -245,7 +352,8 @@ public class IdentifierIndexManager {
     String token;
     String identifier = null;
     String classname = null;
-    PHPIdentifier phpIdentifier = null;
+    String offset = null;
+    PHPIdentifierLocation phpIdentifier = null;
     boolean tokenExists = false;
 
     tokenizer = new StringTokenizer(line, "\t");
@@ -274,6 +382,10 @@ public class IdentifierIndexManager {
           identifier = token.substring(1);
           phpIdentifier = new PHPIdentifierLocation(identifier, PHPIdentifier.FUNCTION, phpFileName);
           break;
+        case 'k' : // constructor function name
+          identifier = token.substring(1);
+          phpIdentifier = new PHPIdentifierLocation(identifier, PHPIdentifier.CONSTRUCTOR, phpFileName);
+          break;
         case 'm' : //method inside a class
           identifier = token.substring(1);
           phpIdentifier = new PHPIdentifierLocation(identifier, PHPIdentifier.METHOD, phpFileName, classname);
@@ -282,6 +394,27 @@ public class IdentifierIndexManager {
           identifier = token.substring(1);
           phpIdentifier = new PHPIdentifierLocation(identifier, PHPIdentifier.VARIABLE, phpFileName, classname);
           break;
+        case 'o' : // offset information
+          identifier = null;
+          if (phpIdentifier != null) {
+            offset = token.substring(1);
+            phpIdentifier.setOffset(Integer.parseInt(offset));
+          }
+          break;
+        case 'p' : // PHPdoc offset information
+          identifier = null;
+          if (phpIdentifier != null) {
+            offset = token.substring(1);
+            phpIdentifier.setPHPDocOffset(Integer.parseInt(offset));
+          }
+          break;
+        case 'l' : // PHPdoc length information
+          identifier = null;
+          if (phpIdentifier != null) {
+            offset = token.substring(1);
+            phpIdentifier.setPHPDocLength(Integer.parseInt(offset));
+          }
+          break;
         default :
           identifier = null;
           phpIdentifier = null;
@@ -337,7 +470,7 @@ public class IdentifierIndexManager {
    *
    */
   public void initialize() {
-    fIndentifierMap = new HashMap();
+    fIndentifierMap = new TreeMap(new StringComparator());
     fFileMap = new HashMap();
   }
 
@@ -420,6 +553,10 @@ public class IdentifierIndexManager {
           identifier = token.substring(1);
           phpIdentifier = new PHPIdentifierLocation(identifier, PHPIdentifier.FUNCTION, phpFileName);
           break;
+        case 'k' : // constructor function name
+          identifier = token.substring(1);
+          phpIdentifier = new PHPIdentifierLocation(identifier, PHPIdentifier.CONSTRUCTOR, phpFileName);
+          break;
         case 'm' : //method inside a class
           identifier = token.substring(1);
           phpIdentifier = new PHPIdentifierLocation(identifier, PHPIdentifier.METHOD, phpFileName, classname);
@@ -468,9 +605,21 @@ public class IdentifierIndexManager {
         fileWriter.write(line + '\n');
       }
       fileWriter.close();
+    } catch (FileNotFoundException e) {
+      // ignore exception; project is deleted by user
     } catch (IOException e) {
       // TODO Auto-generated catch block
       e.printStackTrace();
     }
   }
+
+  /**
+   * @param fromKey
+   * @param toKey
+   * @return
+   */
+  public SortedMap getIdentifierMap() {
+    return fIndentifierMap;
+  }
+
 }
\ No newline at end of file