javacc实现简单SQL解析器

于 2025-08-04 22:39:38 发布
阅读量458 收藏 8
点赞数 13
CC 4.0 BY-SA版权
分类专栏： SQLParser解析 文章标签： JavaCC SQL解析 语法树 Java开发
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/cl939974883/article/details/149916158

文章目录

javacc实现简单SQL解析器

前言

博主介绍：✌目前全网粉丝4W+，csdn博客专家、Java领域优质创作者，博客之星、阿里云平台优质作者、专注于Java后端技术领域。

涵盖技术内容：Java后端、大数据、算法、分布式微服务、中间件、前端、运维等。

博主所有博客文件目录索引：博客目录索引(持续更新)

CSDN搜索：长路

视频平台：b站-Coder长路

本章节源码

当前文档配套相关源码地址：

  • gitee：https://gitee.com/changluJava/demo-exer/tree/master/java-sqlparser/demo-javacc/learn-javacc-demo
  • github：https://github.com/changluya/Java-Demos/tree/master/java-sqlparser/demo-javacc/learn-javacc-demo

需求1：实现一个最简单的select sql

要求

支持语法：
select * from table where a=1
select id from table where a=1
select id,name from table where a=2

实现jj文件

options {
    STATIC = false; // 动态生成解析器
}

PARSER_BEGIN(SQLParser)
import java.io.*;
public class SQLParser {
    public static void main(String[] args) throws ParseException, IOException {
        for (String arg : args) {
            Reader reader = new StringReader(arg);
            SQLParser parser = new SQLParser(reader);
            parser.sqlQuery();
            System.out.println("Parsing completed successfully.");
        }
    }
}
PARSER_END(SQLParser)

// 定义词法规则
SKIP : {
    " " | "\t" | "\n" | "\r"  // 跳过空白字符
}

TOKEN : {
    < SELECT: "select" >
    | < FROM: "from" >
    | < WHERE: "where" >
    | < IDENTIFIER: (["a"-"z", "A"-"Z"])+ >
    | < NUMBER: (["0"-"9"])+ >
    | < ASTERISK: "*" >  // 添加对 * 的支持
}

// 定义 SQL 查询的语法规则
void sqlQuery() :
{}
{
    <SELECT>
    ( columnListOrAsterisk() )
    <FROM> tableName()
    [ whereClause() ] <EOF>
    {
        System.out.println("Parsed SQL Query");
    }
}

// 列表规则或 *
void columnListOrAsterisk() :
{}
{
    <ASTERISK> { System.out.println("Column: *"); }
    |
    columnList()
}

// 列表规则
void columnList() :
{}
{
    columnName() ( "," columnName() )*
}

// 单个列名规则
void columnName() :
{}
{
    <IDENTIFIER>
    {
        // 没有定义变量的场景，默认匹配到的单词为token
        System.out.println("Column: " + token.image);
    }
}

// 表名规则
void tableName() :
{}
{
    <IDENTIFIER>
    {
        System.out.println("Table: " + token.image);
    }
}

// WHERE 子句规则
void whereClause() :
{}
{
    <WHERE> condition()
}

// 条件规则
void condition() :
{
   // 如果某个方法中涉及到多个变量获取打印情况，则可以使用如下变量定义
   Token identifierToken, numberToken;
}
{
    // 读取值方式为： 变量名=<token> 匹配相应字符
    identifierToken=<IDENTIFIER> "=" numberToken=<NUMBER>
    {
        System.out.println("Condition: " + identifierToken.image + " = " + numberToken.image);
    }
}

编译测试

javacc demo03.jjt
  
javac SQLParser.java
  
java SQLParser "select id from changlu where a=1"

需求2：理解Token及其他属性

说明

JavaCC生成的SQL解析器中打印出Token的其他属性，你需要访问Token对象的额外信息。默认情况下，JavaCC为每个匹配到的词法单元（token）创建一个Token对象，这个对象不仅包含词法单元的文本内容（即image），还包含了其他有用的信息，如行号（beginLine和endLine）、列号（beginColumn和endColumn）等。

javajj文件

补充打印了token的image、beginLine、endLine、beginColumn、endColumn

options {
    STATIC = false; // 动态生成解析器
}

PARSER_BEGIN(SQLParser)
import java.io.*;
public class SQLParser {
    public static void main(String[] args) throws ParseException, IOException {
        for (String arg : args) {
            Reader reader = new StringReader(arg);
            SQLParser parser = new SQLParser(reader);
            parser.sqlQuery();
            System.out.println("Parsing completed successfully.");
        }
    }
}
PARSER_END(SQLParser)

// 定义词法规则
SKIP : {
    " " | "\t" | "\n" | "\r"  // 跳过空白字符
}

TOKEN : {
    < SELECT: "select" >
    | < FROM: "from" >
    | < WHERE: "where" >
    | < IDENTIFIER: (["a"-"z", "A"-"Z"])+ >
    | < NUMBER: (["0"-"9"])+ >
    | < ASTERISK: "*" >  // 添加对 * 的支持
}

// 定义 SQL 查询的语法规则
void sqlQuery() :
{}
{
    <SELECT>
    ( columnListOrAsterisk() )
    <FROM> tableName()
    [ whereClause() ] <EOF>
    {
        System.out.println("Parsed SQL Query");
    }
}

// 列表规则或 *
void columnListOrAsterisk() :
{}
{
    <ASTERISK> { System.out.println("Column: *"); }
    |
    columnList()
}

// 列表规则
void columnList() :
{}
{
    columnName() ( "," columnName() )*
}

// 单个列名规则
void columnName() :
{}
{
    <IDENTIFIER>
    {
        // 没有定义变量的场景，默认匹配到的单词为token
        Token t = token;
        System.out.println("Column: " + t.image
                           + ", Line: " + t.beginLine + ", end Line：" + t.endLine
                           + ", beginColumn: " + t.beginColumn + ", endColumn：" + t.endColumn);
    }
}

// 表名规则
void tableName() :
{}
{
    <IDENTIFIER>
    {
        // 没有定义变量的场景，默认匹配到的单词为token
        Token t = token;
        System.out.println("Table: " + t.image
                           + ", Line: " + t.beginLine + ", end Line：" + t.endLine
                           + ", beginColumn: " + t.beginColumn + ", endColumn：" + t.endColumn);
    }
}

// WHERE 子句规则
void whereClause() :
{}
{
    <WHERE> condition()
}

// 条件规则
void condition() :
{
   // 如果某个方法中涉及到多个变量获取打印情况，则可以使用如下变量定义
   Token identifierToken, numberToken;
}
{
    // 读取值方式为： 变量名=<token> 匹配相应字符
    identifierToken=<IDENTIFIER> "=" numberToken=<NUMBER>
    {
        System.out.println("Condition: " + identifierToken.image + " = " + numberToken.image);
        System.out.println("identifierToken: " + identifierToken.image
                           + ", Line: " + identifierToken.beginLine + ", end Line：" + identifierToken.endLine
                           + ", beginColumn: " + identifierToken.beginColumn + ", endColumn：" + identifierToken.endColumn);
        System.out.println("numberToken: " + numberToken.image
                           + ", Line: " + numberToken.beginLine + ", end Line：" + numberToken.endLine
                           + ", beginColumn: " + numberToken.beginColumn + ", endColumn：" + numberToken.endColumn);
    }
}

需求3：实现解析得到SQL语法树 & 精确点位

img

能力：解析出语法树，每个字段节点都能够解析到位点。

SqlParser.jjt：

options {
    STATIC = false;
}

PARSER_BEGIN(SQLParser)
import java.io.*;
import java.util.ArrayList;
import java.util.List;

// 位置信息类
class TokenPosition {
    public final int startLine;
    public final int startColumn;
    public final int endLine;
    public final int endColumn;

    public TokenPosition(int startLine, int startColumn, int endLine, int endColumn) {
        this.startLine = startLine;
        this.startColumn = startColumn;
        this.endLine = endLine;
        this.endColumn = endColumn;
    }

    public TokenPosition(Token token) {
        this(token.beginLine, token.beginColumn, token.endLine, token.endColumn);
    }

    @Override
    public String toString() {
        return "[" + startLine + ":" + startColumn + "-" + endLine + ":" + endColumn + "]";
    }
}

// 语法树节点接口
interface ASTNode {
    void accept(ASTVisitor visitor);
    TokenPosition getPosition();
}

// SELECT语句节点
class SelectStatement implements ASTNode {
    public final TokenPosition position;
    public final List<Column> columns;
    public final Table table;
    public final Condition whereCondition;

    public SelectStatement(TokenPosition position, List<Column> columns, Table table, Condition whereCondition) {
        this.position = position;
        this.columns = columns;
        this.table = table;
        this.whereCondition = whereCondition;
    }

    @Override
    public void accept(ASTVisitor visitor) {
        visitor.visit(this);
    }

    @Override
    public TokenPosition getPosition() {
        return position;
    }
}

// 列节点
class Column implements ASTNode {
    public final TokenPosition position;
    public final String name;

    public Column(TokenPosition position, String name) {
        this.position = position;
        this.name = name;
    }

    @Override
    public void accept(ASTVisitor visitor) {
        visitor.visit(this);
    }

    @Override
    public TokenPosition getPosition() {
        return position;
    }
}

// 表节点
class Table implements ASTNode {
    public final TokenPosition position;
    public final String name;

    public Table(TokenPosition position, String name) {
        this.position = position;
        this.name = name;
    }

    @Override
    public void accept(ASTVisitor visitor) {
        visitor.visit(this);
    }

    @Override
    public TokenPosition getPosition() {
        return position;
    }
}

// WHERE条件节点
class Condition implements ASTNode {
    public final TokenPosition position;
    public final Column column;
    public final String value;
    public final TokenPosition valuePosition;

    public Condition(TokenPosition position, Column column, String value, TokenPosition valuePosition) {
        this.position = position;
        this.column = column;
        this.value = value;
        this.valuePosition = valuePosition;
    }

    @Override
    public void accept(ASTVisitor visitor) {
        visitor.visit(this);
    }

    @Override
    public TokenPosition getPosition() {
        return position;
    }
}

// 访问者接口
interface ASTVisitor {
    void visit(SelectStatement select);
    void visit(Column column);
    void visit(Table table);
    void visit(Condition condition);
}

// 示例访问者实现
class PrintVisitor implements ASTVisitor {
    private int indent = 0;

    private String getIndent() {
        StringBuilder sb = new StringBuilder();
        for (int i = 0; i < indent; i++) {
            sb.append("  ");
        }
        return sb.toString();
    }

    private String formatPosition(TokenPosition pos) {
        return " " + pos;
    }

    @Override
    public void visit(SelectStatement select) {
        System.out.println(getIndent() + "SELECT" + formatPosition(select.position));
        indent++;
        for (Column col : select.columns) {
            col.accept(this);
        }
        select.table.accept(this);
        if (select.whereCondition != null) {
            select.whereCondition.accept(this);
        }
        indent--;
    }

    @Override
    public void visit(Column column) {
        System.out.println(getIndent() + "COLUMN: " + column.name + formatPosition(column.position));
    }

    @Override
    public void visit(Table table) {
        System.out.println(getIndent() + "FROM " + table.name + formatPosition(table.position));
    }

    @Override
    public void visit(Condition condition) {
        System.out.println(getIndent() + "WHERE " +
            condition.column.name + " = " + condition.value +
            formatPosition(condition.position) +
            " (value at" + formatPosition(condition.valuePosition) + ")");
    }
}

public class SQLParser {
    private SelectStatement selectStatement;

    public SelectStatement getAST() {
        return selectStatement;
    }

    public static void main(String[] args) throws ParseException, IOException {
        String sql = args.length > 0 ? args[0] : "select id, name from users where id = 1";
        Reader reader = new StringReader(sql);
        SQLParser parser = new SQLParser(reader);

        try {
            parser.sqlQuery();
            System.out.println("Parsing completed successfully.");

            SelectStatement ast = parser.getAST();
            System.out.println("\nAbstract Syntax Tree with Positions:");
            ast.accept(new PrintVisitor());

        } catch (ParseException e) {
            System.err.println("SQL parse error: " + e.getMessage());
        }
    }
}
PARSER_END(SQLParser)

// 词法规则
SKIP : { " " | "\t" | "\n" | "\r" }
TOKEN : {
    < SELECT: "select" >
    | < FROM: "from" >
    | < WHERE: "where" >
    | < IDENTIFIER: (["a"-"z","A"-"Z"])+ >
    | < NUMBER: (["0"-"9"])+ >
    | < ASTERISK: "*" >
}

// 语法规则
void sqlQuery() :
{
    Token selectToken;
    List<Column> columns = new ArrayList<>();
    Table table;
    Condition whereCondition = null;
    TokenPosition selectPosition;
}
{
    selectToken = <SELECT>
    columns = columnListOrAsterisk(selectToken)
    <FROM>  // Explicitly consume FROM token
    table = tableName()
    [ whereCondition = whereClause() ] <EOF>
    {
        selectPosition = new TokenPosition(
            selectToken.beginLine, selectToken.beginColumn,
            token.endLine, token.endColumn
        );
        selectStatement = new SelectStatement(selectPosition, columns, table, whereCondition);
    }
}

List<Column> columnListOrAsterisk(Token selectToken) :
{
    List<Column> columns = new ArrayList<>();
    Token token;
}
{
    (
        token = <ASTERISK>
        {
            columns.add(new Column(new TokenPosition(token), "*"));
        }
        |
        columns = columnList()
    )
    { return columns; }
}

List<Column> columnList() :
{
    List<Column> columns = new ArrayList<>();
    Column column;
}
{
    column = columnName() { columns.add(column); }
    ( "," column = columnName() { columns.add(column); } )*
    { return columns; }
}

Column columnName() :
{
    Token t;
}
{
    t = <IDENTIFIER>
    {
        return new Column(new TokenPosition(t), t.image);
    }
}

Table tableName() :
{
    Token t;
}
{
    t = <IDENTIFIER>  // Just parse the identifier, FROM is already handled
    {
        return new Table(new TokenPosition(t), t.image);
    }
}

Condition whereClause() :
{
    Token whereToken;
    Condition condition;
}
{
    whereToken = <WHERE> condition = condition()
    {
        return condition;
    }
}

Condition condition() :
{
    Column column;
    Token operator, valueToken;
    String value;
}
{
    column = columnName()
    operator = "="
    (
        valueToken = <NUMBER>
        {
            value = valueToken.image;
        }
        |
        valueToken = <IDENTIFIER>
        {
            value = valueToken.image;
        }
    )
    {
        return new Condition(
            new TokenPosition(
                column.getPosition().startLine,
                column.getPosition().startColumn,
                valueToken.endLine,
                valueToken.endColumn
            ),
            column,
            value,
            new TokenPosition(valueToken)
        );
    }
}

执行命令解析：

javacc SqlParser.jjt

javac *.java

java SQLParser "select id,name from users where id=1"

资料获取

大家点赞、收藏、关注、评论啦~

精彩专栏推荐订阅：在下方专栏👇🏻

更多博客与资料可查看👇🏻获取联系方式👇🏻，🍅文末获取开发资源及更多资源博客获取🍅

mysql sql语法解析器_Druid SQL 解析器概览
weixin_42362003的博客
01-25 1909
概览Druid 的官方 wiki对 SQL 解析器部分的讲解内容并不多，但虽然不多，也有利于完全没接触过 Druid 的人对 SQL 解析器有个初步的印象。说到解析器，脑海里便很容易浮现parser这个单词，然后便很容易联想到计算机科学中理论性比较强的学科------编译原理。想必很多人都知道(即使不知道，应该也耳濡目染)能够手写编译器的人并不多，并且这类人呢，理论知识和工程能力都比较强。在...
java mysql 语句解析器_基于javacc与基于java SQL解析器实现的一点心得 | 学步园
weixin_34321609的博客
02-06 458
背景由于项目中mysql的日志格式只能选用MIXED格式(binlog存在一定的局限性，请参考)，因此需要解析SQL语句。在查找的SQL语句处理器中，都有一定的局限性，而所选中，其中一个基于javacc实现的解析器JSqlParser，使用起来方便，而且代码结构模块很好，基于其重构也比较简单。虽然项目很久没更新与维护了，基于其改造也可以接受，因此选用了JSqlParser,而这也有了后面的SQL解...
如何实现一个SQL解析器
vivo互联网技术
10-24 2803
本篇文章主要介绍如何实现一个SQL解析器来应用的业务当中，同时结合具体的案例来介绍SQL解析器的实践过程。
基于javacc与基于java SQL解析器实现的一点心得
haier_jiang的专栏
03-16 7576
背景 由于项目中mysql的日志格式只能选用MIXED格式（binlog存在一定的局限性，请参考），因此需要解析SQL语句。 在查找的SQL语句处理器中，都有一定的局限性，而所选中，其中一个基于javacc实现的解析器JSqlParser，使用起来方便，而且代码结构模块很好，基于其重构也比较简单。 虽然项目很久没更新与维护了，基于其改造也可以接受，因此选用了JSqlParser,而这也有了后
Apache Calcite教程-SQL解析-JavaCC教程
quxiuchengdev的专栏
04-19 4190
JavaCC语法描述文件JavaCC类介绍SimpleCharStreamXXXXXConstantsXXXXXTokenManagerTokenXXXXXParseExceptionTokenMgrError常见配置 optionsJavaCC工作原理语法二义性解决JavaCC语法Java代码JAVA函数条件循环正则表达式代码示例Maven编译简单计算器简单语法示例 JavaCC 使用递归下降...
java解析SQL语句：druid
罗铠威的博客
01-09 743
Java解析sql
sql解释器 树 java
cnzzs的博客
09-21 897
在Java中实现一个SQL解释器通常涉及多个步骤，其中包括词法分析、语法分析、语义分析以及查询执行。这里将提供一个简化的示例，展示如何使用Java构建一个简单的解析器来解析SQL语句，并构建一个抽象语法树(AST)。 下面是一个简化的例子，我们将创建一个解析器来解析类似SELECT column FROM table的查询...
从Calcite到Flink SQL：解析器的构建奥秘
qq_42773076的博客
06-23 894
Flink SQL借助Apache Calcite框架实现强大的SQL处理能力。Calcite作为动态数据管理框架，专注于SQL解析与优化，而将数据存储等功能交由第三方实现。其解析流程包括SQL词法语法校验和AST生成，通过JavaCC工具构建解析器。Flink SQL解析器初始化始于StreamTableEnvironmentImpl，通过PlannerFactoryUtil创建流式或批处理解析器，最终由CalciteParser完成SQL语句解析。这一设计使Flink SQL能高效处理流批数据，同时保持
java sql解析_atitit.java解析sql语言解析器解释器的实现
weixin_42462474的博客
02-12 743
atitit.java解析sql语言解析器解释器的实现1.解析sql的本质:实现一个4gldsl编程语言的编译器Sql走十一个4gldsl,..SQL解析器基本上走十一个编译器实现2.解析sql的基本的流程,词法分析，而后进行语法分析，语义分析,构建sql的AST首先要进行词法分析，而后进行语法分析，语义分析词法分析,and语法分析>>>.词法分析即将输入的语句进行分词(...
DBMS(java).zip_DBMS.java_consistog1_dbms_dbms sql解析器_java 实现dbms
09-24
"dbms_sql解析器"则提示我们这个系统包含了一个用于解析SQL语句的组件，这是DBMS的重要组成部分，用于理解用户输入的查询并执行相应的操作。"java 实现dbms"明确了整个系统是用Java编程语言实现的。 在描述中，提到...
基于JavaCC的SQL编译器的设计与实现.pdf
09-19
由于仅依靠数据库管理系统自带的SQL解析器无法满足现代数据库应用的需求，开发通用且功能完善的SQL编译器就显得尤为重要。传统的手工开发SQL查询编译器工作量大、周期长、维护困难，因此利用自动化工具构建SQL编译器...
ZQL-一个基于JavaCC的开源Java SQL解析器
资源摘要信息:"zql-开源是一个基于Java语言开发的SQL解析器，它使用JavaCC作为其语法解析工具。JavaCC（Java Compiler）是一个用于生成解析器的工具，可以通过定义语法规则来分析源代码。由于zql采用JavaCC进行解析...
boh5_hmdp_for_learn_redis_by_fastapi_36224_1754229591966.zip
最新发布
08-04
boh5_hmdp_for_learn_redis_by_fastapi_36224_1754229591966.zip
JAVA程设计坦克大战游戏含代码.docx
08-04
JAVA程设计坦克大战游戏含代码.docx
计算机应用基础教案备课(全套).doc
08-04
计算机应用基础教案备课(全套).doc
MATLAB实现拉格朗日插值.doc
08-04
MATLAB实现拉格朗日插值.doc
EXCEL办公实用函数使用技巧PPT.ppt
08-04
EXCEL办公实用函数使用技巧PPT.ppt
GIS概念及应用.ppt
08-04
GIS概念及应用.ppt
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

长路 ㅤ   

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值