2018年12月

修改CppCheck,做自己的扫描器 - 02

填坑。
CppCheck在解析代码时,会将代码视作不同的Token。Token分类大致如下:

enum Type {
    eVariable, eType, eFunction, eKeyword, eName,
    eNumber, eString, eChar, eBoolean, eLiteral, eEnumerator, 
    eArithmeticalOp, eComparisonOp, eAssignmentOp, eLogicalOp, eBitOp, eIncDecOp, eExtendedOp, 
    eBracket, 
    eOther,
    eNone
};

1、 名称类:变量名 , 类型名 , 函数名, 语言关键字, 其他无法识别的名字
2、 字面量:数字,字符串,字符,布尔值,用户定义的常量(c++11),枚举
3、 操作符:数学操作符,比较符号,赋值符号,逻辑符号,位运算,自增自减符号,扩展符号
4、 括号:{, }, <, >
5、 其他

这些token在保存时都是通过字符串的方式保存的,所以在比较的时候,也是通过字符串比较的形式,来确定是否和规则匹配。

先看一个典型的例子:

bool Token::Match(const Token *tok, const char pattern[], unsigned int varid)

以及它的调用者;

if (Token::Match(tok2, "strncpy|strncat ( %varid% ,", arrayInfo.declarationId())) {

tok2是一个Token对象
pattern为 strncpy|strncat ( %varid% 。
pattern中的 | 代表多重比较,即:multiCompare。从当前token开始依次比较,以空格为界限。也即第一次比较到strncat之后停止。
multiCompare的参数为%varid%(目标参数)。
multiCompare会一直比较,直到token耗尽或者传入的pattern到头,最后给出比较结果。

除了%varid%,multiCompare也支持许多比较,具体可以参考源代码:token.cpp -> multiComparePercent。
可以看到,在匹配、抽取值时,并不需要传入完整的token。

所以,对我们编写CppCheck规则时,了解Token的内容十分重要。

以一个实际的例子来看:

    const MathLib::biguint total_size = arrayInfo.num(0) * arrayInfo.element_size();
    if (printWarning && printInconclusive && Token::Match(tok2, "strncpy|memcpy|memmove ( %varid% , %str% , %num% )", arrayInfo.declarationId())) {
        if (Token::getStrLength(tok2->tokAt(4)) >= total_size) {
            const MathLib::biguint num = MathLib::toULongNumber(tok2->strAt(6));
            if (total_size == num)
                bufferNotZeroTerminatedError(tok2, tok2->strAt(2), tok2->str());
        }
    }

可以看到它:
1、 解析strncpy/memcpy/memmove并抽取varid(目标参数)、str(源字符串)、num(长度即操作数)。
2、 获取第5个token,即%str%处的token,获取它指向内容的长度。
3、 如果源操作数的长度大于等于缓冲区长度(由arrayInfo获取),代表可能潜在有问题。
4、 获取第7个token,即%num%处的token,获取它的值。
5、 如果缓冲区总大小等于长度,则报告缓冲区非零结尾的错误。

测试一下,给定测试用例:

int main()
{
 char a[10];
 memcpy(a, "abcdefghij", 10);

 return 0;
}

打开这三个提示信息以方便我们调试。为了方便我就不改全局的了,只在函数里面直接硬编码修改为true。

const bool printPortability = true; //mSettings->isEnabled(Settings::PORTABILITY);
const bool printWarning = true; //mSettings->isEnabled(Settings::WARNING);
const bool printInconclusive = true; // mSettings->inconclusive;

代码在我们指定的位置停下,调用栈如下:

    cppcheck-core.dll!CheckBufferOverrun::checkScope_inner(const Token * tok, const CheckBufferOverrun::ArrayInfo & arrayInfo) 行 1005   C++
>   cppcheck-core.dll!CheckBufferOverrun::checkScope(const Token * tok, std::map<unsigned int,CheckBufferOverrun::ArrayInfo,std::less<unsigned int>,std::allocator<std::pair<unsigned int const ,CheckBufferOverrun::ArrayInfo> > > arrayInfos) 行 939   C++
    cppcheck-core.dll!CheckBufferOverrun::checkGlobalAndLocalVariable() 行 1242  C++
    cppcheck-core.dll!CheckBufferOverrun::runSimplifiedChecks(const Tokenizer * tokenizer, const Settings * settings, ErrorLogger * errorLogger) 行 79   C++
    cppcheck-core.dll!CppCheck::checkSimplifiedTokens(const Tokenizer & tokenizer) 行 593    C++
    cppcheck-core.dll!CppCheck::checkFile(const std::basic_string<char,std::char_traits<char>,std::allocator<char> > & filename, const std::basic_string<char,std::char_traits<char>,std::allocator<char> > & cfgname, std::basic_istream<char,std::char_traits<char> > & fileStream) 行 430 C++
    cppcheck-core.dll!CppCheck::check(const std::basic_string<char,std::char_traits<char>,std::allocator<char> > & path) 行 83   C++

可以发现:
1) arrayInfo,为我们定义的char a[10]

-       arrayInfo   {mNum={ size=1 } mVarName="a" mElementSize=1 ...}   const CheckBufferOverrun::ArrayInfo &
-       mNum    { size=1 }  std::vector<__int64,std::allocator<__int64> >
        [capacity]  1   int
+       [allocator] allocator   std::_Compressed_pair<std::allocator<__int64>,std::_Vector_val<std::_Simple_types<__int64> >,1>
        [0] 10  __int64
+       [原始视图]  {...}   std::vector<__int64,std::allocator<__int64> >
+       mVarName    "a" std::basic_string<char,std::char_traits<char>,std::allocator<char> >
        mElementSize    1   __int64
        mDeclarationId  1   unsigned int

2) token的层级列表(向后):

-       tok 0x02bfed58 "memcpy" const Token *
+       mTokensFrontBack    0x00afed90 "int" - "}"  TokensFrontBack *
+       mStr    "memcpy"    std::basic_string<char,std::char_traits<char>,std::allocator<char> >
-       mNext   0x02bfedf0 "("  Token *
+       mTokensFrontBack    0x00afed90 "int" - "}"  TokensFrontBack *
+       mStr    "(" std::basic_string<char,std::char_traits<char>,std::allocator<char> >
-       mNext   0x02bfee88 "a"  Token *
+       mTokensFrontBack    0x00afed90 "int" - "}"  TokensFrontBack *
+       mStr    "a" std::basic_string<char,std::char_traits<char>,std::allocator<char> >
-       mNext   0x02e677e8 ","  Token *
+       mTokensFrontBack    0x00afed90 "int" - "}"  TokensFrontBack *
+       mStr    "," std::basic_string<char,std::char_traits<char>,std::allocator<char> >
-       mNext   0x02e679b0 "\"abcdefghij\"" Token *

3)token向前,可以看到这东西基本就是一个双向链表:

-       mPrevious   0x02bfe838 ";"  Token *
+       mTokensFrontBack    0x00afed90 "int" - "}"  TokensFrontBack *
+       mStr    ";" std::basic_string<char,std::char_traits<char>,std::allocator<char> >
+       mNext   0x02bfed58 "memcpy" Token *
-       mPrevious   0x02bfe7a0 "]"  Token *
+       mTokensFrontBack    0x00afed90 "int" - "}"  TokensFrontBack *
+       mStr    "]" std::basic_string<char,std::char_traits<char>,std::allocator<char> >
+       mNext   0x02bfe838 ";"  Token *
-       mPrevious   0x02bfe708 "10" Token *

所以,如果我们不想仅仅依靠正则式写那些简单的规则,就需要自己抽象出一个常见的模式,并根据模式和token来编写规则。token会逐个遍历,所以不用担心跑不到你想要找的函数那里(参考CheckBufferOverrun::checkScope)。

最后需要注意的是CppCheck是按类型来扫描,而不是按代码顺序扫描,所以由于声明全局变量顺序的问题,很有可能你会发现某个靠后的代码先行被提示问题,这都是正常的结果。