复杂度

复杂度

算法设计与分析
复杂度

算法的伪码描述

赋值语句:←
分支语句:if ... then ... [ else ... ]
循环语句:while, for, repeat until
转向语句:goto
输出语句:return
调用:直接写过程的名字
注释://…

算法设计与分析
复杂度

实例:求最大公约数

Euclid(m,n)

输入:非负整数 mm 、 nn ,其中 mm 与 nn 不全为 00
输出: mm 与 nn 的最大公约数

while m>0 do
  r ← n mod m
  n ← m
  m ← r
return n
算法设计与分析
复杂度

实例:改进的顺序检索

Search(L,x)

输入:数组 L[1..n]L[1..n] ,其元素按照从小到大排列,数 xx
输出:若 xx 在 LL 中,输出 xx 的位置下标 jj ;否则输出 00

j←1
while j≤n and x>L[j] do j←j+1
if x<L[j] or j>n then j←0
return j
算法设计与分析
复杂度

基本运算与输入规模

  • 算法时间复杂度:针对指定基本运算,算法所做运算次数
  • 基本运算:比较,加法,乘法,置指针,交换...
  • 输入规模:输入串编码长度
    • 通常用下述参数度量:数组元素多少,调 度问题的任务个数,图的顶点数与边数等

算法基本运算次数可表为输入规模的函数

算法设计与分析
复杂度

输入规模

  • 排序:数组中元素个数 nn
  • 检索:被检索数组的元素个数 nn
  • 整数乘法:两个整数的位数 mm , nn
  • 矩阵相乘:矩阵的行列数 ii , jj , kk
  • 图的遍历:图的顶点数 nn ,边数 mm
    ...
算法设计与分析
复杂度

基本运算

  • 排序:元素之间的比较
  • 检索:被检索元素 xx 与数组元素的比较
  • 整数乘法:每位数字相乘(位乘) 11 次, mm 位和 nn 位整数相乘要做 mnmn 次位乘
  • 矩阵相乘:每对元素乘 11 次, i×ji \times j 矩阵与 j×kj \times k 矩阵相乘要做 ijkijk 次乘法
  • 图的遍历:置指针
    ...
算法设计与分析
复杂度

算法的两种时间复杂度

对于相同输入规模的不同实例,算法的基本运算次数也不一样,可定义两种时间复杂度

  • 最坏情况下的时间复杂度 W(n)W(n)
    算法求解输入规模为 nn 的实例所需要的最长时间
  • 平均情况下的时间复杂度 A(n)A(n)
    在给定同样规模为 nn 的输入实例的概率分布下,算法求解这些实例所需要的平均时间
算法设计与分析
复杂度

A(n)A(n) 计算公式

平均情况下的时间复杂度 A(n)A(n)

设 SS 是规模为 nn 的实例集,实例 I∈SI \in S 的概率是 PIP_I
算法对实例 II 执行的基本运算次数是 tIt_I

A(n)=∑I∈SPItIA(n)=\sum_{I \in S} P_It_I

在某些情况下可以假定每个输入实例概率相等

算法设计与分析
复杂度

例子:检索

输入:非降顺序排列的数组 LL ,元素数 nn ,数 xx
输出: jj
若 xx 在 LL 中, jj 是 xx 首次出现的下标;否则 j=0j=0
基本运算: xx 与 LL 中元素的比较

算法设计与分析
复杂度

例子:检索

def search(L, x):
    for i in range(len(L)):
        if x==L[i]:
            return i
    return -1

若 L=[1,2,3,4,5]L=[1,2,3,4,5]

  • x=4x=4 时,需要比较4次
  • x=2.5x=2.5 时,需要比较5次
算法设计与分析
复杂度

例子:检索 - 最坏情况

最坏情况

当 xx 不在 LL 中,或 xx 为 LL 的最后一个元素
最坏情况下时间: W(n)=nW(n)=n

算法设计与分析
复杂度

例子:检索 - 平均情况

假设 xx 在 LL 中的概率是 pp ,且每个位置概率相等

A(n)=∑i=1nipn+(1−p)n=p(n+1)2+(1−p)n\begin{aligned} A(n) &= \sum^{n}_{i=1}i \frac{p}{n} + (1-p)n \\ &= \frac{p(n+1)}{2}+(1-p)n \end{aligned}

当 p=12p=\frac{1}{2} 时,

A(n)=n+14+n2A(n)=\frac{n+1}{4}+\frac{n}{2}

算法设计与分析
复杂度

函数的渐近的界

在实际算法的时间复杂度与空间复杂度分析中,我们通常会使用函数的渐近的界来进行表示。

算法设计与分析
复杂度

大 OO 符号(Big O Notation)

定义:设 ff 和 gg 是定义域为自然数集 N\mathbb{N} 上的函数。若存在正数 cc 和 n0n_0 ,使得对一切 n≥n0n \geq n_0 有

0≤f(n)≤cg(n)0 \leq f(n) \leq cg(n)

成立,则称 f(n)f(n) 的渐近的上界是 g(n)g(n) ,记作

f(n)=O(g(n))f(n)=O(g(n))

算法设计与分析
复杂度

大O符号 - 例子

设 f(n)=n2+nf(n)=n^2+n ,则
f(n)=O(n2)f(n)=O(n^2) ,取 c=2c = 2 , n0=1n0 =1 即可
f(n)=O(n3)f(n)=O(n^3) ,取 c=1c = 1 , n0=2n0 =2 即可

  1. f(n)=O(g(n))f(n)=O(g(n)) , f(n)f(n) 的阶不高于 g(n)g(n) 的阶
  2. 可能存在多个正数 cc ,只要指出一个即可
  3. 对前面有限个值可以不满足不等式
  4. 常函数可以写作 O(1)O(1)
算法设计与分析
复杂度

函数的渐近的界 - 补充

除了大 OO 符号,还有大 Ω\Omega 符号,小 oo 符号,小 ω\omega 符号, Θ\Theta 符号

算法设计与分析
复杂度

常用的函数的渐近的界

算法设计与分析