本文转载自目光博客
在我博客的友情链接里有她


悲剧成我这样的人,我知道肯定不止我一个,所以我一点都不悲伤:-( 所以我打开了4399小游戏网,点开了一个不知名的游戏,唔,做寿司的,有材料在一边,客人过来后说出他们的要求,你按照菜单做好端给他便好~ 为啥这么有难度?8种菜单记不清,点点就点错,鼠标还不好使肌肉劳损啥的伤不起啊……

首先要声明,这里的游戏外挂的概念,和那些大型网游里的外挂可不同,不能自动打怪,不能喝药不能躲避GM…… 那做这个外挂有啥用?问的好,没用,除了可以浪费你一点时间,提高一下编程技术,增加一点点点点点点的做外挂的基础以外,毫无用处,如果您是以制作一个惊天地泣鬼神不开则已一开立刻超神的外挂为目标过来的话,恐怕要让您失望了,请及早绕道。我的目的很简单,就是自动玩这款小游戏而已。

工具的准备
这篇文章需要您有Python基础,我不会讲解Python语法啥的~

Python
需要安装autopyPIL以及pywin32包。autopy是一个自动化操作的python库,可以模拟一些鼠标、键盘事件,还能对屏幕进行访问,本来我想用win32api来模拟输入事件的,发现这个用起来比较简单,最厉害的是它是跨平台的,请搜索安装;而PIL那是大名鼎鼎了,Python图像处理的No.1,下面会说明用它来做什么;pywin32其实不是必须的,但是为了方便(鼠标它在自己动着呢,如何结束它呢),还是建议安装一下,哦对了,我是在win平台上做的,外挂大概只有windows用户需要吧?
截屏和图像处理工具
截屏是获取游戏图像以供分析游戏提示,其实没有专门的工具直接Print Screen粘贴到图像处理工具里也可以。我用的是PicPick,相当好用,而且个人用户是免费的;而图像处理则是为了获取各种信息的,我们要用它得到点菜图像后保存起来,供外挂分析判断。我用的是PhotoShop… 不要告诉Adobe,其实PicPick中自带的图像编辑器也足够了,只要能查看图像坐标和剪贴图片就好饿了,只不过我习惯PS了~
编辑器

这个我就不用说了吧,写代码得要个编辑器啊!俺用VIM,您若愿意用写字板也可以……
原理分析
外挂的历史啥的我不想说啦,有兴趣请谷歌或度娘(注:非技术问题尽可以百度)。

看这个游戏,有8种菜,每种菜都有固定的做法,顾客一旦坐下来,头顶上就会有一个图片,看图片就知道他想要点什么菜,点击左边原料区域,然后点击一下……不知道叫什么,像个竹简一样的东西,菜就做完了,然后把做好的食物拖拽到客户面前就好了。

顾客头上显示图片的位置是固定的,总共也只有四个位置,我们可以逐一分析,而原料的位置也是固定的,每种菜的做法更是清清楚楚,这样一来我们完全可以判断,程序可以很好的帮我们做出一份一份的佳肴并奉上,于是钱滚滚的来:)

autopy介绍
github上有一篇很不错的入门文章,虽然是英文但是很简单,不过我还是摘几个这次用得到的说明一下,以显示我很勤劳。

移动鼠标

import autopy
autopy.mouse.move(100, 100) # 移动鼠标
autopy.mouse.smooth_move(400, 400) # 平滑移动鼠标(上面那个是瞬间的)

这个命令会让鼠标迅速移动到指定屏幕坐标,你知道什么是屏幕坐标的吧,左上角是(0,0),然后向右向下递增,所以1024×768屏幕的右下角坐标是……你猜对了,是(1023,767)。

不过有些不幸的,如果你实际用一下这个命令,然后用autopy.mouse.get_pos()获得一下当前坐标,发现它并不在(100,100)上,而是更小一些,比如我的机器上是(97,99),和分辨率有关。这个移动是用户了和windows中mouse_event函数,若不清楚api的,知道这回事就好了,就是这个坐标不是很精确的。像我一样很好奇的,可以去读一下autopy的源码,我发现他计算绝对坐标算法有问题:

point.x *= 0xFFFF / GetSystemMetrics(SM_CXSCREEN);

这里先做除法再做乘法,学过一点计算方法的就应该知道对于整数运算,应该先乘再除的,否则就会产生比较大的误差,如果他写成:

point.x = point.x * 0xffff / GetSystemMetrics(SM_CXSCREEN);

就会准多了,虽然理论上会慢一点点,不过我也懒得改代码重新编译了,差几个像素,这里对我们影响不大~咱要吸取教训呀。

点击鼠标

import autopy
autopy.mouse.click() # 单击
autopy.mouse.toggle(True) # 按下左键
autopy.mouse.toggle(False) # 松开左键

这个比较简单,不过记得这里的操作都是非常非常快的,有可能游戏还没反应过来呢,你就完成了,于是失败了…… 所以必要的时候,请sleep一小会儿。

键盘操作
我们这次没用到键盘,所以我就不说了。


怎么做?分析顾客头上的图像就可以,来,从获取图像开始吧~

打开你钟爱的图像编辑器,开始丈量吧~ 我们得知道图像在屏幕的具体位置,可以用标尺量出来,本来直接量也是可以的,但是我这里使用了画面左上角的位置(也就是点1)来当做参考位置,这样一旦画面有变动,我们只需要修改一个点坐标就好了,否则每一个点都需要重新写一遍可不是一件快乐的事情。

看最左边的顾客头像上面的图像,我们需要两个点才可确定这个范围,分别是图像的左上角和右下角,也就是点2和点3,。后面还有三个顾客的位置,只需要简单的加上一个增量就好了,for循环就是为此而生!
同样的,我们原料的位置,“竹席”的位置等等,都可以用这种方法获得。注意获得的都是相对游戏画面左上角的相对位置。至于抓图的方法,PIL的ImageGrab就很好用,autopy也可以抓图,为什么不用,我下面就会说到。

分析图像
我们这个外挂里相当有难度的一个问题出现了,如何知道我们获得的图像到底是哪一个菜?对人眼……甚至狗眼来说,这都是一个相当easy的问题,“一看就知道”!对的,这就是人比机器高明的地方,我们做起来很简单的事情,电脑却傻傻分不清楚。

autopy图像局限
如果你看过autopy的api,会发现它有一个bitmap包,里面有find_bitmap方法,就是在一个大图像里寻找样品小图像的。聪明的你一定可以想到,我们可以截下整个游戏画面,然后准备所有的菜的小图像用这个方法一找就明白哪个菜被叫到了。确实,一开始我也有这样做的冲动,不过立刻就放弃了……这个方法查找图像,速度先不说,它有个条件是“精确匹配”,图像上有一个像素的RGB值差了1,它就查不出来了。我们知道flash是矢量绘图,它把一个点阵图片显示在屏幕上是经过了缩放的,这里变数就很大,理论上相同的输入相同的算法得出的结果肯定是一致的,但是因为绘图背景等的关系,总会有一点点的差距,就是这点差距使得这个美妙的函数不可使用了……

好吧,不能用也是好事,否则我怎么引出我们高明的图像分析算法呢?

相似图像查找原理
相信你一定用过Google的“按图搜图”功能,如果没有,你就落伍啦,快去试试!当你输入一张图片时,它会把与这张图相似的图像都给你呈现出来,所以当你找到一张中意的图想做壁纸又觉得太小的时候,基本可以用这个方法找到合适的~

我们就要利用和这个相似的原理来判断用户的点餐,当然我们的算法不可能和Google那般复杂,知乎上有一篇很不错的文章描述了这个问题,有兴趣的可以看看,我直接给出实现:

 def get_hash(self, img):
        image = img.resize((18, 13), Image.ANTIALIAS).convert("L")
        pixels = list(image.getdata())
        avg = sum(pixels) / len(pixels)
        return "".join(map(lambda p : "1" if p > avg else "0", pixels))

因为这是类的一个方法,所以有个self参数,无视它。这里的img应该传入一个Image对象,可以使读入图像文件后的结果,也可以是截屏后的结果。而缩放的尺寸(18,13)是我根据实际情况定的,因为顾客头像上的菜的图像基本就是这个比例。事实证明这个比例还是挺重要的,因为我们的菜有点儿相似,如果比例不合适压缩后就失真了,容易误判(我之前就吃亏了)。

得到一个图片的“指纹”后,我们就可以与标准的图片指纹比较,怎么比较呢,应该使用“汉明距离”,也就是两个字符串对应位置的不同字符的个数。实现也很简单……

 def hamming_dist(self, hash1, hash2):
        return sum(itertools.imap(operator.ne, hash1, hash2))

好了,我们可以用准备好的标准图像,然后预先读取计算特征码存储起来,然后再截图与它们比较就好了,距离最小的那个就是对应的菜,代码如下:

 def order(self, i):
        l, t = self.left + i * self.step, self.top
        r, b = l + self.width, t + self.height
        hash2 = self.get_hash(ImageGrab.grab((l, t, r, b)))
        (mi, dist) = None, 50
        for i, hash1 in enumerate(self.maps):
            if hash1 is None:
                continue
            this_dist = self.hamming_dist(hash1, hash2)
            if this_dist < dist:
                mi = i
                dist = this_dist
        return mi

这里有一个50的初始距离,如果截取图像与任何菜单相比都大于50,说明什么?说明现在那个位置的图像不是菜,也就是说顾客还没坐那位置上呢,或者我们把游戏最小化了(老板来了),这样处理很重要,免得它随意找一个最相近但又完全不搭边的菜进行处理。

自动做菜
这个问题很简单,我们只需要把菜单的原料记录在案,然后点击相应位置便可,我把它写成了一个类来调用:

class Menu:
    def __init__(self):
        self.stuff_pos = []
        self.recipes = [None] * 8
        self.init_stuff()
        self.init_recipe()

    def init_stuff(self):
        for i in range(9):
            self.stuff_pos.append( (L + 102 + (i % 3) * 42, T + 303 + (i / 3) * 42) )

    def init_recipe(self):
        self.recipes[0] = (1, 2)
        self.recipes[1] = (0, 1, 2)
        self.recipes[2] = (5, 1, 2)
        self.recipes[3] = (3, 0, 1, 2)
        self.recipes[4] = (4, 1, 2)
        self.recipes[5] = (7, 1, 2)
        self.recipes[6] = (6, 1, 2)
        self.recipes[7] = (8, 1, 2)

    def click(self, i):
        autopy.mouse.move(self.stuff_pos[i][0] + 20, self.stuff_pos[i][1] + 20)
        autopy.mouse.click()

    def make(self, i):
        for x in self.recipes[i]:
            self.click(x)
        autopy.mouse.move(L + 315, T + 363)
        autopy.mouse.click()

这是本外挂中最没技术含量的一个类了:)请原谅我没有写注释和doc,因为都很简单,相信你懂得。

下一次便完成这个外挂,你可以尝试用一下并体验傲视——没有人的感觉。
其实我们外挂中的技术阻碍基本都扫除了,接下来只需要把前两次的代码装配在一起就可以了。不过直接在这篇文章里将全部代码贴出来实在有违自己的心意,我还是要讲述一点有含量的东西才可以~
快捷键
外挂在不停的操控你的鼠标,你要是想和它抢,那是很困难的,也许我们可以选择关闭它~ 但是如何关闭也是一个极具挑战性的事情,它在cmd命令行窗口中运行,同时在不停点击浏览器,所以浏览器窗口会在前面,你很难选中命令行窗口并关闭它(Ctrl+c或者Alt+F4甚至用鼠标点击X),如果真的做到了,也许一可以考虑到W3C大赛里表演一番:)

只有快捷键可以在窗口在我们视野之外的时候依然对其进行控制。我们只讨论Windows下的快捷键机制,这里有MSDN上关于RegisterHotKey的API说明,Windows就是使用这个API进行系统级别的快捷键注册的,有Windows编程基础的孩纸乐坏了,都是小case啊,想我这种对Windows底层(其实根本不算底层,这不给自己留点面子么)不甚了解的人就有点伤心了,同时天涯沦落人,我就直接贴代码吧:

import ctypes, win32con, ctypes.wintypes, win32gui
EXIT = False
class Hotkey(threading.Thread):

    def run(self):
        global EXIT
        user32 = ctypes.windll.user32
        if not user32.RegisterHotKey(None, 99, win32con.MOD_WIN, win32con.VK_F3):
            raise RuntimeError
        try:
            msg = ctypes.wintypes.MSG()
            print msg
            while user32.GetMessageA(ctypes.byref(msg), None, 0, 0) != 0:
                if msg.message == win32con.WM_HOTKEY:
                    if msg.wParam == 99:
                        EXIT = True
                        return
                user32.TranslateMessage(ctypes.byref(msg))
                user32.DispatchMessageA(ctypes.byref(msg))
        finally:
            user32.UnregisterHotKey(None, 1)

吓坏了?relax,其实也不复杂,pywin32包能够方便的引入dll并调用其中的api函数,查看MSDN,可以知道RegisterHotKey来自user32.dll文件,它的参数分别是窗口句柄、快捷键标示、组合键和虚拟键。我在消息队列中等待处理事件,如果标示符合,就执行我们自己的代码,否则继续传给系统。具体我也不多解释了,找本Windows编程的书看看就明白了(别找Visual xxx快速入门之类的,那是学龄前孩子看的),记住判断快捷键冲突,程序完事了要释放快捷键就好了。Win + F3退出程序,希望你看代码发现了这个。

这里我把它写成了一个Thread.threading的扩展类,这样可以作为一个线程启动,因为Windows系统在等待按键的时候是阻塞的,那样我们的外挂就不动啦!用一个全局变量来作为按下退出快捷键的标志,这里赞一下Python,虽然不知道是不是标准做法,但是一个global就能让变量在不同线程中共享,实在很方便,有其他语言进行线程编程的童鞋一定深有感触。

def TopmostMe():
    hwnd = win32gui.GetForegroundWindow()
    (left, top, right, bottom) = win32gui.GetWindowRect(hwnd)
    win32gui.SetWindowPos(hwnd, win32con.HWND_TOPMOST, left, top, right-left, bottom-top, 0)

这段代码很神奇,运行之后,命令行窗口就总在最前了,这样查看实时的输出就很方便,否则浏览器窗口会阻挡它的。也是很简单的东西,但是我觉得应该有更好的方法,有没有什么方法可以直接给这个窗口设置总在最前的标志而不需要同时设置它的位置?望指教!

合体成功
好了,我直接放出源码和图片,省的各位拼拼接接了。一般情况下,这个代码是不能直接用的,除非你和我一样使用Chrome浏览器,1366×768的屏幕,事实上我都不知道它在XP下能不能正常工作…… 首先你需要更改文件头部的L, T = 234, 167,把它修改为你屏幕上的游戏图像起点坐标,请参考前两篇的内容,接下来请自行测试、debug、享受……反正我用这脚本玩游戏毫无压力,后来觉得太无趣才关了,不知道它能过几关有兴趣的朋友请试一试呀。
<<打包>>

最后修改:2022 年 12 月 05 日
如果觉得我的文章对你有用,请随意赞赏