http://money.finance.sina.com.cn/corp/go.php/vFD_ProfitStatement/stockid/000858/ctrl/2018/displaytype/4.phtml
和猜测的完全一致,那么就可以利用PowerBI,来批量来抓取。
抓取多公司、多年度、多个报表的整体思路:
1、先抓取一个公司一年的一个报表;
2、利用第1步的查询创建自定义函数;
3、构建参数列表;
4,调用自定义函数,批量抓取数据。
下面进入具体操作步骤。
1,利用PowerBI抓取一个公司、一年的报表
以上面第一个网址:2023年万科的资产负债表为例,点击获取数据>从web,将网址输入进去,在弹出的导航器中,会看到PowerBI识别出来很多表格,因为这一页本来就是有很多组数据,分别点击查看,会看到表17的结构最为规范,
选中这个表,然后加载数据,进入Power Query编辑器。
首先观察这个表的数据,空值都显示为"--",首先将它替换为0,然后将第一行用作标题:
如果对PowerQuery的基础操作还不熟悉,建议先看看这篇文章:
数据清洗中最常使用的十三招
这是一个二维结构表,为便于之后的分析,将其转换为一维表:选中第一列,点击逆透视>逆透视其他列,就变成了一维表:
不了解一维表的可以参考:关于一维表,你想知道的都在这里了
万科2023年的资产负债表提取并整理完毕。
其实这一步到这里就可以结束了。不过在这个模型中,为了简化,我将现金流量表的间接法附加数据删除,只保留了直接法的现金流量表项目,因此,多做了现金流量表的查询。
所以提取现金流量表的时候,在上面资产负债表操作的基础上,增加了删除底部行的步骤,其他步骤都相同(如果你需要使用现金补充资料,可以不单独处理,只需要获取一个资产负债表就行)。
2,建立自定义函数
在PowerBI中,操作的每一个步骤都会自动记录下来,数据源更新后,刷新就可以自动完成所有的操作步骤。
更进一步的,还可以将这个查询函数化,进而应用于相似的其他查询,这就用到了PowerQuery的自定义函数(如果你还不清楚什么是自定义函数,可以先看看:认识Power Query的自定义函数)。
自定义函数并不是都需要自己从零开始一点点写M代码,还有更加简便的方法。
第1步完成以后,右键该查询的名称,点击"创建函数"。
输入函数名,这里我按报表的类型,定义该函数为balancesheet。
然后选中这个自定义函数,点击进入高级编辑器,将前面几行代码调整为下图所显示的内容:
就是修改一下获取数据网址,将网址中的:报表类型、公司代码、年度分别用:type、code、year表示,并将这三个变量作为自定义函数的三个参数。
然后这个自定义函数就建好了,
在这个窗口,任意输入三个有效参数,就能提取某个上市公司某年度的一个报表。
不过我们建立自定义函数的目的是为了批量获取数据,所以在这个窗口中不需要操作。
同样的方式,为现金流量表也生成一个自定义函数,命名为cashflow。
3,构建参数列表
针对三个参数,我们需要构建这三个参数的笛卡尔积,来得到每个公司的2010年-2023年的三大报表数据。
为了便于后期的修改和维护,我们先建立三个单独的参数表。
在PowerQuery编辑器中,直接点击输入数据,将需要分析的公司名称和股票代码录进去:
就生成了一个公司名称表,同样的方式,生成年度表和报表类型表。
接下来要做的是,生成这三个表的笛卡尔积,也就是公司代码、年度、报表类型的任意组合。
在PowerQuery中,生成笛卡尔积很简单,先为这三个表都添加一列,比如1,然后合并查询。
先合并查询报表类型和年度:
得到的结果如下:
这就是报表类型和年度的任何组合,然后继续将这个表与公司名称表合并查询,就得到了公司代码、年度、报表类型的任意组合表。
4、调用自定义函数
在第3步生成的表的基础上,添加自定义列,
这个M代码的意思是,如果报表类型是CashFlow(现金流量表),就调用自定义函数:cashflow,否者调用balancesheet,他们的参数相同(如果只有一个自定义函数,就不需要用IF做判断,直接调用就行)。
然后就抓取到了这5家公司10年的三大报表数据:
并且,批量抓取的报表数据,已经是我们需要的一维表数据,因为第一步的操作,就含有二维转一维的步骤,后面在调用自定义函数的时候,都自动做了相同的操作。
当然你也可以用这种方法,一次性抓取上百家公司的数据,但速度会非常慢,所以建议只抓取需要的公司、最近年份的数据就可以了。
至此,三大表的数据抓取完成,主要就是利用PowerQuery的界面操作,以及简单的几个代码修改,即使没有任何基础,照着上面的步骤,也可以快速完成。
在这个财务分析示例中,其中有一页是公司概况,也是通过网页抓取的公司信息:
数据来源于下面三个网页:
公司公告https://vip.stock.finance.sina.com.cn/corp/go.php/vCB_AllBulletin/stockid/000002.phtml
公司简介
http://vip.stock.finance.sina.com.cn/corp/go.php/vCI_CorpInfo/stockid/000002.phtml
历史行情
http://q.stock.sohu.com/cn/000002/lshq.shtml
这些数据的抓取和上面财报数据抓取步骤完全一样,不过更加简单,因为只有一个参数:公司代码,大家可以自己动手练习。
通过以上的介绍,你应该可以轻松从网页中抓取财报数据,需要相关的其他数据时,你都可以从网上搜索资源,然后批量抓取。
正如开头所说,如果你要做的是自己公司的内部财报分析,你可以忽略掉