- 20.39 KB
- 2022-08-13 发布
- 1、本文档由用户上传,淘文库整理发布,可阅读全部内容。
- 2、本文档内容版权归属内容提供方,所产生的收益全部归内容提供方所有。如果您对本文有版权争议,请立即联系网站客服。
- 3、本文档由用户上传,本站不保证质量和数量令人满意,可能有诸多瑕疵,付费之前,请仔细阅读内容确认后进行付费下载。
- 网站客服QQ:403074932
统计学认识之我见1、统计学的概述及发展历程 1.1统计学的发展历程 统计学是一门聚集了人类上千年智慧结晶的深奥科学,对其的研究始于古希腊的亚里斯多德时代,迄今已有两千三百多年的历史,经历了“城邦政情”,“政治算数”和“统计分析科学”三个发展阶段,十九世纪末,欧洲大学开设“统计分析科学”课程,该课程的出现是现代统计发展阶段的开端,现代统计学的代表人物首推比利时统计学家奎特莱,他将统计分析科学广泛应用于社会科学,自然科学和工程技术科学领域。 1.2统计学的概述 统计学是应用数学的一个分支,主要通过利用概率论建立数学模型,收集所观察系统的数据,进行量化的分析、总结,并进而进行推断和预测,为相关决策提供依据和参考。统计学主要分为描述统计学和推断统计学。给定一组数据,统计学可以摘要并且描述这份数据,这个用法称作为描述统计学。另外,观察者以数据的形态建立出一个用以解释其随机性和不确定性的数学模型,以之来推论研究中的步骤及母体,这种用法被称做推论统计学。它被广泛的应用在各门学科之上,从物理和社会科学到人文科学,甚至被用来工商业及政府的情报决策之上。 统计学是一门研究随机现象,以推断为特征的方法论科学,“由部分推及全体”的思想贯穿于统计学的始终。具体地说,它是研究如何搜集、整理、分析反映事物总体信息的数字资料,并以此为依据,对总体特征进行推断的原理和方法。用统计来认识事物的步骤是:研究设计—>抽样调查—>统计推断—>结论。这里,研究设计就是制定调查研究和实验研究的计划,抽样调查是搜集资料的过程,统计推断是分析资料的过程。显然统计的主要功能是推断,而推断的方法是一种不完全归纳法,因为是用部分资料来推断总体。统计学是通过数据来进行分析和推断的。因此,统计研究的基础是数据。这些数据的特点是,对于每一个数据而言,都具有不确定性,我们需要抽取一定数量的数据,才可能从中获取信息。因此,统计学的研究依赖于对数的感悟,甚至是对一堆看似杂乱无章的数的感悟。通过对数据的归纳整理、分析判断,可以发现其中隐藏的规律。因为可以用各种方法对数据进行归纳整理、分析判断,所以,得到的结论也可能是不同的。2、统计学的分支学科 统计学的分支学科有:理论统计学、统计调查分析理论、经济统计学、社会统计学、卫生统计学、人口统计学、管理统计学、生物统计学、档案统计学等。3、常用的统计方法 非参数检验(括单组资料的非参数检验和两组资料的秩和检验)\n t检验(t-test)(包括配对t检验和成组t检验) 曼-惠特尼U检定(Mann-WhitneyU) 回归分析(regressionanalysis)(包括一元回归和多元回归) 相关性分析(correlationanalysis) 皮尔森积矩相关系数(Pearsonproduct-momentcorrelationcoefficient) 史匹曼等级相关系数(Spearman'srankcorrelationcoefficient) 卡方分配(chi-square)4、统计学中的几种统计思想 所谓统计思想,就是统计实际工作、统计学理论及应用研究中必须遵循的基本理念和指导思想。统计思想主要包括:均值思想、变异思想、估计思想、相关思想、拟合思想、检验思想。 4.1均值思想 均值是对所要研究对象的简明而重要的代表。均值概念几乎涉及所有统计学理论,是统计学的基本思想。均值思想也要求从总体上看问题,但要求观察其一般发展趋势,避免个别偶然现象的干扰,故也体现了总体观。 4.2变异思想 统计研究同类现象的总体特征,它的前提则是总体各单位的特征存在着差异。统计方法就是要认识事物数量方面的差异。统计学反映变异情况较基本的概念是方差,是表示“变异”的“一般水平”的概念。平均与变异都是对同类事物特征的抽象和宏观度量。 4.3估计思想 估计以样本推测总体,是对同类事物的由此及彼式的认识方法。使用估计方法有一个预设:样本与总体具有相同的性质。样本才能代表总体。但样本的代表性受偶然因素影响,在估计理论对置信程度的测量就是保持逻辑严谨的必要步骤。 4.4相关思想 事物是普遍联系的,在变化中,经常出现一些事物相随共变或相随共现的情况,总体又是由许多个别事务所组成,这些个别事物是相互关联的,而我们所研究的事物总体又是在同质性的基础上形成。因而,总体中的个体之间、这一总体与另一总体之间总是相互关联的。 4.5拟合思想 拟合是对不同类型事物之间关系之表象的抽象。任何一个单一的关系必须依赖其他关系而存在,所有实际事物的关系都表现得非常复杂,这种方法就是对规律或趋势的拟合。拟合的成果是模型,反映一般趋势。趋势表达的是“事物和关系的变化过程在数量上所体现的模式和基于此而预示的可能性”。 \n 4.6检验思想 统计方法总是归纳性的,其结论永远带有一定的或然性,基于局部特征和规律所推广出来的判断不可能完全可信,检验过程就是利用样本的实际资料来检验事先对总体某些数量特征的假设是否可信。 4.7统计思想的特点 作为一门应用统计学,它从数理统计学派汲取新的营养,并且越来越广泛的应用数学方法,联系也越来越密切,但在统计思想的体现上与通用学派相比,还有着自己的特别之处。其基本特点能从以下四个方面体现出:(1)统计思想强调方法性与应用性的统一;(2)统计思想强调科学性与艺术性的统一;(3)统计思想强调客观性与主观性的统一;(4)统计思想强调定性分析与定量分析的统一。5、统计学的现状 在科学技术飞速发展的今天,统计学广泛吸收和融合相关学科的新理论,不断开发应用新技术和新方法,深化和丰富了统计学传统领域的理论与方法,并拓展了新的领域。今天的统计学已展现出强有力的生命力。随着我国社会主义市场经济的成长和不断完善,统计学的潜在功能将得到更充分更完满的开掘。 5.1对系统性及系统复杂性的认识为统计学的未来发展增加了新的思路。 由于社会实践广度和深度迅速发展,以及科学技术的高度发展,人们对客观世界的系统性及系统的复杂性认识也更加全面和深入。随着科学融合趋势的兴起,统计学的研究触角已经向新的领域延伸,新兴起了探索性数据的统计方法的研究。研究的领域向复杂客观现象扩展。21世纪统计学研究的重点将由确定性现象和随机现象转移到对复杂现象的研究。 5.2定性与定量相结合的综合集成法将为统计分析方法的发展提供新的思想。 定性与定量相结合的综合集成方法是钱学森教授提出的,这一方法的实质就是将科学理论、经验知识和专家判断相结合,提出经验性的假设,再用经验数据和资料以及模型对它的确实性进行检测,经过定量计算及反复对比,最后形成结论。它是研究复杂系统的有效手段,而且在问题的研究过程中处处渗透着统计思想,为统计分析方法的发展提供了新的思维方式。 5.3统计科学与其他科学渗透将为统计学的应用开辟新的领域。 现代科学发展已经出现了整体化趋势,各门学科不断融合,已经形成一个相互联系的统一整体。由于事物之间具有的相互联系性,各学科之间研究方法的渗透和转移已成为现代科学发展的一大趋势。许多学\n科取得的新的进展为其他学科发展提供了全新的发展机遇。模糊论、突变论及其他新的边缘学科的出现为统计学的进一步发展提供了新的科学方法和思想。将一些尖端科学成果引入统计学,使统计学与其交互发展将成为未来统计学发展的趋势。统计学也将会有一个令人振奋的前景。 统计学产生于应用,在应用过程中发展壮大。随着经济社会的发展、各学科相互融合趋势的发展和计算机技术的迅速发展,统计学的应用领域、统计理论与分析方法也将不断发展,在所有领域展现它的生命力和重要作用。6、统计学的基本发展趋势 纵观统计学的发展状况,与整个科学的发展趋势相似,统计学也在走与其他科学结合交融的发展道路。归纳起来,有两个基本结合趋势。 6.1统计学与实质性学科结合的趋势 统计学是一门通用方法论的科学,是一种定量认识问题的工具。统计方法只有与具体的实质性学科相结合,才能够发挥出其强大的数量分析功效,并且,从统计方法的形成历史看,现代统计方法基本上来自于一些实质性学科的研究活动,例如,最小平方法与正态分布理论源于天文观察误差分析,相关与回归源于生物学研究,主成分分析与因子分析源于教育学与心理学的研究。抽样调查方法源于政府统计调查资料的搜集。历史上一些著名的统计学家同时也是生物学家或经济学家等,他们在应用过程中对统计方法进行创新与改进。另外,从学科体系看,统计学与实质性学科之间的关系绝对不是并列的,而是相交的,如果将实质性学科看作是纵向的学科,那么统计学就是一门横向的学科,统计方法与相应的实质性学科相结合,才产生了相应的统计学分支,如统计学与经济学相结合产生了经济统计,与教育学相结合产生了教育统计,与生物学相结合产生了生物统计等,而这些分支学科都具有“双重”属性:一方面是统计学的分支,另一方面也是相应实质性学科的分支,所以经济统计学、经济计量学不仅属于统计学,同时属于经济学,生物统计学不仅是统计学的分支,也是生物学的分支等。这些分支学科的存在主要不是为了发展统计方法,而是为了解决实质性学科研究中的有关定量分析问题,统计方法是在这一应用过程中得以完善与发展的。因此,统计学与各门实质性学科的紧密结合,不仅是历史的传统更是统计学发展的必然模式。实质性学科为统计学的应用提供了基地,为统计学的发展提供了契机。21世纪的统计学依然会采取这种发展模式,且更加注重应用研究。 6.2统计学与计算机科学结合的趋势 纵观统计数据处理手段发展历史,经历了手工、机械、机电、电子等数个阶段,数据处理手段的每一次飞跃,都给统计实践带来革命性的发展。上个世纪40年代第一台电子计算机的诞生,给统计学方法的广泛应用创造了条件。20年代发展起来的多元统计方法虽然对于处理多\n变量的种类数据问题具有很大的优越性,但由于计算工作量大,使得这些有效的统计分析方法一开始并没有能够在实践中很好推广开来。而电子计算机技术的诞生与发展,使得复杂的数据处理工作变得非常容易,那些计算繁杂的统计方法的推广与应用,由于相应统计软件的开发与商品化而变得更加方便与迅速,非统计专业的理论工作者可以直接凭借商品化统计分析软件来处理各类现实问题的多变量数据分析,而无需对有关统计方法的复杂理论背景进行研究。计算机运行能力的提高,使得大规模统计调查数据的处理更加准确、充分与快捷。目前企业经营管理中建立的决策支持系统(DSS)更加离不开统计模型。最近国外兴起的数据挖掘(Datamining,又译“数据掏金”)技术更是计算机专家与统计学家共同关注的领域。随着计算机应用的越来越广泛,每年都要积累大量的数据,大量信息在给人们带来方便的同时也带来了一系列问题:信息过量,难以消化;信息真假,难以辨识;信息安全,难以保证;信息形式不一致,难以统一处理;面对这一挑战,数据挖掘和知识发现(DMKD)技术应运而生,并显示出强大的生命力。数据挖掘就是从大量的、不完全的、有噪声的、模糊的、随机的实际应用数据中,提取隐含在其中的、人们事先不知道的、但又是潜在有用的信息和知识的过程。数据挖掘是一门交叉学科,它把人们对数据的应用从低层的简单查询,提升到从数据中挖掘知识,提供决策支持。在这种需求牵引下,汇聚了不同领域的研究者,尤其是数据库技术、人工智能技术、统计、可视化技术、并行计算等方面的学者和工程技术人员,投身到数据挖掘这一新兴的研究领域,形成新的技术热点。虽然统计学家与计算机专家关心Datamining的视角不完全相同,但可以说,Datamining与DSS一样,使得统计方法与计算机技术的结合达到了一个更高的层次。7、发展统计学的基本思路 统计学在统计实践中不断进步,不断发展。发展统计学的基本思路是密切联系统计工作实践,坚持以概率论和相关的其它数学理论为指导,以应用领域的“实质”科学研究为基础,抓住统计实践中各工作环节上突出的理论和方法问题进行研究。 7.1要坚持“大统计”思想,遵循学科发展的一般规律 “大统计”是一种思想。“小统计”思想片面强调社会经济统计的独立地位,实际上是主张社会经济统计与数理统计分立,认为社会经济统计属于经济学的分支,数理统计学属于数学的分支。在“小统计”思想影响下,我国统计科学发展十分缓慢。“大统计”思想不主张两门统计分立,认为无论是社会经济统计学,还是数理统计学以及其它应用统计学都是统计学的分支学科。统计学的各分支学科都是研究不同方面、不同应用领域的统计方法的科学,都具有如何“收集和分析数据”这一共性,否则,它就不属于统计学。因此,既鼓励统计学各分支学科\n相对独立发展,又主张各分支学科互相融通,相对独立是学科发展的结果,相互融通是学科发展的前提,这是学科发展的一般规律。 7.2要联系“实质”科学研究,推进分支统计学科的深入发展 “实质科学”是指与统计方法应用领域相关的学科。例如经济学、生物学,等等。如果不联系“实质”科学去研究统计方法和应用统计方法,一方面不可能发展新的统计理论和统计方法,另一方面在应用统计方法时也不可能对认识事物本质有任何帮助,甚至有可能导致错误的结论。 7.3要坚持以概率论等数学理论为指导,加深对统计方法的理性认识,提高统计科学水平统计学与数学相结合是近代统计学和现代统计学的基本特征,也是统计学发展过程中的总体趋势。离了数学理论的指导,就不可能对统计方法有深刻的理性认识,从而也不可能正确运用统计方法。 7.4要联系政府统计实际,抓住统计工作各个环节上的突出问题,研究和发展新兴统计技术 政府统计部门是收集和分析社会经济数据的主体部门。我国政府统计各个工作环节上都有大量的统计学理论和方法问题需要研究。 7.4.1在统计数据收集环节上,由于经济体制发生了变化,原有的统计调查方式已不适应。以周期性普查为基础,经常性抽样调查为主体,各种统计调查方法配合使用,这是我国统计调查体制改革的目标模式。 7.4.2在统计数据处理环节上,随着计算机辅助调查技术和网络调查技术的应用和发展,调查数据记录的类型将发生根本变化,因此,在数据处理环节上,我们必须研究和应用自动分类和数据仓库等技术。同时,还需要研究开发能支持所有统计信息发布媒体的综合统计信息系统,使数据处理和数据发布之间实现自动转换和自动传输。 7.4.3在统计数据分析环节上,开发和利用统计数据的各种分析推断方法及其软件层出不穷。8.总结 统计学是一门实质性的社会科学,既研究社会生活的客观规律,也研究统计方法。统计学是继承和发展基础统计的理论成果,坚持统计学的社会科学性质,使统计理论研究更接近统计工作实际,在国家和社会得到广泛发展。随着计算机技术应用的深入,统计学越来越离不开计算机技术,通过计算机软件将统计方法中复杂难懂的计算过程屏障起来,让用户直接看到统计输出结果与有关解释,从而使统计方法的普及变得非常容易,所以统计与实质性学科相结合,与计算机、与信息相结合,这是发展的趋势。