西藏自治区作为我国重要的生态安全屏障和边疆稳定地区，其农业发展对于维护国家生态安全、民族团结和社会稳定具有重大意义。尤其在实施巩固脱贫攻坚成果与乡村振兴有效衔接的发展战略背景下，实现农业科技跨越式高质量发展成为新时期西藏自治区的重要任务。近年来，我国政府高度重视西藏自治区的农业发展问题，通过加大投入、政策扶持等手段，为西藏农业科技成果评价提供了良好的政策环境。然而，受地理位置偏远和自然条件恶劣等因素影响，西藏农业科技成果的转化和推广受到一定制约。现行的西藏农业科技成果评价机制存在着评价标准不统一、评价方法不科学、评价体系不完善等问题，影响并阻碍了西藏农业科技成果的转化和推广。因此，新形势下西藏如何大力发展新质生产力，提升西藏农业科技成果质量与推广效益，实实在在提高农牧民收入，研究和探索西藏特色的农业科技成果评价政策机制，通过对现有评价机制的改革和完善，为西藏农业科技成果的转化和推广提供有力支撑，具有重要的现实意义。

1、国内外科技成果评价机制研究进展

1.1 国外科技成果评价机制研究

在发达国家，科技评价不仅限于科技成果本身，而是连续性贯穿科技项目的源起、发展与落地等整个研究与推广转化全过程的评价，通常具有科学系统化、制度完整化和评价常规化的完善评价秩序、评价体系和评价方法，并以法律规范了科技评价在国家战略发展与决策中的坚实地位与重要意义。相比较，目前我国的科技评价重点在于成果方面的评价，与国外科技评价的“落地”阶段相近。

1.1.1 国外科技评价的类型

国外科技评价是分类评价，依据科技评价的阶段划分为科技项目源起评价、研究发展过程评价和落地转化推广评价等3种；按照科技评价的目标划分为研究计划评价、科技项目评价、研究机构评价、科技工作者评价以及科技政策评价等5种；按照科技评价的主导单位又可分为为政府主导型和非政府主导型[1]。

1.1.2 发达国家科技评价的制度

1933年，美国出台《政府绩效和结果法案》，明确了科技评估的概念与制度，构建了从政府到社会、从中央到地方，各种科技评价组织并存的科技评价组织架构，并将科技评价列入政府绩效评价工作[2]。法国先后于1982年、1985年和1999年出台了《科技方针与规划法》《科技规划与指导法》和《技术创新与科研法》，立法明确科技评价工作必须贯穿整个研究的前期论证、立项审查、研究进程和结项转化等全部阶段[3]。德国政府将科技评价活动作为国家制定科研战略、设立科研院校以及教学研究的决策基础，制定差异化的评价准则，形成了严格的评价审查制度[4]。日本在1995年和1997年先后出台《科学技术基本法》和《国家研究开发实施办法指南》，创建了开放型研究评价体制基础架构[5]。

1.1.3 国外农业科技成果评价机制

在国际农业科技成果评价机制中，主要包括以下几种主要模式：

一是基于综合评估的成果评价机制，对农业科技成果进行涵盖科学性、技术性、经济性及社会性等多个方面的综合评估，全面地反映农业科技成果的实际价值和影响；

二是基于用户需求的成果评价机制，关注农业科技成果对用户需求的满足程度，将用户反馈和意见纳入评价考核范围，从用户角度评价成果的创新性、实用性和适应性；

三是基于成果转化的评价机制，着重强调成果的科学质量，考核农业科技成果的转化效果和社会经济效益，推动科技成果更好地为农业生产和农民收入增加作出贡献；

四是基于政策导向的成果评价机制，围绕国家和地方农业科技政策要求及目标，评价成果的贡献和契合度，衡量成果对政策目标的支撑度和推动力，促进科技成果的有效落地和推广应用。

综上所述，这些国际农业科技成果评价机制在不同国家和地区有所差异，但共同特点是注重全面、综合地评价成果质量和效果，强调成果的实际应用和转化效益。在西藏农业科技成果评价机制设计中，可以参考借鉴这些国际经验和做法，结合西藏区情和农业实际情况，构建适应西藏农业发展需要的成果评价机制。

1.2 国内农业科技成果评价机制研究

1.2.1 我国科技成果评价制度体系建设

相比于英、美等发达国家，我国科技成果评价活动开展的时间较晚，科技成果评价制度长期处于借鉴改进与适应创新的状态。进入21世纪后，我国愈发重视科技发展，科技成果突飞猛进，中央和地方陆续制定了一系列的科技成果评价制度。如科技部（2000年12月）、科技部、教育部等国家五部委（2003年5月）、科技部（2003年9月）先后出台《科技评估管理暂行办法》《关于改进科学技术评价工作的决定》和《科学技术评价办法》（试行），逐步明确了科技成果评价的原则、程序与内容。2008年7月，新修订的《中华人民共和国科学技术进步法》正式实施，以法律形式明确了科技评价的方式。2022年，《科学技术研究项目评价通则》和《科学技术研究项目评价实施指南基础研究项目》、《科学技术研究项目评价实施指南应用研究项目》、《科学技术研究项目评价实施指南开发研究项目》等4项科研项目评价国家标准正式发布实施，该系列标准与发达国家现行评价类型看齐，将科研项目评价活动分为立项评价、中期评价、验收评价和跟踪评价4种类型，并针对各种项目特点提出了参考评价的内容。

近年来，各地方政府不断提升科技成果评价标准规范的地位，湖南省、上海市、福建省、山东省、湖北省、河北省等省和直辖市先后制定并实施了地方标准的科技成果评价规范、科技成果分类评价和价值潜力评价规范。太原市、江门市、威海市、锦州市、临沂市、镇江市等地市则先后出台实施了地级市层面的科技成果评价规范、应用类科技成果评价规范、科技成果评估人才能力评价规范和科技成果评价机构服务规范等地方标准。安徽省先后制定并实施了《科技成果评价规范》《科技成果转化风险评价指南》、《科技成果评价机构运营服务规范》，实现了科技成果评价全方面制度化。

1.2.2 我国农业科技成果评价标准化发展

1988年和1996年我国先后发布的《农业科学技术成果鉴定暂行办法》（试行）和《农业科学技术成果鉴定暂行办法》，实施以行业专家鉴定为主的评价农业科技成果方法。2009年，科技部、国家科学技术奖励工作办公室以中国农学会在内的9家单位和12家机构为科技成果评价试点，在国家层面正式开启我国农业科技成果标准化评价。2015年出台《农业科技成果评价技术规范》。2023年，由北京市农林科学院信息技术研究中心、中华全国供销合作总社科技推广中心、中华全国供销合作总社北京商业机械研究所、北大荒信息有限公司、农芯科技（北京）有限责任公司和沈阳农业大学等单位联合起草的《农业科技成果转化信息服务平台建设与运维技术规范》获得通过，并于2024年6月1日正式实施。

2022年1月1日，四川省正式实施《农业科技成果效益计算方法及规程》，该标准由四川省农村科技发展中心联合四川农业大学起草，规定了该省农业科技成果效益的计算原则、计算指标、计算方法、计算参数、计算程序与步骤，可计算农业科技成果在转化后取得的经济、社会、生态效益，并预测生产效益。

1.2.3 我国农业科技成果评价研究综述

在宏观区域研究上，我国目前已经形成了省[6]、市[7]、县[8]、开发区[9]等多维度的农业科技评价体系。在中观行业研究上，渔业[10]、果树[11]等行业性保护科技成果转化案例研究层出不穷。微观对象研究可分为科研主体研究和成果评价研究两类。科研主体既是农业科技创新的主体和生产者，也是科技成果评价的参与者和推动者，更是科技成果转化的关键环节。我国学者分别从农业科研机构创新绩效[12]、技术创新能力[13]、科技成果转化能力[14]等视角探究农业科研主体在农业科技成果转化过程中的贡献力。而国内农业科技成果评价更加注重具体科研项目或科技成果的评估，包括经济效益评价[15]、应用价值评价[16]、第三方评价[17]、分类评价[18]和信息化评价[19]等。

国内农业科技成果评价机制呈现多种类型并存的特点，主要有基于绩效评价、对比评价、专家评价、指标评价以及市场评价等5种类型[20]，分别适用于不同的评价场景和目的，其中，绩效评价机制侧重于农业科技成果的实际效果和应用价值，通过对科技成果的产出情况、技术应用情况以及经济和社会效益的评估，来判断科技成果的贡献程度和评价结果。对比评价机制通过将科技成果与同类或同类别的其他成果进行对比，分析其在关键技术指标、成本效益等方面的差异，从而评价科技成果的优劣和贡献度。专家评价机制主要依赖专家的专业知识和经验进行评价，通过专家的评估和判断，来确定科技成果的质量和价值。

这些评价机制为西藏农业科技成果的评价提供了丰富的方法和手段，但在实际运用中也存在一些问题和挑战，如评价指标选择的科学性和合理性、评价过程中的主观性和偏差等。因此，新形势下西藏农业科技成果评价应借鉴国内外的经验，并结合西藏农业科技的实际情况制定符合本地特色的评价机制，建立西藏统一分类的评价标准和指标体系，注重符合西藏农业科技需求的成果应用和转化，加强评价过程的社会参与和应用反馈，以提高评价的客观性和科学性，真正促进西藏农业高质量发展。

2、西藏农业科技环境发展现状

2.1 西藏农业科技载体平台建设情况

长期以来，是由驻地的中央级科研院所和属地院所高校作为西藏科技创新的主体，担负着科技创新发展的前沿任务，为西藏农牧业发展等主导产业提供了关键的科技支撑。全域普遍存在中小型科技创新企业和高新技术企业规模小、创新能力弱，科技型人才短缺，科技成果转移转化过少等痛点与难题，农业科技创新发展成为西藏巩固拓展脱贫攻坚成果和乡村振兴有效衔接，以及建设全面小康社会的关键驱动力。

截至目前，西藏自治区有西藏大学、西藏民族大学、西藏农牧学院等7所高校和西藏自治区农牧科学院等区内院所、以及中国科学院拉萨高原生态试验站、青藏高原所拉萨部等十余所区外科研单位为自治区农牧业发展持续提供科技创新支撑。2021年底，自治区全部高校人员是企业的1.98倍，成为西藏科技创新的主要力量。2022年底，全区共有高新技术企业112家，同比增长8.7%；工业总产值达157.87亿元，同比增长0.14%；利润总额45.06亿元，同比减少32.05%；研发费用15.29亿元，同比减少1.04%；企业拥有有效专利1300件，同比增长14.54%；其中发明专利429件，同比增长12.6%；软件著作权2188件，同比增长4.64%。随着雅下清洁能源、生态灾害等创新力量的部署，以及二次科考的深入推进，国家野外台站在西藏得以广泛布局，国家级和区外的科研力量已经成为西藏不容忽视的一支力量。近两年，西藏科技创新项目对全国开放，已经逐步推动了区内外科研院所协同创新，但区内外科技创新主体合作研发活力略显不足。

截至2022年底，西藏自治区拥有包括国家高新技术产业开发区、国家农业科技园、国家“双创”示范基地等在内的29个国家级平台载体，其中，农业类科技创新平台22个，占比超过75%，进一步证明农业科技创新水平对西藏自治区发展的重要性。其中，国家农业科技园区西藏有4家（西藏拉萨国家农业科技园区、西藏日喀则国家农业科技园区、西藏那曲国家农业科技园区、西藏林芝国家农业科技园区）；国家现代农业示范区有3个（西藏自治区曲水县才纳乡国家现代农业示范区、西藏自治区白朗县嘎东镇国家现代农业示范区、西藏自治区乃东县国家现代农业示范区）；国家现代农业产业园有7个（西藏自治区白朗县现代农业产业园、西藏自治区拉萨市城关区现代农业产业园、西藏自治区工布江达县现代农业产业园、西藏自治区那曲市色尼区现代农业产业园、西藏自治区萨迦县现代农业产业园、西藏自治区当雄县现代农业产业园、西藏自治区波密县现代农业产业园，已认定前两个）；国家农业可持续发展试验示范区（国家农业绿色发展先行区）3个（西藏自治区日喀则市仲巴县、白朗县国家农业绿色发展先行区、拉萨市曲水县）；国家农业现代化示范区有3个（西藏桑日县、波密县、白朗县），空间上形成了以农业科技创新载体占主导地位，生物医学、生态工程等为补充的科技创新平台体系。随着自治区不断晋级发展的国家级和自治区级创新平台建设，全自治区需要与之匹配的创新主体、科技人才和科技金融的支撑，才能真正确保新时代西藏科技创新的大发展。

总体来看，西藏自治区科技创新总体支撑能力相对薄弱，引领高质量发展的动能还不够强劲。作为农业科技创新活动重要平台和载体的农业科研基地和产业园区正在建设初期，农业企业是目前自治区农业科技成果转化的主力军和供给源，但总体承接科技成果转移转化的推广与应用效果不佳，农业科技成果转移转化基金、科技金融产品和载体等相关事宜也尚未有具体的政策支撑和体制机制。

2.2 西藏农业科技论文产出情况

在中国知网以“西藏农业”为主题，检索到学术成果760篇，其中期刊论文620篇、学位论文40篇、会议论文16篇、报纸报道49篇，其他15篇。以“西藏农业科技”为主题的学术成果120篇，包括期刊论文96篇、学位论文19篇、会议论文2篇、报纸报道1篇，其他2篇。

2.2.1 学术论文成果发表趋势

中国知网首篇以“西藏农业”为主题的期刊论文发表于1952年，此后的1954年、1955年、1956年、1959年、1963年、1974年、1977年间断性每年有1篇论文发表，1977—2023年实现了“西藏农业”主题论文连续性发表，发表数量总体呈现波动上升趋势。其中，1985年同年发表首次突破5篇，1992年同年发表首次突破10篇，1994年同年发表首次突破20篇，2015年同年发表期刊论文35篇，2017年发文量最多，达到37篇；2010年以来，始终保持15篇以上的发文数量（图1）。

图1 中国知网以“西藏农业”主题检索期刊论文发表趋势

中国知网首篇以“西藏农业科技”为主题的期刊论文是1977年的西藏自治区农业科技类学术期刊《西藏农业科技》的创刊发文《致读者》。整体来看，“西藏农业科技”主题论文的发表数量少，仅占“西藏农业”主题论文的15.51%，年均发文数量不足5篇，在1997—2023年间仅有2014年和2015年突破5篇，1998年、2001年和2005年达到5篇，1978—1986年、1988—1990年和2006年均没有相关主题期刊论文发表（图2）。

图2 中国知网以“西藏农业科技”主题检索期刊论文发表趋势

2.2.2 学术论文成果来源期刊

以“西藏农业”为主题的发文超过10篇的期刊依次为《西藏农业科技》（173篇）、《西藏科技》（58篇）、《西藏研究》（16篇）、《安徽农业科学》（10篇）、《西藏发展论坛》（10篇），排名前五的期刊发文占比达到43.13%；西藏地区刊物发文总量为286篇，占比达到46.20%；北大核心、CSSCI、AMI和EI论文合计80篇，占比10.51%。

以“西藏农业科技”为主题发文超过10篇的期刊为《西藏农业科技》（49篇）和《西藏科技》（14篇），两个期刊发文占比高达65.62%；《北京农业》发文3篇，《福建农业》《西藏发展论坛》《中国农村科技》分别发文2篇，发文量大于2篇的期刊发文总量占比达到75.00%，其他发文仅为1篇的期刊占比25.00%。而北大核心、CSSCI、AMI论文合计只有7篇，占比仅为5.79%。

2.2.3 学术论文成果发文单位

从“西藏农业”为主题、发文量超过10篇的单位看，以西藏自治区内的科研院所为主，仅有西北农林科技大学（20篇）和中国科学院地理科学与资源研究所（11篇）是西藏自治区以外的单位。西藏自治区农牧科学院农业研究所、西藏农牧学院和西藏农牧科学院是“西藏农业”研究的主力军，发文均超过50篇，分别为93篇、67篇和64篇；西藏大学以42篇的成绩成为中坚力量；其他主要发文单位为西藏民族大学、西藏农业技术推广服务中心、西藏职业技术学院和西藏民族大学，依次发文16篇、16篇、14篇和13篇。

以“西藏农业科技”为主题的学术研究论文发表单位相较于“西藏农业”为主题的单位更加丰富，但仍以西藏自治区内的单位为主。其中，西藏自治区农牧科学院农业研究所和西藏农牧科学院分别以36篇和10篇发文量为西藏农业科技传播作出重要贡献；自治区外的科研单位分别是中国农业科学院发文6篇，中国科学院地理科学与资源研究所和西北农林科技大学各发文4篇，中国科学院研究生院发文2篇。

2.2.4 学术论文成果受资助基金项目

以“西藏农业”为主题的文献资助基金种类多样，以国家基金项目为主，其中国家社会科学基金、国家自然科学基金和国家科技支撑计划位居前三，分别有25篇、12篇和8篇，而西藏自治区内部资助项目仅9篇。以“西藏农业科技”为主题的文献资助基金仅有6种，分别为国家科技支撑计划、国家自然科学基金、国家重点研发项目、国家科学院所科技开发研究专项资金、清华大学基础研究基金和西藏自治区软科学研究计划。

整体来看，西藏关于农业发展和农业科技的研究文献处于逐年增长的上升趋势。自和平解放西藏以后就开始了主题涉及“西藏农业”的科学研究，而有关“西藏农业科技”的学术研究相对较晚，符合西藏社会发展阶段的实际。研究显示，关于西藏农业和农业科技的研究文献总量不大，且期刊来源以西藏本地刊物为主，国内主流核心期刊论文发表数量少，西藏的农业科技成果在全国范围内传播影响力较小。另外，研究西藏农业和农业科技的科研单位多为辖区内属地科研单位和高等院校，以及与西藏有合作的中央直属科研单位。

2.3 新形势下西藏农业科技发展趋势

2.3.1 农业科技创新制度化

2020年西藏自治区印发《西藏自治区农业科技园区管理办法》《科技支撑草业发展三年行动计划（2020—2022年）》，2021年先后出台《西藏自治区“十四五”时期科技创新规划》《西藏自治区“十四五”时期推进农业农村现代化规划》《西藏自治区建设项目环境影响评价文件技术评估工作规程（试行）》等与农业科技成果转化相关的制度性文件和短期规划，为西藏自治区农业科技发展提供了制度保障和目标导向。

2.3.2 农业科技平台载体全面化

截至2022年底，西藏自治区拥有包括国家高新技术产业开发区、国家农业科技园、国家“双创”示范基地等在内的29个国家级平台载体，其中农业类科技创新平台22个，占比超过75%，数量和规模得到显著提升，基本覆盖西藏主要农业区域，不仅成为雪域高原农业科技成果转化的重要平台，还能带动农村经济社会发展，推动西藏农牧业现代化发展。

2.3.3 农业科技的研发力量不断壮大

首先，随着社会经济的发展和科技力量的不断壮大，西藏自治区政府和相关机构逐渐增加了对农业科技研发的投入，为科研人员提供了更优质的研究环境。其次，西藏特色科研院所科教实力不断增强，壮大了农业、生态环境、气候变化等领域的专业科技人才数量，其具备的丰富实践经验和专业知识，为西藏农业科技发展提供了强有力的人才支撑和智力支持。最后，“一带一路”倡议的推进和国际间合作交流的加强，使西藏农业科技领域与国内外科研机构和企业的合作机会不断增多，为西藏农业科技的引进、消化和吸收提供了更广阔的空间，不断加快西藏农业科技的国际化和现代化进程。

3、构建西藏农业科技成果评价机制

在新形势下，通过创新体制机制，推动西藏自治区农业科技成果评价机制建设，解决科研与产业“两张皮”问题，引领带动西藏地区及全国现代农业高质量发展，打造具有高原特色的农业农村科技成果评价“西藏模式”。

3.1 建立健全的组织架构和管理体制

在西藏农业科技成果评价过程中，结合西藏农牧业发展的关键技术和发展方向，明确各评价主体的责任和权限，建立科学高效的组织架构，例如成立专门的农业科技成果评价机构或部门。同时，建立科技部门与农业科技型产业园区、新型生产和经营主体之间的协作机制，以促进科技成果的转化和应用[8]。

3.2 构建科学规范的评价指标体系

针对西藏特殊的农业生产环境和状况，制定适用于西藏自身特征的多维度、全面性、差异化的评价指标体系，包括农业科技成果的技术性指标、经济性指标以及与农业生产和农民收益密切相关的环境指标。评价指标应具有特殊性、科学性、可操作性和可比性，能真实地反映西藏农业科技成果的综合效益和社会效益，降低评价偏差。

3.3 加强评价方法和手段的创新应用

在西藏农业科技成果评价过程中，引入先进的评价方法和手段，提高评价结果的准确性和可靠性。利用信息技术和专业软件开发评价模型，结合观测数据、专家意见和农民调查结果等信息，对农业科技成果的综合实际效果进行评估。同时，借鉴国内外先进的评价方法和经验，适度开展定性分析和定量评价，提高评价的科学性和客观性。

3.4 全程规范管理评价过程

加强对西藏农业科技成果评价机制的监测和评估，利用信息化手段，如云计算、大数据等技术，对评价过程进行全程规范管理，提高评价结果的准确性和可信度。由自治区科技厅和农业农村局相关部门协同管理和共享评价指标数据、评价方法、评价结果等，加强评价数据的采集、存储和分析，提高评价过程的透明性和可追溯性。及时发现并解决评价机制中存在的问题和不足，优化评价机制的运行效率和效果。

3.5 加强评价结果的宣传和推广

通过定期举办线上线下的西藏农业科技成果评价交流会议、编制评价报告和发布评价指南等方式，向自治区农业科技园区、农业生产主体、科研机构和政府部门广泛宣传评价结果，精准推广科技研发成果转移转化。多种渠道普及农业科技成果评价的重要性和目的，提高评价

结果的社会影响力和公信力。

参考文献:

[1]许端阳.国外技术转移监测评价的特点及其对我国科技成果转化评价的启示[J].科技管理研究,2013,33(21):23-28.

[2]顾海兵,齐心.美国科技评估制度的研究与借鉴[J].科学中国人,2004(6):40-43.

[3]史飞.法国科技评估体系与运作模式[J].全球科技经济瞭望,2002(6):26-27.

[4]顾海兵,佟莹.借鉴德国经验完善我国科技评审制度[J].上饶师范学院学报(社会科学版),2004(2):1-4.

[5]李慧泉,毛世平.日本农业科技创新体系的现实特征及对中国的启示[J].科技管理研究,2021,41(22):44-52.

[6]郑姣,王波.嵌入创新承载力的西部区域省份科技创新能力评价与协调性测度[J].科技和产业,2022,22(10):357-365.

[7]汤瑛芳,张正英,白贺兰等.甘肃14市州“十二五”农业科技进步水平综合评价[J].中国农业资源与区划,2018,39(10):115-121.

[8]王羽涛,翁李胜,朱利群.全国农业科技现代化先行县评价指标体系构建与应用[J].农业展望,2023,19(12):87-96.

[10]赵蕾,刘建伟,杨子江等.基于模糊综合评价法的渔业科技成果转化率测算研究——以某水产科研院所为例[J].中国渔业经济,2012,30(5):76-84.

[11]马凌珂.林果类农业科研院所科技成果转化实践与探索——以中国农业科学院郑州果树研究所为例[J].农业科技管理,2022,41(2):52-55.

[12]陈耀,赵芝俊,高芸.中国省域农业科研机构科技创新效率及影响因素分析[J].浙江农业学报,2020,32(4):731-741.

[13]池敏青,刘用场,张梅等.创新链视角下地方公益农业类科研机构创新效率测度研究[J].农业科技管理,2024,43(1):19-24.

[14]贤鑫,李桐,陆建中.基于AHP的农业科研院所科技成果转化能力评价指标体系研究[J].中国农业科技导报,2023,25(5):8-23.

[15]刘强,唐莎.新形势下完善农业科学技术成果评价的对策[J].四川农业科技,2018(4):5-7.

[16]李庆,张荣俊.“农业临床”在现代农业中的应用及前景展望——以济南地区草莓技术服务为例[J].中国农业信息,2017(24):90-92.

[17]胡亚菲.四川省科技成果第三方评价机制初探[J].技术与市场,2018,25(8):98-99,101.

[18]蔡彦虹,夏文勇,张雯丽等.推动农业科技成果评价体系改革的探讨[J].农业科技管理,2022,41(1):41-44,75.

[19]周宪龙,张宏媛,梁丽娜.农业科技成果评价信息系统设计与实现[J].农业科研经济管理,2023(1):4-9.

[20]雷玲,范燕妮.我国农业科技评价指标体系研究综述[J].农村经济与科技,2020,31(21):19-21.

基金资助:中央引导地方项目(XZ202201YD0003C);

文章来源:孙维,史雅娟,尹鹏星.新形势下西藏农业科技成果评价机制探索[J].西藏农业科技,2024,46(04):6-11.