ABSTRACT

Objective: To develop a multimedia educational computer program designed to teach pleural drainage techniques to health professionals, as well as to evaluate its efficacy. Methods: We planned and developed a program, which was evaluated by 35 medical students, randomized into two groups. Group 1 comprised 18 students who studied using the program, and group 2 comprised 17 students who attended a traditional theoretical class given by an experienced teacher. Group 1 students were submitted to two subjective evaluations using questionnaires, and both groups took an objective theoretical test with multiple-choice questions and descriptive questions. The results of the theoretical test were compared using the Mann-Whitney test. Results: The subjective evaluation of the technological aspects and content of the program ranged from excellent to very good and good. The software was considered highly instructive by 16 students (88.9%), and 17 students (94.4%) thought it might partially substitute for traditional classes. Between the two groups, there was no significant difference in the multiple-choice test results, although there was such a difference in the descriptive question results (p < 0.001), group 1 students scoring higher than did those in group 2. Conclusions: The computer program developed at the Federal University of São Paulo Paulista School of Medicine proved to be a feasible means of teaching pleural drainage techniques. The subjective evaluation of this new teaching method revealed a high level of student satisfaction, and the objective evaluation showed that the program was as efficacious as is traditional instruction.

Keywords: Teaching; Thoracic surgery; Multimedia; Drainage; Pleural diseases.

RESUMO

Objetivo: Desenvolver um programa educacional de computador sobre drenagem pleural voltado a profissionais de saúde, com recursos de multimídia, e avaliar sua eficácia com alunos. Métodos: Foi planejado o desenvolvimento do programa e a avaliação foi realizada com 35 alunos do curso de medicina divididos aleatoriamente em dois grupos. O grupo 1, composto por 18 alunos, estudou com o programa e o grupo 2, com 17 alunos, recebeu uma aula teórica tradicional, com professor experiente. Os alunos do grupo 1 foram submetidos a duas avaliações subjetivas por questionários, e os alunos de ambos os grupos foram submetidos a uma prova teórica objetiva com testes de múltipla escolha e questões descritivas. Os resultados da prova teórica foram comparados por meio do teste de Mann-Whitney. Resultados: A avaliação subjetiva quanto aos aspectos de informática e conteúdo mostrou resultados entre ótimo, muito bom e bom. O programa foi considerado totalmente didático por 16 alunos (88,9%) e 17 alunos (94,4%) responderam que pode vir a substituir parcialmente as aulas tradicionais. Não houve diferença significante entre os dois grupos nos testes de múltipla escolha, mas houve diferença significante nas questões descritivas (p < 0,001). O grupo 1 obteve notas maiores que as do grupo 2. Conclusões: O desenvolvimento do programa de computador para ensino de drenagem pleural na Universidade Federal de São Paulo/Escola Paulista de Medicina mostrou-se factível. A avaliação subjetiva deste novo método de ensino mostrou-se altamente satisfatória e a avaliação objetiva mostrou que o programa foi tão eficaz quanto o ensino tradicional.

Palavras-chave: Ensino; Cirurgia torácica; Multimídia; Drenagem; Doenças pleurais.

Introdução

A colocação de um dreno na cavidade pleural é um procedimento descrito desde a época de Hipócrates, tendo sido aperfeiçoado no decorrer do tempo. Nesse processo, o desenvolvimento do sistema de selo d'água foi um grande avanço, mas há necessidade de conhecimento específico tanto para a realização da operação, como para o cuidado e acompanhamento dos doentes submetidos ao procedimento.

A ciência da computação teve seu início em 1946. Em 1959, surgiram os primeiros sistemas para a tomada de decisão médica.(1) A partir de 1962, surgiram os primeiros sistemas de aplicação em hospitais.(2) Na década de 70, com o surgimento do microcomputador, começou a haver um maior envolvimento da informática na medicina, inicialmente em sistemas administrativos hospitalares e no manuseio das informações gerenciais,(3) evoluindo para a relação médico-paciente e o ensino.

Simultaneamente, começaram a evidenciar-se as vantagens da aplicação da nova tecnologia aos mais variados setores, com prontuários legíveis e programas de auxílio à decisão clínica.(4,5)

Surgiram os questionamentos sobre a aplicação futura no ensino.(6,7) Foram realizadas comparações entre o ensino por computador e o tradicional.(8-13) O custo da nova forma de ensino foi investigado, apontando vantagens para o computador conforme o tempo passava.(14)

O conceito de simulações computadorizadas foi iniciado no ensino médico com resultados satisfatórios.(15-17) Discutiram-se as mudanças e vantagens que a eletrônica vinha trazendo para a educação.(18)
O desenvolvimento de programas educacionais na Escola Paulista de Medicina (EPM) iniciou-se em 1990.(19,20) A incorporação de sons e a gravação de um maior número de informações em sistemas tipo Compact Disc - Read Only Memory (CD-ROM) constituiu grande avanço.(21,22) Foi delineada uma metodologia para o desenvolvimento de projetos multimídia na área médica com resultados satisfatórios.(23)

Despontou e foi crescendo dentro da Universidade Federal de São Paulo (UNIFESP) o conceito de ensino à distância, criando-se a UNIFESP Virtual.
Os sistemas, materiais e cuidados com a drenagem pleural devem ser conhecidos por todos os profissionais de saúde.(24-27) Vendo a facilidade com que as novas gerações aprendem com a informática, tivemos a idéia de agregar à nova ferramenta a experiência com esse procedimento.

O objetivo deste trabalho é desenvolver um programa educacional de computador sobre drenagem pleural, voltado a profissionais de saúde, com recursos de multimídia, e avaliar sua eficácia com alunos do curso de graduação em medicina.

Métodos

O método está dividido em desenvolvimento e avaliação.

Desenvolvimento

Foi planejado o desenvolvimento de um programa educacional sobre drenagem pleural. A aquisição do conhecimento foi definida com base em artigos publicados em periódicos e livros, além da experiência de numerosas aulas.(24-26)

O programa usa os recursos de multimídia, isto é, desenhos originais, fotografias, animações, vídeos, textos e narração. Utilizou-se, para o processamento, um microcomputador. Como sistema de autoria, utilizou-se o programa Macromedia Director 6.5; para o funcionamento das imagens em vídeo, utilizou-se o programa Quicktime 3.0 para Windows.

Depois de finalizado, o programa foi gravado em CD-ROM.

Avaliação

Após aprovação do protocolo pela comissão de ética, o programa foi testado com alunos do quarto ano do curso de graduação em medicina da UNIFESP-EPM, durante o estágio que cumpriam na disciplina de cirurgia torácica. O público alvo para o teste foi a terceira turma no estágio curricular. A turma era composta por 36 alunos. Sem qualquer conhecimento prévio, a turma foi aleatoriamente dividida, por meio de um sorteio, em dois grupos semelhantes. O grupo 1 estudou individualmente por meio do programa e o grupo 2 teve a aula teórica tradicional.

A aula teórica sobre drenagem pleural foi ministrada por um docente da disciplina de cirurgia torácica com grande experiência no assunto cuja didática é reconhecida por toda a universidade. Esse docente não tinha conhecimento prévio do programa.

A avaliação foi dividida em duas partes: avaliação subjetiva, com dois questionários aplicados aos alunos do grupo 1, e avaliação objetiva aplicada aos dois grupos.

A avaliação objetiva foi realizada por meio de uma prova teórica, elaborada por uma banca de três médicos e docentes da disciplina de cirurgia torácica que não conheciam o programa. A banca recebeu a informação de que o objetivo não seria a nota do aluno e sim a comparação entre os dois métodos. A prova teórica objetiva constou de 36 questões, sob a forma de teste de múltipla escolha, e sete questões descritivas.

No dia marcado para a aula foi realizado o experimento. O grupo sorteado para a aula teórica permaneceu na sala e o grupo de estudo em computador foi encaminhado ao laboratório de informática. Um aluno do grupo 2 (aula tradicional) chegou atrasado e foi excluído do experimento. No grupo 1, portanto, havia 18 alunos e no grupo 2 havia 17, com um total de 35 alunos.

O tempo definido para a aula teórica foi de uma hora e 30 minutos (tempo habitual desta aula na graduação) e o mesmo tempo foi disponibilizado para que os alunos do grupo 1 estudassem individualmente com o programa. Logo ao final do estudo em computador, os alunos do grupo 1 responderam à primeira avaliação, chamada de subjetiva rápida, com questões voltadas a detectar a impressão inicial. Em seguida, foi aplicada para ambos os grupos a prova teórica objetiva, sem limite de tempo para as respostas. Por fim, foi realizada a avaliação subjetiva minuciosa, pelos alunos do grupo 1, por meio de um segundo questionário mais detalhado.

A prova teórica objetiva foi corrigida pela banca que a elaborou. A banca atribuiu a cada teste de múltipla escolha correto o valor de 0,2 pontos e a cada questão descritiva o valor máximo de 0,4. A nota máxima possível nos testes de múltipla escolha seria 7,2; nas questões descritivas, 2,8; e, na prova total geral, 10.

Os resultados da prova teórica objetiva dos dois grupos foram tabulados quanto às notas nos testes de múltipla escolha, questões descritivas e nota geral. Para a análise dos resultados, aplicou-se, o teste de Mann-Whitney,(28) com o objetivo de comparar os grupos 1 e 2. Adotou-se 0,05 ou 5% como nível para a rejeição da hipótese de nulidade.

Resultados

Os resultados estão divididos em desenvolvimento e avaliação.

Desenvolvimento

Desenvolver um programa educacional de computador para o ensino de drenagem pleural mostrou-se factível. O programa foi realizado e gravado em CD-ROM e ocupou um total de 214 megabytes. O conteúdo teórico foi dividido em cinco seções: Introdução, Fundamentos, Materiais, Técnica e
Evolução. Em todas as partes do programa, o usuário tem, abaixo da tela principal, botões de navegação, com a opção de ver as instruções e de retornar à tela inicial. Em todas as seções o conteúdo é também narrado.

A Introdução utiliza desenhos, fotografias e animações. É subdividida em: Anatomia (Figura 1), Punção pleural e Drenagem pleural.



A seção Fundamentos utiliza recursos de desenhos com animação. É subdividida em: Pneumotórax aberto, Sistema básico para drenagem pleural fechada, Oscilação do nível de água, Drenagem de líquidos, Drenagem de ar, Diagnóstico de fístula e Drenagem pleural aberta.

A seção Materiais utiliza recursos de fotografias e desenhos. São expostas pequenas fotografias dos itens utilizados em drenagem pleural; o usuário tem a opção de selecionar cada um dos 18 itens, com o auxílio do mouse. (Figura 2).



A seção Técnica dispõe de vídeos narrados e subdivide-se nos tópicos de uma drenagem pleural, com dreno tubular.

A seção Evolução utiliza recursos de fotografias, desenhos e animações e nela são descritos os cuidados com o doente e com o sistema de drenagem. É subdividida em: Cuidados, Aspiração contínua e Retirada do dreno.

Avaliação

Os resultados da avaliação estão divididos em avaliação subjetiva rápida, avaliação subjetiva minuciosa e prova teórica objetiva.

Avaliação subjetiva rápida

Esta avaliação constou de seis perguntas, cujas respostas o aluno devia escolher entre as opções: discordo completamente, discordo, não concordo nem discordo, concordo, concordo completamente. As perguntas foram:

 O programa é de fácil uso?
 O programa é agradável?
 O programa propôs-me retorno imediato?
 O programa é didático?
 Gostaria de ter programas para outros tópicos?
 Programas como este já são suficientes para substituir o professor?

O total das respostas dos 18 alunos para cada item está na Figura 3.



Avaliação subjetiva minuciosa

A avaliação subjetiva minuciosa constou de um questionário sobre três tópicos: aspectos de informática; conteúdo teórico; e avaliação geral do programa.

Avaliação das características do software quanto aos aspectos de informática

 "Qual a sua avaliação quanto à apresentação do programa (avalie o aspecto visual das telas, imagens, animações)?"

Ótimo, 8 alunos (44,4%); muito bom, 8 alunos (44,4%); bom, 2 alunos (11,1%); regular ou ruim, 0 alunos (0%).

"Qual a sua avaliação quanto à navegabilidade do programa?"
Ótimo, 9 alunos (50,0%); muito bom, 8 alunos (44,4%); bom, 0 alunos (0%); regular, 1 aluno (5,6%); ruim, 0 alunos (0%).

 "Qual a sua avaliação quanto à facilidade para encontrar as informações que precisou pesquisar?"

Ótimo, 3 alunos (16,7%); muito bom, 10 alunos (55,6%); bom, 4 alunos (22,2%); regular, 1 aluno (5,6%); ruim, 0 alunos (0%).

"Qual a sua avaliação quanto aos botões utilizados para realizar a navegação pelo programa?"

Ótimo, 5 alunos (27,8%); muito bom, 12 alunos (66,7%); bom, 0 alunos (0%); regular, 1 aluno (5,6%); ruim, 0 alunos (0%).

"Você encontrou algum problema durante o uso do programa?"

Não, 15 alunos (83,3%); sim, 3 alunos (16,7%). Esclarecemos que todos os problemas relacionaram-se ao computador, e não ao programa.

 "Como você classifica o seu grau de conhecimento em
informática?"

Ótimo, 0 alunos (0%); muito bom, 3 alunos (16,7%); bom, 10 alunos (55,6%); regular, 5 alunos (27,8%); ruim, 0 alunos (0%).

Avaliação das características do programa quanto ao conteúdo teórico
"Qual a sua avaliação quanto ao conteúdo teórico? Foi adequado às suas expectativas?"

Ótimo, 2 alunos (11,1%); muito bom, 8 alunos (44,4%); bom, 6 alunos (33,3%); regular, 2 alunos (11,1%); ruim, 0 alunos (0%).

"Qual a sua avaliação quanto à forma como o conteúdo foi dividido e distribuído no programa?"

Ótimo, 7 alunos (38,9%); muito bom, 6 alunos (33,3%); bom, 5 alunos (27,8%); regular, 0 alunos (0%); ruim, 0 alunos (0%).

"Qual a sua avaliação do conteúdo do tema Introdução?"

Ótimo, 5 alunos (27,8%); muito bom, 7 alunos (38,9%); bom, 6 alunos (33,3%); regular, 0 alunos (0%); ruim, 0 alunos (0%).

"Qual a sua avaliação do conteúdo do tema Fundamentos?"

Ótimo, 7 alunos (38,9%); muito bom, 4 alunos (22,2%); bom, 7 alunos (38,9%); regular, 0 alunos (0%); ruim, 0 alunos (0%).

"Qual a sua avaliação do conteúdo do tema Materiais?".

Ótimo, 6 alunos (33,3%); muito bom, 8 alunos (44,4%); bom, 3 alunos (16,7%); regular, 1 aluno (5,6%); ruim, 0 alunos (0%).

"Qual a sua avaliação do conteúdo do tema Técnica?"

Ótimo, 9 alunos (50,0%); muito bom, 6 alunos (33,3%); bom, 3 alunos (16,7%); regular, 0 alunos (0%); ruim, 0 alunos (0%).

"Qual a sua avaliação do conteúdo do tema Evolução?"

Ótimo, 6 alunos (33,3%); muito bom, 5 alunos (27,8%); bom, 6 alunos (33,3%); regular, 1 aluno (5,6%); ruim, 0 alunos (0%).

"Qual a sua avaliação geral do programa quanto ao aspecto teórico?"

Ótimo, 1 aluno (5,6%); muito bom, 11 alunos (61,1%); bom, 4 alunos (22,2%); regular, 2 alunos (11,1%); ruim, 0 alunos (0%).

Avaliação geral do CD-ROM
"Na sua opinião o CD-ROM foi didático?".

Totalmente didático, 16 alunos (88,9%); parcialmente didático, 2 alunos (11,1%); muito pouco, 0 alunos (0%). As freqüências das respostas dos alunos estão apresentadas na Figura 4.



"Qual o seu grau de satisfação com o CD-ROM?".

Totalmente satisfeitos, 12 alunos (66,7%); parcialmente satisfeitos, 6 alunos (33,3%); muito pouco satisfeito, 0 alunos (0%).

"Você acredita que os programas em CD-ROM podem vir a substituir as aulas teóricas tradicionais?"

Totalmente, 1 aluno (5,6%); parcialmente, 17 alunos (94,4%); muito pouco, 0 alunos (0%).

"Você já havia utilizado um CD-ROM para aprender sobre algum assunto de medicina?"

Sim, 11 alunos (61,1%); não, 7 alunos (38,9%).

"Após o uso do CD-ROM de drenagem pleural, como ficou sua opinião quanto ao uso de CD-ROM no ensino médico?"

Mais favorável, 14 alunos (77,8%); não houve mudança, 4 alunos (22,2%); menos favorável, 0 alunos (0%).

Prova teórica objetiva

Na Tabela 1 são mostradas as notas dos alunos do grupo 1 e do grupo 2, com as respectivas médias, da parte descritiva e nota geral, atribuídas aos testes.



Quando se compararam as notas dos testes de múltipla escolha do grupo 1 e do grupo 2, encontrou-se um z calculado de 0,97 para um z crítico de 1,96, não havendo, portanto, diferença significante.

Quando se compararam as notas das questões descritivas do grupo 1 e do grupo 2, encontrou-se um z calculado de 3,33 para um z crítico de 1,96, havendo, portanto, diferença significante para p < 0,001, isto é, as notas das questões descritivas do grupo 1 foram significantemente maiores que as do grupo 2.

Quando foram comparadas as notas gerais finais do grupo 1 e do grupo 2, utilizando-se o teste de Mann-Whitney, encontrou-se um z calculado de 1,19 para um z crítico de 1,96, não havendo, portanto, diferença significante.

Discussão

Encontrar o melhor método de motivar o aluno e transmitir conhecimento vem movendo o mundo há séculos. Na área cirúrgica, defronta-se o médico com a necessidade de lidar e tentar resolver o binômio entre a ciência e a arte de operar. Somos os cultores da mentalidade científica dos tempos modernos, mas também somos herdeiros dos práticos e dos cirurgiões-barbeiros da idade média. Só será um cirurgião completo quem conseguir aprender a ser tanto humanista como cientista e artista.

As formas de se tornar um verdadeiro cirurgião passam pelo estudo em livros, aulas teóricas, grupos de discussão, monitoramentos em salas de operação e ensino baseado em problemas.(6,29)

O papel do educador também está sendo revisado. Conseguir equacionar a questão do ritmo entre ensinar e adquirir conhecimento não é tarefa fácil e neste ponto é que devem entrar os novos recursos para a transmissão da informação.(7,12,15,30)

O primeiro objetivo do nosso trabalho foi desenvolver um programa educacional na área cirúrgica para o ensino de drenagem pleural. Tentamos variar os recursos para que o produto final não se tornasse monótono, tirando o aluno da posição de receptor passivo da informação para o da busca ativa do conhecimento.

Em nosso trabalho, dividimos o teste em avaliação subjetiva e objetiva, segundo a tendência da validação da maior parte dos programas educacionais.(12-14,16,17)

Quanto à amostra, sabíamos que a credibilidade do teste dependeria de que os alunos não pudessem saber previamente que seriam testados, principalmente por ser um tema ligado a avanços, o que poderia atrair voluntários simpatizantes e envolvidos com novas tecnologias. Mesmo sendo um novo paradigma, temos que compará-lo ao tradicional.
Entretanto, sabemos que as mudanças necessitam muito mais da aceitação pela sociedade do que simplesmente de uma prova de que o novo é melhor.

A forma de avaliação subjetiva rápida realizada logo após o estudo por computador mostrou uma grande maioria de respostas satisfatórias para as perguntas sobre o fácil uso do programa, se é agradável, se propôs retorno imediato, se é didático, e se os alunos gostariam de ter programas para outros tópicos. A essas questões, acrescentamos uma que julgamos provocativa. Queríamos questionar esta geração de alunos a respeito da viabilidade da substituição do professor pelo programa de computador. Certamente, este não é o debate principal deste trabalho.
Pensamos que o professor não é um simples repetidor de informações e não é substituível na função de passar experiência e dar exemplo e, pelo resultado, parece que essa é, também, a visão dos alunos. Resposta semelhante foi encontrada por outro autor.(22)

A avaliação subjetiva minuciosa, aplicada logo após a prova teórica objetiva, foi realizada para que o aluno pudesse mais calmamente, sem o estresse prévio a uma prova, tanto avaliar quanto ajudar no desenvolvimento das versões futuras do programa. Não tínhamos uma idéia clara sobre o grau de conhecimento de informática dos alunos. Dez alunos julgaram que seu conhecimento do assunto era bom (55,6%) e é para esse público que se deve preparar o professor do futuro.

A avaliação quanto ao conteúdo teórico também foi gratificante. A grande maioria dos alunos respondeu entre ótimo, muito bom e bom, tanto na forma, como no conteúdo. A terceira parte da avaliação subjetiva minuciosa dizia respeito à avaliação geral do programa. A primeira questão perguntava sobre a capacidade didática do programa e a avaliação foi muito satisfatória; 16 alunos (88,9%) responderam que foi totalmente didático. Novamente aqui, de maneira mais tranqüila, o aluno pôde responder se o programa poderia vir a substituir as aulas teóricas tradicionais e a imensa maioria, 17 alunos (94,4%), respondeu que parcialmente, e este nos pareceu mais um argumento a ser somado a nossa assertiva: o professor é insubstituível na transmissão da experiência, mas pode e deve ser auxiliado por outros métodos para a transmissão de conhecimento. Quando se perguntou sobre este método no ensino médico, vimos que 14 alunos (77,8%) tornaram-se mais favoráveis e nenhum menos favorável, o que nos anima a continuarmos nesta área.

Um teste aceitável do programa dependia de que fosse cego. Para isso, nem o grupo de três docentes que elaborou a prova objetiva nem o professor que a ministrou conheciam o programa. Notamos que as questões sob a forma de teste de múltipla escolha mostraram resultados sem diferença significante entre a aula ministrada pelo professor e o estudo por computador.

Quando analisamos as questões descritivas, vimos que o grupo do programa teve um resultado significantemente melhor que o da aula teórica. Uma explicação para essa variação seria a de que o estudo por computador, com os recursos multimídia e, no caso de dúvidas, associado ao recurso de uma volta imediata e individual ao assunto, poderia levar a um conhecimento mais sedimentado. Esse conhecimento pode ser necessário no momento de redigir uma resposta, e não simplesmente optar pela melhor alternativa. Apesar da diferença entre os grupos, encontrada nas questões descritivas, ela não foi grande o bastante para interferir no resultado geral da prova, que se mostrou comparável.

A nosso ver, o professor do futuro será um formador e não simplesmente um informador, e será a pessoa fundamental na formação prática do aluno, o que significa não simplesmente ensiná-lo a manusear os instrumentos, mas refletir sobre valores de um verdadeiro médico, e sobre a postura diante das angústias do paciente. Caberá ao professor a função primordial de ensinar, que é a de aperfeiçoar os conhecimentos adquiridos, desenvolver novos métodos e dar exemplo. O professor será um tutor de seu aluno, função extremamente nobre e muito maior que a de um simples repetidor de informações adquiridas, já que nesta função poderá ser substituído, com vantagens, por novos métodos de aprendizagem como este aqui desenvolvido e testado.

Frente a esses resultados pudemos concluir que desenvolver um programa de computador para ensino de drenagem pleural mostrou-se factível. Outrossim, a avaliação subjetiva deste novo método de ensino mostrou-se altamente satisfatória para uma amostra dos alunos do quarto ano do curso de graduação em medicina. Quanto à avaliação objetiva, esta mostrou que o programa de computador foi tão eficaz quanto o ensino tradicional e, na parte das questões descritivas, mostrou-se significantemente melhor para esta amostra de alunos.

Referências

1. Ledley RS, Lusted LB. Reasoning Foundations of medical diagnosis. In: Reggia JA, Tuhrim S, editors. Computer-assisted medical decision making. New York: Springer-Verlag; 1985. p. 46-79.

2. Blois MS, Shortliffe EH. The computer meets medicine: emergence of a discipline. In: Shortliffe EH, Perreault LE, Wiederhold G, Fagan LM, editors. Medical informatics: computer applications in health care. Reading, Mass: Addison-Wesley Pub; 1990. p. 1-36.

3. Degoulet P, Fieschi M. Hospital information systems. In: Degoulet P, Fieschi M, editors. Introduction to clinical informatics. New York: Springer; 1997. p. 91-104.

4. Johnston ME, Langton KB, Haynes RB, Mathieu A. Effects of computer-based clinical decision support systems on clinician performance and patient outcome. A critical appraisal of research. Ann Intern Med. 1994;120(2):135-42.

5. Drazen EL, Metzger JB, Ritter JL, Schneider MK, editors. Patient care information systems: successful design and implementation. New York: Springer; 1995. 218p.

6. Rosato FE. Self-assessment and continuing medical education. Surgery. 1972;71(4):642-4.

7. Fonkalsrud EW. Motivation of university surgeons to achieve excellence in teaching. Surgery. 1977;81(6):613-8.

8. Clayden GS, Wilson B. Computer-assisted learning in medical education. Med Educ. 1988;22(5):456-67.

9. Henry JB. Computers in medical education: information and knowledge management, understanding and learning. Hum Pathol. 1990;21(10):998-1002.

10. Andrews PV, Schwarz J, Helme RD. Students can learn medicine with computers. Evaluation of an interactive computer learning package in geriatric medicine. Med J Aust. 1992;157(10):693-5.

11. Webber WB, Summers AN, Rinehart GC. Computer-based multimedia in plastic surgery education. Plast Reconstr Surg. 1994;93(6):1290-300.

12. Rogers DA, Regehr G, Yeh KA, Howdieshell TR. Computer-assisted learning versus a lecture and feedback seminar for teaching a basic surgical technical skill. Am J Surg. 1998;175(6):508-10.

13. Teichman JM, Richards J. Multimedia to teach urology to medical students. Urology. 1999;53(2):267-70.

14. Dewhurst DG, Hardcastle J, Hardcastle PT, Stuart E. Comparison of a computer simulation program and a traditional laboratory practical class for teaching the principles of intestinal absorption. Am J Physiol. 1994;267(6 Pt 3):S95-104.

15. Sinclair MJ, Peifer JW, Haleblian R, Luxenberg MN, Green K, Hull DS. Computer-simulated eye surgery. A novel teaching method for residents and practitioners. Ophthalmology. 1995;102(3):517-21.

16. Waugh RA, Mayer JW, Ewy GA, Felner JM, Issenberg BS, Gessner IH, et al. Multimedia computer-assisted instruction in cardiology. Arch Intern Med. 1995;155(2):197-203.

17. Elves AW, Ahmed M, Abrams P. Computer-assisted learning; experience at the Bristol Urological Institute in the teaching of urology. Br J Urol. 1997;80(Suppl 3):S59-S62.

18. Marescaux J, Mutter D, Soler L, Vix M, Leroy J. [The virtual university applied to telesurgery: from tele-education to telemanipulation] [Article in French]. Chirurgie. 1999;124(3):232-9.

19. Sigulem D. Um novo paradigma de aprendizado na prática médica da UNIFESP/EPM [Thesis - Tenure]. São Paulo: Universidade Federal de São Paulo, 1997.

20. Cal RG, Moura Jr. JM, Danna Neto L, Carvalho AC, Rocha AL, Schor N, et al. Renal physiology educational program. Library of computer-assisted medical educational programs. In: Van Bemmel J, Zvarova, editors. Knowledge, information and medical education. 1 ed. North Holland: Elsevier Science; 1991. p. 198-202.

21. Lee JM, Koide MM, Salvador EM, Moura J, Ramos MP, Uras R, et al. Educational program on ophthalmology. Medinfo. 1995;8( Pt 2):1241-2.

22. Seabra D, Srougi M, Baptista R, Nesrallah LJ, Ortiz V, Sigulem D. Computer aided learning versus standard lecture for undergraduate education in urology. J Urol. 2004;171(3):1220-2.

23. Bernardo V. Metodologia para desenvolvimento de projeto multimídia aplicado ao ensino da medicina [dissertation]. São Paulo: Universidade Federal de São Paulo; 1996.

24. Perfeito JA, Crotti PL, Succi JE, Leao LE. Procedimentos de urgência em cirurgia torácica. In: Burihan E, editor. Emergências em cirurgia. São Paulo: Sarvier; 1995. p. 125-36.

25. Perfeito JA. Drenagem Pleural. In: Frisoli Jr A, Lopes CA, Amaral JL, Ferraro JR, Blum VF, editors. Emergencias: manual de diagnostico e tratamento. Sao Paulo: Sarvier; 1995. p. 583-7.

26. Perfeito JA, Schettini ST. Punção e drenagem pleural e pericárdica. In: Matsumoto T, editors. Terapia intensiva pediatrica. 2nd ed. São Paulo: Atheneu; 1997. p. 1097-104.

27. Perfeito JA. Punção e drenagem pleural. Diag Trat. 1998;3(3):45-52.

28. Siegel S, Castellan NJ, editors. Nonparametric statistics for the behavioral sciences. New York: McGraw-Hill; 1988.

29. Schwartz RW, Donnelly MB, Young B, Nash PP, Witte FM, Griffen WO Jr. Undergraduate surgical education for the twenty-first century. Ann Surg. 1992;216(6):639-47.

30. Andrade JC. Nova metodologia para ensino e ensaio de técnicas operatórias em cirurgia cardíaca. [thesis]. São Paulo: Universidade Federal de São Paulo; 1994.

____________________________________________________________________________________________________________________
Trabalho realizado na Escola Paulista de Medicina da Universidade Federal de São Paulo - UNIFESP-EPM - São Paulo (SP) Brasil.
1. Professor Adjunto da Disciplina de Cirurgia Torácica. Escola Paulista de Medicina da Universidade Federal de São Paulo - UNIFESP-EPM - São Paulo (SP) Brasil.
2. Professor Associado da Disciplina de Cirurgia Torácica. Escola Paulista de Medicina da Universidade Federal de São Paulo - UNIFESP-EPM - São Paulo (SP) Brasil.
3. Professora Adjunta da Disciplina de Cirurgia Torácica. Escola Paulista de Medicina da Universidade Federal de São Paulo - UNIFESP-EPM - São Paulo (SP) Brasil.
4. Professor Assistente da Disciplina de Cirurgia Torácica. Escola Paulista de Medicina da Universidade Federal de São Paulo - UNIFESP-EPM - São Paulo (SP) Brasil.
5. Médico do Departamento de Informática em Saúde. Escola Paulista de Medicina da Universidade Federal de São Paulo - UNIFESP-EPM - São Paulo (SP) Brasil.
6. Professor Titular do Departamento de Informática em Saúde. Escola Paulista de Medicina da Universidade Federal de São Paulo - UNIFESP-EPM - São Paulo
(SP) Brasil.
Endereço para correspondência: João Aléssio Juliano Perfeito. Alameda Lorena, 532, apto. 122, Jardim Paulista, CEP 01424-000, São Paulo, SP, Brasil.
Tel 55 11 3253-4331. E-mail: japerfeito.dcir@epm.br
Recebido para publicação em 24/5/2007. Aprovado, após revisão, em 26/9/2007.