”Texten måste tala”
av
Tekn. Dr. Mats Robertsson, Acreo AB
2009-06-25
Version med bilder
Sammanfattning ..................................................................................................................... 3
Bakgrund - uppdragsbeskrivning ........................................................................................... 4
Inledning................................................................................................................................. 5
Bakgrund – några befintliga hjälpmedel ................................................................................ 6
Organisationer, företag och projekt aktiva inom synhandikapp-området .............................. 8
Kontakt-personer .................................................................................................................. 11
Informationsbärare på och i förpackningar .......................................................................... 12
Text................................................................................................................................... 12
Bild ................................................................................................................................... 12
1D streckkoder ................................................................................................................. 13
2D-punktkoder ................................................................................................................. 13
Braille ............................................................................................................................... 17
RFID ................................................................................................................................. 17
Övriga ............................................................................................................................... 19
Förutsättningar för ”talande text” på olika typer av förpackningar...................................... 20
Tekniska hjälpmedel för att läsa och tolka förpackningsinformation .................................. 22
Text................................................................................................................................... 22
Bild ................................................................................................................................... 24
1D streckkoder ................................................................................................................. 25
2D punktkoder .................................................................................................................. 29
Punktskrift (Braille) .......................................................................................................... 31
RFID, Radio-frequency identification.............................................................................. 34
Övriga ............................................................................................................................... 36
Diskussion, kommentarer och slutsatser .............................................................................. 38
Förslag till fortsatt utveckling och finansiering ................................................................... 41
Bilaga 1 – konceptprodukter för blinda från Yanko design ................................................. 42
Touch Sight camera for the blind ..................................................................................... 42
Braille E-book .................................................................................................................. 43
Braille interpreter – for the blind that can not read Braille .............................................. 44
Bilaga 2 – grovselekterade referenser från tekniska och vetenskapliga vetenskapliga
tidskrifter .............................................................................................................................. 45
Slut .......................................................................................................................................74
2
Sammanfattning
Synskadades Riksförbund har erhållit medel från allmänna arvsfonden för en förstudie om
”talande text” på läkemedelsförpackningar och andra produktförpackningar. Förstudien har
syftat till att kartlägga forsknings och utvecklingsfronten inom området samt att lägga
grunden för en eller flera tekniska lösningar där synskadade och andra personer med
lässvårigheter kan ges möjlighet till att ta till sig information som finns på förpackningar. I
första hand har SRF riktat in förstudien på läkemedels-förpackningar, men slutmålet är att
hitta system- och teknik-lösningar som skall kunna tillämpas mycket bredare.
För synskadade och blinda behövs tekniska hjälpmedel som hjälper till att avläsa helst alla av
följande databärarkategorier som kan förekomma på förpackningar: text, bild, 1D streckkoder,
2D punktkoder, RFID, samt gärna även maskinell läsning av Braille punktskrift. Det senare
för blinda som ej kan läsa Braille eller har förutsättningar att lära sig Braille. Relevant
infrmation skall sedan ges som ett talat budskap. Då tryckta 1D- och 2D-koder inom
överskådlig tid kommer att dominera är dessa speciellt viktiga att kunna läsa av.
Forskningen inom området hjälpmedel för att blinda skall kunna ta till sig förpackningsinformation är liten, endast ett fåtal artiklar med denna specifika inriktning har publicerats och
endast en dedikerad talande streckkodsläsare finns på marknaden. Däremot är utvecklingen av
produkter inom mobiltelefonområdet mycket omfattande, inte minst p.g.a. att denna industri
omsätter motsvarande ca 500 miljarder dollar per år. Vissa produkter, främst programvaror
har utvecklats och utvecklas speciellt för synhandikappade men många andra produkter
avsedda för bredare kundgrupper bedöms kunna vara till god hjälp också för synhandikappade
och blinda.
Idag finns mobiltelefonapplikationsprogram för kameramobiler som separat kan:
 tolka fotograferad eller filmad 1D streckkod till text
 tolka fotograferad eller filmad 2D punktkod till text
 tolka fotograferad text till tal
 läsa upp text som presenteras på mobiltelefondisplayer med hjälp av talsyntes.
Med hjälp av avlästa koder kan en mobiltelefon ofta också hämta hämta information via
internet om sökt information inte finns lagrad i avläst kod eller i mobiltelefonensens minne.
Mobiltelefoner finns även som kan läsa RFID-taggar.
Ett högt ställt mål för fortsättning är att ta fram ett robust, användarvänligt,
individanpassningsbart hjälpmedelssystem baserat på en mobiltelefon eller pda (personlig
digital assistent) som bl.a. integrerar och utvecklar de bästa av de idag kända delteknologierna
att maskinellt läsa, tolka och presentera information från text, bild, film, 1D- och 2Dstreckkoder samt RFID. Presentationen av informationen för den synhandikappade och blinda
kan lämpligen ges både som tal och taktilt.
Detta kräver ett väl genomtänkt systemintegrationsprojekt med flera samarbetande
organisationer (högskolor, forskningsinstitut, företag) inkluderande också tilltänkta
kommersiella producenter av utvecklade hårdvaror, mjukvaror och systemlösningar.
Finansiering får sökas från Svenska och eller Europeiska anslagsgivare eller fonder, t.ex.
Vinnova i Sverige. Deltagande företag förutsättes också bidra med finansiering.
3
Bakgrund - uppdragsbeskrivning
WHO, World health Organization uppger att ungefär 314 millioner människor är
synhandikappade, varav 45 millioner är blinda (ref: Fact Sheet N°282, May 2009,
http://www.who.int/mediacentre/factsheets/fs282/en/ ). Detta innebär att 4,6 % är
synhandikapppade och att 0,66% är helt blinda då jordens befolkning den 5 juni 2009
uppskattas till 6,784,525,798 av US Census Bureau (ref:
http://www.census.gov/ipc/www/popclockworld.html ).
Synskadades Riksförbund har erhållit medel från allmänna arvsfonden för en förstudie om
”talande text” på läkemedelsförpackningar och andra produktförpackningar. Förstudien syftar
till att kartlägga befintlig och möjlig teknik samt att bedöma realismen i alternativa
utvecklingsscenarier.
SRF vill genom förstudien lägga grunden för en eller flera tekniska lösningar där synskadade
och andra personer med lässvårigheter kan ges möjlighet till att ta till sig information som
finns på förpackningar. I första hand vill SRF rikta in förstudien på läkemedels-förpackningar,
men slutmålet är att hitta system- och teknik-lösningar som skall kunna tillämpas mycket
bredare.
Förstudien föreslås innehålla följande:
-
En översiktlig inventering görs av dagens hjälpmedel och vilka behov som finns inom
området för synskadade.
-
Informationssökning med hjälp av webpublicerad information, tekniska och
vetenskapliga databaser, patent med mera med syfte att översiktligt kartlägga
befintliga lösningar och pågående nationell och internationell forskning och utveckling
inom området.
-
Informationsinhämtning från experter inom olika ämnesdiscipliner, bl.a. experter inom
förpackningsteknologi, förpackningsstandards och förpackningsdesign, RFID,
elektronikhårdvara, elektronikmjukvara med mera.
-
En innovativ del där nya önskvärda produkter och system beskrivs.
-
Förslag till realistiska och konkreta utvecklings- och fortsättnings-projekt med kort till
långt tidsperspektiv.
4
Inledning
Med utgångspunkt från information från Bengt Troberg och Urban Fernqvist vid SRF, Rolf
Bergman vid Iris samt Claes Tjäder vid Handikappinstitutet har en omfattande informationssökning genomförts med syfte att kartlägga både befintliga tekniska hjälpmedel för
synskadade samt pågående nationell och internationell forskning och utveckling inom
området tekniska hjälpmedel för synskadade.
Organisationer, företag och individer som redan är involverade eller skulle kunna vara viktiga
för området har i begränsad omfattning också listats i rapporten.
Notera att rapporten inte gör anspråk på att vara heltäckande i något avseende på grund av
generella svårigheter att hitta rätt information ur en närmast oändlig mängd mer eller mindre
tillgängliga informationsposter. Informationssökning har genomförts med hjälp av den
kommersiella databasvärden SCOPUS. SCOPUS-sökningarna har framförallt varit effektiva
för att få fram artiklar publicerade i tekniska och vetenskapliga tidskrifter även om SCOPUSsökningar också har givit patent och web-sidor. WWW-sökmotorn Google samt Google
Scholar har använts i övrigt. Allmänt kan sägas att relativt breda sökbegrepp använts för att
helst inte missa väsentlig information. Selektering av mer intressanta informationsposter har
då genomförts utifrån ett större antal titlar. Det har bedömts att patentinformationen i detta
skede är mindre intressant varför endast marginell tid lagts ner på patent.
Ambitionen har varit att förse all direkt kopierad och infogad text med citationstecken och
hänvisning till ursprung. En del sådan inklippt engelsk text har ej översatts.
De i sammanhanget åtminstone kortsiktigt viktigaste referenserna har visat sig vara wwwlänkar och dessa finns oftast inom parantes efter berörda textavsnitt. Genom att klicka med
CTRL-knappen nedtryckt kommer man med en internetansluten dator till hemsidan ifråga.
Rapporten har försetts med en hel del bilder som naturligtvis är av tveksamt värde för den
blinda läsaren även om åtminstone en punktskrivare på marknaden kan skriva taktila bilder.
Sådana taktila bilder förefaller tyvärr främst ge konturer av avbildade objekt. Bilderna samt
länkarna till filmavsnitt i rapporten som beskriver olika teknologier är dock centrala för att
seende läsare skall kunna förstå rapportinnehållet bättre och därigenom också bättre kunna
bistå blinda med förklaringar av rapportinnehållet . En bild säger ofta mer än vad som är
möjligt eller rimligt att beskriva med ord.
5
Bakgrund – några befintliga hjälpmedel
Under denna rubrik redovisas ett urval väsentliga hjälpmedel som Bengt Troberg och Urban
Fernqvist vid SRF och Rolf Bergman vid Iris visat och demonstrerat vid besök hos SRF
respektive IRIS butik, Sandsborgsvägen 52, Enskede. Detta urval av befintliga hjälpmedel har
utgjort grund för förstudien. Vissa kompletteringar och uppdateringar från ursprungskällorna
har gjorts.
DAISY, DAISY-teknik, ”Talboks och punktskriftsbiblioteket (TBP) gör alla talböcker i
DAISY- format. DAISY står för Digitalt anpassat informationssystem och är en öppen,
internationellt etablerad standard. DAISY är en digital teknik som strukturerar ljud, text
och bild på ett sätt som gör det enklare att söka i och läsa texten. Den fungerar även bra
för publicering av multimedia. TPB gör också elektroniska textböcker och underlag för
punktskriftsböcker i DAISY. ”
Everest punktskrivare, Braille punktskriftsskrivare. Se www.icap.nu/default.aspx
Infovox, Talsyntesprogram som läser upp textfiler. Flera svenska röster och en engelsk
röst finns tillgängliga.
JAWS for windows, “JAWS (an acronym for Job Access With Speech) is a screen reader,
a software program for visually impaired users, produced by the Blind and Low Vision
Group at Freedom Scientific of St. Petersburg, Florida, USA. Its purpose is to make
personal computers using Microsoft Windows accessible to blind and visually impaired
users. It accomplishes this by providing the user with access to the information displayed
on the screen via text-to-speech or by means of a braille display and allows for
comprehensive keyboard interaction with the computer. It also allows users to create
custom scripts using the JAWS Scripting Language, which can alter the amount and type
of information which is presented by applications, and ultimately makes programs that
were not designed for accessibility (such as programs that do not use standard Windows
controls) usable through JAWS.”
Milestone 310 , digitalt fickminne, också modell 311 inkluderande talböcker och nu
modell 312 med utökad funktionalitet. Produktfakta: Inspelningskapacitet: 150 minuter.
Hörlursuttag: 3,5 mm standard Mått: 85 x 55 x 11 mm Vikt: 45 gram Inbyggt
laddningsbart lithium polymerbatteri (700 mAH). Maximal laddningstid: 3 timmar. Kan
köpas från t.ex. IRIS, www.iris.se . Produkten är utvecklad av Bones Inc. i Schweiz
(http://www.bones.ch ) som är ett företag som utvecklar och producerar hjälpmedel för
synhandikappade och blinda. Med den extra programvaran med namn Speakout kan
Milestone 312 också läsa RFID-taggar. Den primära tanken är att användaren skall märka
objekt, till exempel mediciner, CD-skivor, kläder med RFID-etiketter eller så kallade
RFID-taggar och sedan läsa in ett talat meddelande som sedan läses upp av Milestone 312
när RFID-taggen skannas. En ny programvara vid namn Agenda är planerad av företaget
Bones. Den programvaran är tänkt att bli ett planeringshjälpmedel för schemaläggning av
aktiviteter, möten med mera. (ref:
http://www.bones.ch/bones/pages/eng/products/milestone312extras.html ).
Supernova, ”Supernova är en skärmläsare och ett förstoringsprogram i en och samma
programvara (tal, punkt och förstoring). Marknadens stabilaste i kombinationen enligt
6
tillverkaren. Förstoring inställningsbar mellan 1,2 och 60 gånger, med olika fönstertyper.
Fungerar mot alla stora kända punktdisplayer. Talsyntes Orpheus ingår. Fungerar mot
SAPI 4- och SAPI 5-kompatibla talsynteser. (ex Macaw, Babel Infovox).”
ZON-text, textförstoring, level 2 med talstöd.
7
Organisationer, företag och projekt aktiva inom synhandikappområdet
Apoteket AB, Kontaktperson: Monica Hagman. Hon har varit intresserad av
handikappfrågor enligt Claes Tjäder, Handikappinstitutet. Kontaktinformation: mobil:
0730 96 54 34, email: monica.hagman@apoteket.se
Bildtolken, projekt, (www.bildtolken.se) , ”Just nu pågår ett projekt där målet är att
synskadade skall kunna få hjälp med att klara sig ur kniviga situationer i vardagen genom
att med hjälp av sin mobiltelefon ta bilder och få dem förklarade av seende tolkar.”
Convertec Graphic Technics AB, (www.convertec.se) , ”Convertec Graphic Technics
AB bildades 1987 och har mer än 20 års erfarenhet av att marknadsföra och sälja
konverteringsmaskiner och utrustning till den nordiska förpackningsindustrin. Varje år
säljer vi ett stort antal större maskinlösningar förutom kringutrustning och
förbrukningsartiklar.” Convertec säljer utrustning (Braillemaker One) för att trycka
Braille-punkter på medicinförpackningar. Lackpunkter trycks med digital tryckteknik.
med denna utrustning.
European Carton Makers Association, (www.ecma.org ), Europeiska
kartongtillverkares organisation som varit engagerade i punktskriftsfrågan. ”Founded in
1960 to promote the interests of one of the most diverse sectors of the packaging industry,
the European Carton Makers Association is today the established forum and officially
approved umbrella organisation for national carton associations throughout Europe. With
its seat in The Hague, The Netherlands, and its office in Brussels ECMA represents 500
carton producers in nearly all countries in the European Economic Area. Around 70% of
the total carton market volume in Europe, and a current workforce of about 50000 people
are represented in ECMA.”
Funka Nu,( www.funkanu.se ) , ”Utvecklar hemsidor för synskadade. Funkanu är
marknadsledande på tillgänglighet. Vi analyserar, utvecklar och utbildar. Vi ger stöd,
testar och sätter normer. Vi finns med i referens- och arbetsgrupper på nationell och
internationell nivå. Vi har 80 procent av Sveriges myndigheter som kunder. Vi brukar
säga att vi kan ta vilket gränssnitt som helst och göra det tillgängligt...”
Hjälpmedelsinstitutet, HI, Hjälpmedelsinstitutet är ett nationellt kunskapscentrum inom
området hjälpmedel och tillgänglighet för människor med funktionsnedsättning. HI har
också mycket statistik om olika grupper av personer med funktionsnedsättning. Texter om
design för alla finns på web-sida:( http://www.hi.se/sv-se/Arbetsomraden/Tillganglighetoch-design-for-alla/Begreppet-Design-for-alla-/ ) . Kontaktperson på HI: Claes Tjäder,
avdelningschef, tfn 08 620 18 40, mobil 070 248 78 91.
ICAP, Individual Computer Applications AB,( www.icap.nu/default.aspx ), ”ICAP är ett
kunskap- och produktföretag som med IT som främsta verktyg skapar lösningar för varje
individ med funktionshinder. Vi hjälper till att utreda, konfigurera, utbilda och ge support
för hållbara IT-lösningar på arbetsplatser, skolor eller hemma.”
8
Insyn sverige AB, ( www.insyn.se/index.php ), ”Insyn sverige AB, Insyn arbetar för att
alla människor, oavsett funktionshinder, ska ha en självklar plats i vardagen, skolan och
på arbetsmarknaden.”
IRIS, (www.iris.se) , ”IRIS VERKSAMHETSOMRÅDEN: Bemanning och
företagstjänster, Borstar och borstbinderi, Hjälpmedel, syn, läs o skriv , Inläsning och
medieproduktion , Konferensverksamhet, Punktskrift och taktila bilder , Utbildning,
utredning och rehabilitering , Svartkrogen.” Svartkrogen är en helt mörk restaurang där
seende kan uppleva ett restaurangbesök på samma sätt som en blind.
Konsumentverkets handikappråd, (
(http://www.konsumentverket.se/mallar/sv/lista_artiklar.asp?lngCategoryId=1946 )
Kontaktperson för SRF: Anna-Karin Widmark, Karlstad.
LIF, Läkemedelsindustriföretagen, Kontaktperson: Per Manell, mobil 0705-90 03 00,
email: Per.manell@lif.se, apotekare, jobbat med läkemedelsverket, punktskrift,
talteknologi etc, ansvarig för (www.FASS.se ). Alternativ kontaktperson: Cecilia
Kennerfalk, (ref: Bengt Troberg).
Phoneticom, (www.phoneticom.se ), anpassar lyssnarlänkar till hemsidor. Organisational
changes in Phoneticom Friday 18 Januari 2008: “Phoneticom are now re-organisation its
business with the result that the development of the DAISY-, RemoteTTS (now named
SpeechMachine) and the ReadSpeaker products and services will from now on be handled
by the company VoiceCorp AB” . Kontaktperson vid Phoneticom: Fredrik Larsson,
Uppsala
Polarprint , (www.polarprint.se) , ”Polarprint tillhandahåller och utvecklar hjälpmedel för
synskadade . Polar Print driver ett försöksprojekt på uppdrag av Post- och telestyrelsen
(PTS). Uppdraget benämns Bildtolkning för synskadade och syftet är att testa möjligheten
att erbjuda personer som är synskadade bildtolkning med hjälp av digitala foton från
mobiltelefoner, samt bildtolkning via videosamtal med 3G-telefoner (www.bildtolken.se).”
Projektledare: Patrik Johansson, Polar Print Umeå, email: patrik@bildtolken.se , tel: 090 13
95 72. Utvecklare: Joakim Syk, Polar Print, Luleaå, email: joakim@bildtolken.se , tel 0920
20 34 37.
Punktskriftsnämnden, (www.punktskriftsnamnden.se) , ”Punktskriftsnämnden är en
statlig nämnd som är knuten till den statliga myndigheten Talboks- och
punktskriftsbiblioteket förkortat TPB. Nämnden har till uppdrag att gynna användningen
av punktskrift, publicerar böcker om punktskrift och taktila bilder och ansvarar för
svenska skrivregler för punktskrift i olika ämnen, verkar för kunskap om punktskrift och
taktila bilder och vill gynna forskning inom dessa områden, samarbetar med myndigheter
och organisationer inom området och arrangerar konferenser och seminarier.”
Reumatikerförbundet, (www.reumatikerforbundet.org) . Claes Tjäder, HI har tipsat om
en länk till en konferens 2007 som handlade om lättöppnade förpackningar:
http://www.reumatikerforbundet.org/start.asp?sida=9662. Ett flertal intressanta artiklar
finns att ladda ner. Kontaktperson vid Reumatikerförbundet: Leif Hansson, email:
leif.hansson@reumatikerforbundet.org
9
Talboks- och punktskriftsbiblioteket, TPB, (www.tpb.se/) , ”Talboks- och
punktskriftsbiblioteket är en statlig myndighet. Vi anpassar litteratur till medier för
personer med läshandikapp och deltar i utveckling av ny teknik kring anpassade medier.”
Bra kontaktperson på TPB: Jesper Klein, email: jesper.klein@tpb.se .
Voice Corp, (www.voice-corp.com) , ” Bli hörd! Över 2000 kunder använder våra
webbaserade applikationer för talsättning av innehåll för att berika användarupplevelsen
eller öka tillgängligheten till innehållet på webben för alla som hellre lyssnar än läser.”
Produkten ReadSpeaker proReader kan göra en webbplats talande!
10
Kontakt-personer
Listan upptar personer som redan är aktiva inom syn-handikappsområdet, eller personer som
via sina tjänster inom yrkeslivet kan vara betydelsefulla för synhandikappade. De flesta av
dessa namn har erhållits från Bengt Troberg, SRF eller via dessa namn. Namnen är i många
fall ej (ännu) kompletterade med alla kontaktuppgifter.
1. Björk, Eva, Verksamhetschef, Synskadades Riksförbund, tel 08-39 91 46
2. Collin, Ingrid, TetraPack, telefon växel: 08-679 20 00, Ingrid.collin@tetrapak.com
3. Eriksson, Yvonne, forskare Mälardalens högskola, arbetat med synskadade, lär ut
bildtolkning, tel 0708 – 86 40 27. Läs mer om Mälardalens högskola i
Eskilstuna/Västerås, www.mdh.se
4. Henrik, Götesson, Henrik, ”ung teknikintresserad blind”, SRF Stockholms stad, mobil:
070 249 78 20, tel: 018-25 56 18
5. Jungelin, Arne, Dataansvarig vid SRF.
6. Påhlsson, Pia, Seende arbetsbiträde till Bengt Troberg, tel 08-39 91 52
7. Sundbaum, Karin, ombud inom SRF, tel 090 – 18 96 34, mobil: 070 308 43 26 email:
karin.sundbaum@srf.nu
8. Swedborg, Martina, Arla, tel växel: 08-789 50 00, email:
martina.swedborg@arlafoods.com,
9. Tjäder, Claes, Hjälpmedelsinstitutet, avdelningschef, tfn 08-620 18 40, mobil 070-248
78 91
10. Westling, Björn, Talboks- och punktskriftsbiblioteket, tel 08-39 93 94
11
Informationsbärare på och i förpackningar
Förpackningsinformation kan finnas på ytterförpackningen, på innerförpackningar samt
dessutom är ofta tryckta informationsblad eller häften bilagda i förpackningar. Innan teknikoch systemlösningar för att ta till sig förpackningsinformation redovisas kommenteras olika
typer av informationsbärare bl.a. med avseende på möjlig informationsmängd per
informationsbärare.
Kommersiella förpackningar kan ha olika typer av informationsbärare:
1. text
2. bild
3. 1D streckkoder
4. 2D punktkoder
5. Punktskrift (Braille)
6. RFID, Radio-frequency identification
7. Övriga
Text
Text kan vara mer eller mindre tydlig och läsbar beroende av storlek, kontrast mot bakgrund,
font-typ med mera. Gravt synhandikappade kan per definition inte ta till sig text-budskap utan
hjälpmedel. En A4-sida skriven med normal font-storlek 12 kan innehålla upp till ca 3000
alfa-numeriska tecken (bokstäver och eller siffror).
Bild
Bildinformation kan ofta enkelt säga mer än långa texter, men utan hjälpmedel är inte heller
bildinformation tillgänglig för gravt synhandikappade. Bilder kan i princip också innehålla
”digitalt kodad” information. Sådan behöver inte vara synlig ens för seende utan kan döljas i
bilden. Informationsinnehållet i t.ex. en högupplöst färgbild med många särskiljbara
färgnyanser är mycket stort och kan uppgå till många miljoner tecken. Detta kan jämföras
t.ex. med en CD-skiva där skrivarean är ca 86 kvadratcentimeter och som kan lagra 650
MegaByte information (http://en.wikipedia.org/wiki/CD) i något som skulle kunna liknas vid
ett tvåfärgstryck, dvs digitala nollor eller ettor i form av reflekterande eller ickereflekterande
små punktytor.
Informationsinnehållet i digitala bilder kan reduceras avsevärt utan att den väsentliga
bildinformationen går helt förlorad, t.ex. att en bild föreställer en människa och inte en apa.
Detta faktum utnyttjas i bildigenkännings-program, t.ex. program som känner igen ett
speciellt fingeravtryck från miljontals lagrade fingeravtryck. Senare i rapporten presenteras ett
troligen snart kommersiellt tillgängligt bildigenkänningssystem vid namn SeeScan som
antagligen utnyttjar detta faktum.
12
Bild 1 - Marabou chokladbitar
1D streckkoder
Standard EAN (European Article Number) streckkod (oftast EAN-13) som finns på alla
konsumentförpackningar har 10 numeriska tecken, 2 or 3 så kallade flagg- tecken som oftast
innehåller kod för nation + eventuellt 1 kontrollsiffra. Kostnaden för implementering av en
1D streckkod anses vara ca 5 öre (US $ 0.005, http://en.wikipedia.org/wiki/Barcode ).
I princip kan streckkoder förlängas för fler tecken så att t.ex. bäst före datum kan inkluderas.
I så fall krävs någon slags digital tryckning då streck-mönstret delvis behöver ändras från dag
till dag. Utöver EAN-koder som är de vanliga för konsumentvaror finns många andra
varianter som används i t.ex. olika logistiksammanhang. Koderna är då ofta längre och
innehåller mer information än EAN-13.
Bild 2 - EAN-13-kod
2D-punktkoder
Det finns ett större antal varianter av 2D-koder som idag används av bland andra flygbolag
och transportföretag. Här nedan redovisas endast de 4 som bedöms mest relevanta för svenska
konsumenter: 2D data matrix, QR-code, Bee Tag och HCCB. Allmänt kan sägas att poängen
med 2D-koder är att mer information får plats per ytenhet. Kostnaden för att trycka 2D-koder
är dock i allmänhet högre än för att trycka 1D-koder p.g.a. att krav oftast finns på högre
upplösning och för HCCB dessutom färgtryck. 2D-koder kräver också annan
avläsningsutrustning. En relativt omfattande forskning och utveckling har redan utförts för att
att utveckla program och system för att kunna använda mobiltelefoner med kamera som
avläsningsterminaler för 2D-koder, inte minst för synhandikappade.
13
2D Data Matrix
•
2-D Data Matrix från Siemens är designad för att mycket information skall få plats
per ytenhet.
•
Teoretiskt kan 500 millioner tecken sparas på en yta av 1 x 1 tum (25.4 x 25.4 mm).
Praktiskt sätter tryck- och lästeknologi väsentligt lägre gränser.
•
En vanlig standard ( ECC-200) ger 2335 alfa-numeriska tecken (alpha numeric
characters) det vill säga cirka en A4 med normalstor text.
•
Ett annat 2D Data Matrix exempel: 50 teckens data på endast 2 x 2 mm (för att märka
integrerade kretsar och liknande små komponenter).
•
Koden kan läsas med en digital video kamera, en digital kamera/scanner. eller digital
scanner. Läsavstånd kan variera mellan kontakt till ca 1 m. Typiska läshastigheter 5 st
koder per sekund.
•
Då redundans (dubblering etc av information) byggts in i koden är sannolikheten stor
att rätt information läses ut även om enskilda punkter och mindre områden skulle
saknas eller läsas fel.
•
EFPIA (European Federation of Pharmaceutical Industries and Associations) har valt
att gå vidare mot implementering av 2D data matrix på europeiska medicinförpackningar. Mer om detta längre fram i rapporten.
Bild 3 - 2D Data Matrix kod
QR-code
QR-koden (Quick Response) är en öppen kod som är vanlig i Japan och som förs fram av
också av www-sökmotorföretaget Google.
14
Bild 4 - QR-code
Bee Tag
Bee Tag som fått sitt namn av att den ser ut som en bikaka uppbyggd av sammanhängande
sexkanter. Koden utgörs av att ytans sexkanter kan vara svarta eller vita. Bee tag har rönt stor
uppmärksamhet i Sverige då kvällstidningen Aftonbladet trycker s.k. taggar i tidningen. Med
hjälp av en mobilkamera med nedladdat gratisprogram kan mobilen länkas till www-hemsidor
med ytterliggare information, nyheter etc.
Bild 5 - Bee Tag
15
Bild 6 - Aftonbladetartikel: Så taggar du med mobilen
(http://www.aftonbladet.se/tagga/article2276747.ab )
HCCB - High Capacity Color Barcode
HCCB använder rader av tätpackade färgade trianglar med vita avgränsningslinjer mellan
raderna. Standarden är utvecklad av Microsoft ( http://research.microsoft.com/enus/projects/hccb/about.aspx ) . Labtester visar att med 8 färger så kan 2000 binära bitar eller
3500 alfanumeriska karaktärer utläsas från en 2,5 x 2,5 cm yta (kvadrat-tum) av en 600 dpi
scanner. Mängden information som då får plats motsvarar ungefär 2 tryckta sidor.
Bild 7 - HCCB, The High Capacity Color Barcode
16
Braille
Punktskrift, Braille, som skall finnas på medicinförpackningar i Sverige och som i
undantagsfall också finns på livsmedelsförpackningar, t.ex. Annas pepparkakor och vissa
förpackningar med fiskpinnar. De upphöjda punkterna kan präglas fram från baksidan av
kartong eller papper. De kan alternativt tryckas additivt med specialtryck och specialbläck
(rotativ screentryckning med UV-härdande bläck, se t.ex.
http://www.labelandnarrowweb.com/articles/2006/05/rotary-screen ). Observera att
punkternas höjd behöver vara minst ca 0.2 mm, dvs ca en faktor 100 gånger högre än vad
vanliga tryckmetoder åstadkommer. En möjlig fördel med additivt tryck är att punkterna
lättare behåller höjd och form än präglade punkter. Transparenta punkter kan också
tryckas så att underliggande text kan läsas. Ett EU-direktiv kräver att mediciner för
humant bruk skall ha medicinens namn tryckt I Braille på förpackningen från mitten av
2006.
Standard Braille med 6 punkter i 3 rader ger 2 upphöjt till 6 kombinationer vilket är lika
med 64 varianter. Med 1 rad till dvs 8 punkter per tecken kan även alla 256 s.k. ASCItecken återges. Braille-text tar lite mer plats än vanlig text i fontstorlek 12 för att vara
läsbar, så en A4 med vanlig text genererar ca 3 sidor Brailletext, motsvarande ungefär
fontstorlek 20. Den engelska versionen av Wikipedia ( http://en.wikipedia.org/wiki/Braille
) ger bra ytterliggare information om Braille.
Bild 8 - Svenska punktskrifts-alfabetet (erhållet av Bengt Troberg, SRF)
RFID
RFID, Radio-frequency identification som finns i ett antal varianter för många olika
syften. Den globala visionen har länge varit att RFID skall ersätta 1D streckkoder också
på billiga konsumentprodukter för att underlätta i alla led av varudistributionen, inte minst
vid betalning i snabbköpskassor. Fördelen med RFID i jämförelse med streckkoder är att
avläsning i princip kan ske uta att fri sikt behövs mellan RFID-etiketten och RFIDläsaren. RFID Teknologin är dock för närvarande för dyrbar för att implementera på
billiga konsumentprodukter. Kostnaden var fortfarande år 2008 som lägst strax under 1 kr
17
per etikett för de internationellt standardiserade RFID-etiketter som är tänkta att ersätta
streckkoder. Om större funktionalitet och datakapacitet önskas blir RFID-etiketterna
väsentligt dyrare, mycket på grund av kortare tillverkningsserier. Kostnaden är mycket
svår att få ner ytterliggare med befintlig teknologi där ett kisel-chip behöver monteras på
en antenn. Alien Technology i USA (http://www.alientechnology.com/tags/index.php) ser
för närvarande ut att leda den tekniska utvecklingen när det gäller lågkostnads-RFIDtaggar tack vare sin mycket effektiva chipmonteringsteknik baserad på så kallad ”fluidic
assembly”. En omfattande forskning pågår globalt kring att helt trycka RFID-funktion på
etiketter och eller förpackningar för att undvika bl.a. dyr chipmontering. De tekniska och
vetenskapliga utmaningarna är dock mycket stora och det kommer antagligen dröja länge
kanske en 10-årsperiod eller längre innan RFID kommer på enskilda lågkostnadsvaror.
Antagligen behöver kostnaden komma ner till minst ca 25 öre per RFID-etikett för att
kunna motiveras för sådan användning. RFID används dock mer och mer för högre nivåer
i förpackningshierarkin, främst på containernivå och lastpallnivå men även alltmer på
sekundärförpackningar, främst i syfte att rationalisera logistik. Avläsningstillförlitligheten
är ännu ett problem, inte minst när t.ex. många och delvis skymda RFID-etiketter på en
lastpall skall avläsas samtidigt. En bra allmän översikt över RFID-teknologi finns på
wikipedia, den engelska versionen ( http://en.wikipedia.org/wiki/RFID ). När det gäller
generell användning av RFID-teknologi för synhandikappade och på annat sätt
funktionshandikappade personer hänvisas till en av HI tillhandahållen rapport
(”Möjligheter med RFID för personer med funktionsnedsättningar, J. Borg, Propempo,
December 2004”).
När det gäller medicinförpackningar har EFPIA (European Federation of Pharmaceutical
Industries and Associations) valt att avvakta med RFID och gå vidare mot implementering
av 2D data matrix. Det är därför osannolikt att RFID kommer som standard på
medicinförpackningar inom överskådlig tid. Eventuell RFID-användning för
medicinförpackningar blir då i närtid beroende av mer lokala eller individuella initiativ.
När det gäller RFID-teknikens användningsmöjligheter för personer med
funktionsnedsättningar finns detta behandlat utförligt i en rapport skriven 2004 (ref:
Möjligheter med RFID för personer med funktionsnedsättningar, J. Borg, propempo,
December 2004). Fortsättningsvis kommer därför endast några få nya exempel på RFIDtillämpningar och RFID-forskning och utveckling för synhandikappade med hjälp av
RFID-teknik att tas upp i denna rapport.
Beträffande informationsinnehåll finns i princip få tekniska begränsningar med RFID utan
begränsningarna handlar mer om vad som är kommersiellt gångbart. Internationella
standards har därför utvecklats och viktiga är då standards för så kallade elektroniska
produktkoder (Electronic Product Code, EPC). Organisationen EPC global är ledande i
detta arbete (http://www.epcglobalinc.org/home ). När det gäller informationsinnehållet i
de två viktigaste produktkoderna, EPC 96 och EPC 128 gäller följade:
EPC 96 innehåller 96 bitars information, alfanumeriska karaktärer: A-Ö, 0-9 kräver 8 bitar
styck, dvs EPC 96 ger 96/8 = 12 alfanumeriska karaktärer och EPC 128 ger 16 tecken.
Redan för EPC 96 motsvarar detta ca 8 x 10 upphöjt till 28 eller ett cirka 28 siffror långt
tal ) (http://www.mountainviewsystems.net/Basic%20Concepts%20of%20RFID.pdf ),
”Basic concepts in RFID technology”) det vill säga oerhört många fler än vanliga 1D
EAN-13 streckkoder med sina 10 + 3 siffror Observera att 96 och 128 bitars information,
eller 12 eller 16 alfanumeriska tecken ändå inte ger plats för någon egentlig textmängd
utan skall mer information skrivas in behövs väsentligt större kapacitet på RFID-minnet.
18
Detta är naturligtvis tekniskt möjligt och teknologin finns tillgänglig men ej till den
minimerade kostnad som är en förutsättning för elektroniska produktkoder. Priset för
special RFID-etiketter, RFID-taggar, RFID-knappar eller liknande hamnar då lätt i
prisklass 10 – 100 kronor per styck.
Observera att det idag finns mobiltelefoner med så kallade NFC RFID-läsare där NFC står
för Near Field Communication, där mobiltelefonen kan kommunicera med RFID-taggar
på mycket nära håll, typiskt på några centimeters avstånd. Nokia har varit en föregångare
när det gäller att ta fram sådan hårdvara samt system och applikationer
(http://www.forum.nokia.com/Technology_Topics/Mobile_
Technologies/Near_Field_Communication/ ). Även Daisy-spelaren Milestone 312 är
förberedd med en RFID-läsare, endast en programvara behöver adderas
(http://www.bones.ch/bones/pages/eng/products/milestone312extras.html )
Övriga
Övriga informationsbärare kan till exempel utgöras av ytor där omväxlande elektriskt ledande
och elektriskt oledande tryck utgör grund för kod som kan läsas av med en kontaktprob.
Även kod som endast syns i det för ögat okänsliga infraröd-området respektive ultraviolettområdet är exempel på osynligt tryck med kodmöjligheter. Oftast krävs då speciella lampor
och bildsensorer för sådana system (ref: Electronic clipping system with invisible barcodes
Kamijo, K., Kamijo, N., Sakamoto, M., Proceedings of the 14th Annual ACM International
Conference on Multimedia, MM 2006, 2006, Pages 753-762). Det är tveksamt om nu kända
övriga informationsbärarteknologier har något att ge synhandikappade och blinda utöver vad
andra enklare teknologier kan ge. Vissa fördelar finns dock. För ögat osynlig information
skulle i princip kunna tryckas på godtyckliga redan upptagna ytor och nyttiggöras av blinda
med anpassad läsare. Navigationshjälpmedel för till exempel stads- och butiksmiljöer skulle
kunna utvecklas med denna princip utan att kräva någon egen yta. En sådan läsare kan mycket
väl implementeras i en mobiltelefon eller i separat enhet i ett system med en en mobiltelefon
som länk till talad information.
19
Förutsättningar för ”talande text” på olika typer av förpackningar
Talande text på förpackningar kan i princip vara:
1. helt självständiga system på förpackningen eller
2. system där någon läsare läser av förpackningsinformationen och sedan samma läsare
eller annan till läsaren kopplad enhet överför den till talad text.
I det första fallet behöver förpackningen förses med högtalare, elektronik och
strömförsörjning liknande vad som funnits på de ”sjungande gratulationskort” som funnits i
handeln under många år. Idag skulle man möjligen kunna trycka ett godtagbart
högtalarelement på en kartong eller på papper, men övriga nödvändiga komponenter är ännu
inte mogna för lågkostnadstryckning och mer traditionella elektroniklösningar blir dyra,
troligen minst ca 10 kr/st i tillverkningskostnad vilket gör att till exempel talande
mjölkförpackningar knappast är realistiska. Ur miljösynpunkt kan det också vara tveksamt att
införa en sådan teknologi om bättre alternativ finns. Möjligheten att för den enskilde
synhandikappade använda återanvändningsbara talknappar eller liknande där godtycklig
information kan spelas in och sedan spelas upp vid behov kvarstår. Sådana produkter finns
redan utvecklade och billigare och bättre produkter av detta slag kan förväntas.
I det andra fallet måste någon eller några av informationsbärarna på förpackningen läsas av
och sedan överföras till talad text. För att göra detta krävs till att börja med en läsare som
klarar av att läsa någon eller helst flera typer av informationsbärare, dvs en läsare som kan
tolka: text, bild, 1D streckkod, 2D streckkod, RFID-etiketter, eller övrig informationsbärare
och sedan direkt i läsaren eller via något system överföra information till talad text. Mer om
detta under nästa rubrik; tekniska hjälpmedel.
Grundförutsättningen för olika tekniska hjälpmedelsalternativ är givetvis vilka
informationsbärare som idag finns på förpackningar och vilka som kan vara realistiska på kort
och lång sikt. När det gäller läkemedelsförpackningar i Sverige är utvecklingen i hög grad
driven av regleringar och lagar på europeisk och svensk nivå. Dessa utgår ifrån att
information om läkemedel för humant bruk skall vara tillgänglig för alla. Det innebär bl.a. att
punktskrift nu skall finnas på ytterförpackningar inom EU. När det gäller förpackningar i
dagligvaruhandeln är det mer kommersiella intressen än lagstiftning som avgör. I rapporten
”Finns kommersiella förutsättningar för tydliga förpackningar i dagligvaruhandeln? –
Slutrapport i projektet Förpackningar som värdeskapare för alla” av Kent Gustafsson,
Humanskill och Bertil Sköld, SRF” behandlas både medicinförpackningar och andra
förpackningar utförligt, varför denna rapport bara fördjupar sig i dessa aspekter när det är
motiverat.
Som nämts i tidigare avsnitt har EFPIA (European Federation of Pharmaceutical Industries
and Associations) valt att avvakta med RFID-teknik. De bedömer att RFID-tekniken inte
fungerar tillräckligt väl för närvarande för läkemedelsförpackningar och de anser att det finns
frågor kring säkerhet och integritet som inte är lösta. Dock håller EFPIA öppet för
möjligheten att RFID kan utvecklas och ha fördelar och deltar därför i en av EU-kommisionen
tillsatt grupp för dessa frågor (http://ec.europa.eu/enterprise/pharmaceuticals/
counterf_par_trade/doc_publ_consult_200803/114_b_efpia.pdf ). Det är därför osannolikt att
RFID kommer som standard på medicinförpackningar inom överskådlig tid.
20
Därför har EFPIA istället nu valt att gå vidare mot implementering av 2D data matrix ECC200 som kan innehålla upp till 2335 alfa-numeriska tecken eller ca 2 A4 sidor normaltext.
Den 15 maj 2009 tillkännagavs att en pilotstudie i mindre skala skall utföras i Sverige under
3-4 månader som en start att försöka få en enhetlig europeisk kodmärkning av
medicinförpackningar. Syftet med implementering av 2D-koder är i första hand att få fram en
säkrare läkemedelsdistribution för att bland annat reducera risken för att förfalskade
läkemedel kommer ut på den europeiska marknaden. Det är tänkt att varje förpackning skall
få en individuell kod så att medicinen skall kunna följas från tillverkningen till slutanvändaren
via alla mellanled. 2D-koden bör utöver förpackningsidentiteten kunna innehålla all övrig
nödvändig information för användaren, t.ex.: antal tabletter, styrka och sista förbrukningsdag.
Bild 9 - ”End to end” verifikation med 2D –koder,
(http://ec.europa.eu/enterprise/pharmaceuticals/counterf_par_trade/doc_publ_consult_200803
/114_b_efpia.pdf )
Full implementering kommer enligt preliminära beräkningar att kosta 150 till 300 miljoner
euro för industrin, 1500 euro per apotek och driftskostnader motsvarande 1 – 2 eurocent per
förpackning, dvs rätt etydande belopp.
Ett svenskt projekt (ref: information från Arla) utfört av ett mindre företag (företagsnamn?)
tar nu fram digitala bilder på alla? produktförpackningar. Detta kommer att ge förutsättningar
för ett bildigenkänningssystem där till exempel en mobiltelefon med kamera skulle kunna
användas som terminal.
Det är därför rimligt att för synskadade och blinda försöka hitta och eller utveckla tekniska
hjälpmedel som kan läsa av alla eller de viktigaste av de 6 plus 1 redovisade
databärarkategorierna:
1.
2.
3.
4.
5.
6.
7.
text
bild
1D streckkoder
2D punktkoder
Punktskrift (Braille)
RFID, Radio-frequency identification
Övriga
21
Tekniska hjälpmedel för att läsa och tolka förpackningsinformation
I detta avsnitt som tyvärr på grund av tillgänglig informations enorma omfattning inte kan
göra anspråk på att vara heltäckande presenteras ändå ett urval av ofta mycket intressanta och
lovande produkter, teknologier och forskningsrapporter. Underrubrikerna är de samma som
för avsnittet om informationsbärare, det vill säga: text, bild, 1D streckkoder, 2D punktkoder,
braille, RFID och övriga.
Text
OCR-utrustning (OCR står för Optical Character Recognition), där text som är inscannad som
en digital bild och sedan omvandlas i en dator till digital text med hjälp av OCRprogramvaran, har funnits länge. Även läspennor som gör samma sak textrad för textrad har
funnits på marknaden under ett antal år. För helt blinda är dessa kanske mindre intressanta då
det för en blind kan vara svårt att följa en textrad. Redan 1975 kom den första utrustningen
den så kallade Kurzweil Reading Machine som med hjälp av en flatbädds-scanner och en
talsyntesutrustning kunde läsa upp skriven text. Kurzweil har sedan tillsammans med
amerikanska National Federation of the Blind (NFB) utvecklat portabla talande läsare. Den
första portabla läsaren kom 2005 och kostade då ca 3500 dollar den senaste, KNFB Reader
som egentligen är en programvara för mobiltelefoner med kamera kom under 2008
(http://www.knfbreader.com/ ). I produktnamnet står K står för Kurzweil och NFB för
National Federation of the Blind. KNFB Reader lanserades i svensk version av polarprint
(http://www.polarprint.se/produkt?ID=3361) den 10 mars 2009. Med mobilens kamera tas ett
foto på papper, boksida, datorskärm eller dylikt och bilden omvandlas sedan av OCRprogramdelen till först digital text och sedan med hjälp av talsyntes-programdelen till talad
information. KNFB Reader kan levereras med svenskt tal och språkigenkänning men det går
även att lägga till andra språk. Totalt kan KNFB reader läsa text skriven i 13 språk och
översätta från vilket av dessa språk till övriga språk. KNFB reader är enligt uppgift mycket
snabb och skall fungera nästan lika bra som dator-scannerbaserad utrustning. Talsynteserna
Erik och Emma ingår. För närvarande fungerar KNFB reader endast med Nokia modellerna
N82 och 6220. Priset för programvaran är i Sverige knappt 15 000 kr inklusive moms. KNFB
reader säljs i Sverige av Polarprint ( http://www.polarprint.se/produkt?ID=3361 ) och ICAP
(http://www.icap.nu/default.aspx).
Bild 10 - Nokia telefon N82 med KNFB reader
22
Nedan följer lite ytterliggare information fritt översatt från den amerikanska hemsidan
( http://www.knfbreader.com/ ).
Knfb reader produktlinje - egenskaper:
 Läser de flesta tryckta dokument
 Läsmoder för böcker, artiklar, etiketter, räkningar
 Läser adress-etiketter och förpackningsinformation och instruktioner
 Känner lätt igen amerikanska sedlar (när kommer tillägg för andra sedlar,t.ex.
svenska?)
 Skriver på mobilskärmen ut en mening och markerar varje ord när det läses
 Text-navigering med hel mening, ord eller tecken
 Hjälpsida för träning att ta bilder
 Kan spara tusentals sidor med hjälp av minneskort till mobiltelefonen
 Kan överföra textfiler till och från datorer (txt-format) eller braille
anteckningsprodukter (Braille note takers)
 Kan anpassa uppläsningshastigheten för att passa användarens önskemål
Specificationer och krav på mobiltelefonen:
 Operativ system - Symbian S60, 3rd Ed, FP1
 Anpassad till följande mobiltelefoner - Nokia N82 och Nokia 6220
 Språk - US English, UK English och nu även svenska och andra språk
 Krav på fritt minne i telefonen - 50 Mb
 Minneskortlagring - upp till 500 bilder per Gb
 Kamera - 5 megapixel, autofokus med xenon blixt
Tillbehör:
 Bland annat polarisatorer för kameralins och blixt
Documentation:
 Inkluderar tryckt dokumentation och hjälpfiler som laddas ner med programvaran på
telefonen
 Braille documentation på begäran (endast på engelska?)
Programuppgraderingar:
 1 år efter aktivering av programvaran
Tillbehör till Nokia N82:
 Program Talks oeller MobileSpeak
 GPS mjukvara
 telefonväska
Mobile Speak från Humanware i USA är en programvarubaserad applikation som läser upp
skärmtext på mobiltelefoner med hjälp av syntetiskt tal antingen till mobilens högtalare eller
till hörsnäcka eller headset. Skärminnehållet kan också presenteras till en Braille enhet med
en uppdaterbar Braille display. Tal och Braille kan användas samtidigt eller oberoende . Den
kan installeras på telefoner med operativsystemet Symbian. Support finns för 20 språk
däribland svenska (http://www.humanware.com/en-
23
europe/products/blindness/screen_readers/_details/id_123/mobile_speak_for_symbian_phone
s.html ).
Bild
Ett försöksprojekt benämnt bildtolkning för synskadade (http://bildtolken.se ) bedrivs av
Polar Print (http://www.poarprint.se ) på uppdrag av Post- och telestyrelsen (PTS)
(http://www.pts.se/ ). Syftet är att erbjuda synskadade bildtolkning med hjälp av digitala foton
från mobiltelefoner där bildtolkningen utförs av seende tolkar som fått bilderna via
videosamtal via videosamtal med 3G-telefoner eller skickade bilder.
Det amerikanska företaget iVisit ( http://www.ivisit.com/ ) från Santa Clara i Kalifornien har
med stöd från National Institute of Health (NIH) i USA utvecklat en programvara SeeScan
som är tänkt att assistera blida i att identifiera objekt i omgivningen, t.ex. konsumentvaror,
sedlar och CD-skivor. Ivisit valde att den 14 april, 2009 gå ut med en fimsnutt på Youtube
(www.youtube.com/watch?v=lUUxGvDqok4 ) som demonstrerar den till synes mycket
imponerande funktionaliteten. Mobiltelefonen med filmkameran svepes i filmen på någon till
några decimeters avstånd över diverse förpackningar och amerikanska sedlar och berättar
simultant med syntetisk röst vad det är för något, t.ex: Frosted flake cereal, five dollars,
twenty dollars, Gardettos snacks mix, etc. Även en ett par gånger vikt 20 dollarssedel känns
igen. Programmet måste rimligen förlita sig på avancerad bildbehandling och en databas med
text och bilder över konsumentprodukter m.m. Enligt Professor Robert Forchheimer vid
Linköpings Universitet, specialist på bildbehandling, är det möjligt att unikt identifiera en bild
baserad på relativt lite information räknat i bytes. Det bör därför vara realistiskt att även
några miljoner starkt komprimerade bilder av produkter och föremål med tillhörande
textinformation lagras lokalt i mobilens minneskort för att sedan jämföras med vad
mobilkameran ser.
Bild 11 - Datorskärm visande Youtube-filmen Real-Time Object Recognition on a Mobile
Device
24
iVisit har även utvecklat en technologi SeeStar som gör att synhandikappade kan ta levande
bilder med en mobilkamera som direkt överförs till en seende assistents datorskärm.
Assistenten kan sedan beskriva omgivningar, känna igen objekt, hjälpa till med
väganvisningar m.m. Denna teknologi förefaller motsvara det ovan beskrivna svenska
bildtolkningsprogrammet. Dessutom kan SeeStar användarens GPS position visas på en
Goggle karta på assistentens bildskärm så att assistenten lättare kan guida den blinda. Detta
förutsätter naturligtvis att mobiltelefonen utöver kamera också har en GPS inbyggd.
Utvecklingen av SeeStar och SeeScan har också sponsrats av USA’s National Eye Institute
(NEI, www.nih.gov/ ) och har varit användarstyrd redan från början. Efter testning av
prototyper med hjälp av över 30 synhandikappade och blinda har alla dessa bekräftat att även
i prototypstadiet så har hjälpmedlen signifikant förbättrat deras livskvalitet enligt iVisits
grundare och VD Orang Dialameh. iVisit ser en stor potential för produkternas användning
också av andra än synhandikappade och blinda.
Senare under år 2009 kommer iVisit att släppa beta versioner av SeeStar och SeeScan till
användare i USA över alla större 3G mobiltelefonnätverk och för windows pda-mobiltelefoner (pda = personal digital assistant). Följande modeller fungerar nu med betaprogramvaran: HTC 6800 (Mogul), HTC Flip, HTC Touch, HTC 6700, Samsung i760, Treo
700 Wx and LG Dominator. Utveckling av Symbian, iPhone och BREW versioner pågår eller
planeras.
iVisit SeeStar/SeeScan demo video på 15.1 Mb kan laddas ner från:
www.ivisit.com/images/video/ivisit_mobile_seestar_seescan.wmv .
1D streckkoder
Än så länge finns endast en talande streckkodsläsare, id mate omni ifrån det amerikanska
företaget Envisionamerica (http://www.envisionamerica.com/idmate/ ). Det är en
laserscannande streckodsläsare som med sin integrerade databas på 2.7 miljoner
internationella UPC-koder kan identifiera konsumentvaror. Det krävs ingen större
riktningsprecision vid läsning av koder då läsaren scannor över en rätt stor yta. Läsavståndet
kan vara från kontakt upp till några decimeter. När läsaren känner igen en kod ges omedelbart
en talad information om vad det är för vara. Talet är syntetiskt för de koder som finns i
läsaren. Det finns också en möjlighet att tala in kompletterande information. Om en
streckkod inte finns i databasen kan användaren enkelt associera en läst 1D streckkod med ett
eget intalat meddelande som sedan läses upp när streckkodsläsare nästa gång träffar på samma
streckkod.
Många i sverige förekommande produkter finns tyvärr ännu inte med i databasen, men det bör
vara möjligt att komplettera med dessa på ett mer rationellt sätt än en manuell inläsning av
varje objekt. Nackdelen med id omni mate är att den är ganska stor, ca 10 gånger 10 gånger
20 centimeter och väger nästan 1 kilogram.
25
Bild 12 - I.d. mate omni talande streckkodsläsare
Närmaste återförsäljare av i.d. mate omniär The Force Ten Co. Ltd. I England (ref:
http://www.forcetenco.co.uk ) .
6 Beckley Parade
Leatherhead Road
Great Bookham, Surrey, England KT23 4RQ
Phone: 1372-450887
Fax: 1372-450771
Nokia har nyligen, 10 Juni 2009 lanserat beta-versionen (experimentversion) av ett
applikationsprogram för kameramobiler som kan läsa streckkoder. Produkten heter Point and
Find (http://pointandfind.nokia.com/?home ) och kan läsa 1D streckkoder. Information om
varan kommer sedan upp i mobildisplayen. Man kan även peka på film-affisher och få korta
trailers nedladdade som kan visas på mobiltelefonen. En demo-film med engelskt tal finns på
Youtube (http://www.youtube.com/watch?v=d323K4gy3sg&feature=channel_page ).
26
Bild 13 - Datorskärm visande filmen: Nokia Point & Find How-To-Video
Pont and Find bör kunna kombineras med program som läser upp displayens text. En sådan
programvaruprodukt, Mobile Speak för mobiltelefoner har beskrivits ovan.Den kan läsa upp
skärmtext på mobiltelefoner med hjälp av syntetiskt tal antingen till mobilens högtalare eller
till hörsnäcka eller headset.
Företaget Baracoda tillverkar små lätta 1D-streckkodsläsare med så kallat blåtands
radiointerface som också många mobiltelefoner har. Deras läsare D-fly väger endast 52 g
(http://www.baracoda.com/baracoda/librairie-doc/D-Fly-Datasheet_1350.pdf). Med lämpliga
programvaror skulle denna tillsammans med en mobiltelefon kunna ge en god funktionalitet,
dvs ”förpackningar som talar”.
27
Bild 14 - Baracoda D-Fly (http://www.baracoda.com/baracoda/librairie-doc/D-FlyDatasheet_1350.pdf)
Nedan finns också några få funna artikelreferenser från år 2005 till 2007 med engelska
sammanfattningar (abstracts) som behandlar läsning av 1D koder med hjälp av
mobiltelefoner. Dessa referenser är kanske mer intressanta för forskaren än för användaren
och kan förslagsvis hoppas över för den icke detaljintresserade. Att relativt få artiklar hittats
visar att 1D-kodläsarprogram implementerade i mobiltelefoner med kamera ej är något stort
forskningsområde utan det förefaller mer som att det är företag och produktutvecklare som är
aktiva inom området för närvarande.
Locating and decoding EAN-13 barcodes from images captured by digital cameras
Chai, D., Hock, F.
Visual Information Processing Research Group, School of Engineering and Mathematics,
Edith Cowan University, 100 Joondalup Drive, Joondalup WA 6027 Perth, Australia
2005 Fifth International Conference on Information, Communications and Signal
Processing
Volume 2005, 2005, Article number 1689328, Pages 1595-1599
Abstract
In this paper, we propose a vision-based technique to locate and decode EAN-13 barcodes
from Images captured by digital cameras. The ultimate aim of our approach Is to enable
electronic devices with cameras such as mobile phones and Personal Digital Assistants
(PDAs) to act as a barcode reader. ©2005 IEEE.
Developing a camera-phone-based drug barcode reader and support system.
Chen, W.C., Chang, P., Chen, L.F.
Institute of Health Informatics and Decision Making, National Yang-Ming University, Taipei,
Taiwan / R.O.C.
28
AMIA ... Annual Symposium proceedings / AMIA Symposium. AMIA Symposium
2006, Page 882
Abstract
The Food and Drug Administration (FDA) published a rule that require certain human drug
and biological product labels to have a linear bar code, to help reduce the number of
medication errors. This paper describes a software support system for care givers and patients
to identify the barcode use a camera phone. It is an economical and effective way if we can
create software to help people to identify the barcode and show the information they need just
on their phone.
Mobile phone based interaction with everyday products - On the go
Adelmann, R.
ETH Zurich, Institute for Pervasive Computing, Clausiusstrase 59, 8092 Zurich, Switzerland
NGMAST 2007 - The 2007 International Conference on Next Generation Mobile
Applications, Services and Technologies, Proceedings
2007, Article number 4343402, Pages 63-69
Abstract
Linking the physical world with information and services is a powerful concept. Even though
RFID technology is very promising, the widespread use of RFID tags on retail products
remains unlikely for the next years. In contrast, barcodes are ubiquitous - printed on virtually
all consumer items world-wide. Recently there is an increasing interest in applications based
on the recognition of standard 1D barcodes using the built-in cameras of mobile phones. Since
many of the potential applications are especially useful when being "on the go", e.g., while
shopping, a simple and fast user interaction is essential. In this paper we want to present two
contributions that enable such a simple and fast interaction with everyday products and their
services: A system for the recognition of 1D barcodes on mobile phones that differs in two
aspects from already existing solutions: the fast and robust real-time recognition of codes on
the camera's video images as well as the live detection of additional code parameters, like the
barcode's relative orientation to the mobile phone. Besides that, we present and suggest the
usage of these additional parameters in order to ease and accelerate the user interaction
process - for example with the help of orientation sensitive menus. © 2007 IEEE.
2D punktkoder
Det finns nu ett stort antal 2D-kodläsarprogram avsedda för mobiltelefoner att ladda ner gratis
eller till ringa kostnad bland annat Nokia_Barcode_Reader_S60_32 från Nokia i Finland,
(http://mobilecodes.nokia.com/scan.htm). Precis som för 1D-streckkodsläsarprogram borde
även 2D-kodläsarprogram kunna kombineras med program som läser upp displayens text. En
sådan programvaruprodukt, Mobile Speak för mobiltelefoner har beskrivits ovan. Det
applikationsprogrammet gör att skärmtext på mobiltelefoner kan läsas upp med hjälp av
syntetiskt tal antingen till mobilens högtalare eller till hörsnäcka eller headset. De senare kan
vara trådlösa med hjälp av så kallad blåtand radiokommunikationsteknologi.
Även andra företag, t.ex nedan listade tillhandahåller läsprogram med oika funktionalitet och
för olika mobiltelefonoperativsystem: windows, Symbian med flera. Ofta klarar dessa
program också att läsa 1D-koder.
29
I-nigma reader, av 3GVision (http://www.i-nigma.mobi )
NeoReader, av NeoMedia Technologies / Gavitec AG - mobile digit
(http://get.neoreader.com )
UpCode reader, by UPC ( http://www.upcode.fi )
Semacode reader, av Semacode (http://semacode.org/ota )
QuickMark reader (www.quickmark.com.tw/En/basic/index.asp och
http://www.quickmark.cn/En/basic/downloadDev.asp ) som klarar följande 2D-koder för
windows och symbian-mobiler: Quick Code, QR Code, Data Matrix samt följande 1dkodformat: EAN 8/13, Code 39, Code 128.
.
Beetagg (http://www.beetagg.com/campaigns/qrcodereader.aspx/ )
med flera.
För 2D-koderna har också tre i sammanhanget relevanta artikelreferenser hittats med följande
titlar:
 Proposing a hybrid tag-camera-based identification and navigation aid for the visually
impaired

Reach out and touch: Using NFC and 2D barcodes for service discovery and
interaction with mobile devices

Utilizing QR code and mobile phones for blinds and visually impaired people.
Nedan är dessa referenser inklippta med sina engelska sammanfattningar (abstracts).
Proposing a hybrid tag-camera-based identification and navigation aid for the visually
impaired
Ebrahim, Y.a , Abdelsalam, W.a , Ahmed, M.b , Chau, S.-C.b
a Dept. of Computing and Information Science, University of Guelph, Guelph, Ont., Canada
b Dept. of Physics and Computer Science, Wilfrid Laurier University, Waterloo, Ont.,
Canada
2005 2nd IEEE Consumer Communications and Networking Conference, CCNC2005
Volume 2005, 2005, Article number 1405164, Pages 172-177
Abstract
In this paper a barcode-based system to help the visually impaired identify objects in the
environment and navigate through unknown territories is introduced. The system is based on
the idea of tagging the different objects with 2D barcodes. With the aid of a portable camera
and a computing device, the system can recognize and relay the barcode content to the user.
We present the advantages of the proposed system compared to those of existing
technologies. The different steps for recognizing and extracting the barcodes are described
and applied to a sample image. © 2004 IEEE.
Reach out and touch: Using NFC and 2D barcodes for service discovery and interaction
with mobile devices
O'Neill, E.a , Thompson, P.b , Garzonis, S.a , Warr, A.a
30
a Department of Computer Science, University of Bath, BA2 7AY, United Kingdom
b Vodafone Group R and D, Newbury, RG14 2FN, United Kingdom
Lecture Notes in Computer Science (including subseries Lecture Notes in Artificial
Intelligence and Lecture Notes in Bioinformatics)
Volume 4480 LNCS, 2007, Pages 19-36
Abstract
We investigate the use of 2 tagging technologies: Near Field Communication (NFC) and 2dimensional barcodes. Our investigation combined a field trial and interview based study with
an experimental evaluation. The field trial focused on users' experience of the usability of
NFC for a range of trial services, users' perceptions of NFC use in their daily life context, and
users' suggestions for potential applications of NFC. The tags were embedded in a variety of
postcards, table-top signs and posters. The experimental evaluation compared the ease of use
of NFC and 2D barcodes, operationalised in terms of time taken to read a specified sequence
of tags on posters. We found that for untrained users the 2D barcodes were quicker to use than
the NFC tags but that training significantly improved users' performance with the NFC tags
while having no effect on their performance with the barcodes. © Springer-Verlag Berlin
Heidelberg 2007.
Utilizing QR code and mobile phones for blinds and visually impaired people
Al-Khalifa, H.S.
Information Technology Department, College of Computer and Information Science, King
Saud University, Riyadh, Saudi Arabia
Lecture Notes in Computer Science (including subseries Lecture Notes in Artificial
Intelligence and Lecture Notes in Bioinformatics)
Volume 5105 LNCS, 2008, Pages 1065-1069
Abstract
In this paper a barcode-based system to help the visually impaired and blind people identify
objects in the environment is introduced. The system is based on the idea of utilizing QR
codes (two-dimensional barcode) affixed to an object and scanned using a camera phone
equipped with QR reader software. The reader decodes the barcode to a URL and directs the
phone's browser to fetch an audio file from the Web that contains a verbal description of the
object. Our proposed system is expected to be useful in real-time interaction with different
environments and to further illustrate the potential of our work, two scenarios are presented.
Punktskrift (Braille)
Fingersensor för läsning av Braille.
Ett stort antal synhandikappade och blinda, främst sådana som fått sitt handikapp i högre
åldrar har svårt att lära sig läsa Braille blindskrift. En japansk forskargrupp har därför ägnat
sig åt utveckling av en taktil sensorläsare som är tänkt att fästas på ett finger. Den taktila
sensorn baseras på ett ferroelektriskt material som ger en elektrisk utspänning när tryck
påverkar den. Fingret med sensorn förs sedan över punktskriften med en hastighet av 50 till
200 mm per sekund och de digitaliserade signalerna tolkas sedan till text av ett datorprogram
med ett avancerat signaligenkänningsprogram. Texten kan läsas upp med hjälp av talsyntes.
En japanska gruppen verkar vara den enda som så här långt ägnar sig åt denna forskning
( Mami Tanaka, Kaoru Miyata, and Seiji Chonan, A Wearable Braille Sensor System With a
Post Processing, IEEE/ASME TRANSACTIONS ON MECHATRONICS, VOL. 12, NO. 4,
31
AUGUST 2007). De experimentella resultaten får anses lovande även om en hel del felaktiga
tolkningar av signaler uppstår i experimentsystemet. Det bedöms att det fortfarande återstår
mycket F&U-arbete innan något praktiskt användbart hjälpmedel för synhandikappade kan
vara tillgängligt.
.
Bild 15 - Fingersensor
Bild 16 - Mätsystem - princip
För Braille har också några i marknadssammanhang relativt relevanta artikelreferenser
hittats. De speglar bland annat hur viktig lagstiftning är för att kommersiella aktörer skall
påverkas att utveckla förpackningar med Braille. Artiklarna har följande titlar:

Marketing Innovation Pharmaceutical packaging Technology and design
requirements are on the rise

U.S. keeps close watch on European Braille directive
Nedan är dessa referenser inklippta med sina engelska sammanfattningar (abstracts).
32
Marketing Innovation Pharmaceutical packaging Technology and design requirements
are on the rise
Munzel, J.
Journal of Medical Marketing
Volume 7, Issue 2, March 2007, Pages 136-145
Abstract
This paper provides an overview of the current requirements for pharmaceutical packaging
and highlights the challenges faced by the pharmaceutical industry and packaging
manufacturers. Taking the implementation of Braille for pharmaceutical packaging in
Germany as an example, it is shown how packing manufacturers respond to changes in the
legal environment. At the same time, the reader gains an overview of the latest developments
in packaging technology, which today ensure that pharmaceutical products are child resistant
as well as senior and consumer friendly, and are protected against counterfeiting. In response
to increasing competitive pressure, the pharmaceutical industry has also discovered the
significance of packaging as an important sales instrument. Consequently, apart from
technical challenges, packaging design expectations are increasing as well. The author
demonstrates the possibilities whereby usually rather plain factual pharmaceutical packaging
can live up to modern sales and marketing guidelines thanks to appropriate finishing
technologies.
U.S. keeps close watch on European Braille directive
Schultz, J.
Folding Carton Industry
Volume 34, Issue 4, July 2007, Pages 58-59
Abstract
New European legislation requires the application of Braille on all pharmaceutical packaging
for the US folding carton manufacturers and suppliers. The directive requires Braille labeling
for medicinal products on the outer, or secondary, packaging that must include the name of
the medicinal product, strength and pharmaceutical form, common name, and multilingual
packaging. The Braille is introduced to make pharmaceutical packaging more easier for the
sight impaired, thus providing another opportunity for growth. Thoro Packaging, a folding
carton manufacturer in Corona, California, has been Braille embossing cartons for several
years and the technology acquired allows to Braille-emboss cartons during diecutting. The
European Carton Makers Association (ECMA) has launched a European code of practice for
the production of Braille on folding cartons. Various other companies are also using Braille
during the die cutting process for further growth opportunities.
33
RFID, Radio-frequency identification
Sedan 2004 finns mobiltelefoner med RFID-läsare. Nokia var ledande i denna utveckling.
Oftast handlar det om läsare som endast kan läsa på kort avstånd från RFID-taggen, så kallade
NFC-läsare där NFC står för Near Field Communication.
En drivkraft för RFID i mobiler är att utveckla betalsystem med RFID så att mobiltelefonen
kan användas som ett trådlöst betalkort.
För övrigt sätter bra fantasin gränser för tillämpningarna, till exempel kan RFID-taggar med
information fästas lite varstans: på skyltar, stolpar, i inomhusmiljö, på saker, CD-skivor,
talböcker, kläder m.m och när läsaren är aktiverad i närheten kan information av diverse slag
erhållas med hjälp av RFID-mobiltelefonen. Ett bra svenskt exempel är AudioIndex som är
ett RFID-baserat hjälpmedel för biblioteks-besökare med läshinder. Med hjälp av AudioIndex
kan läshindrade på egen hand och i egen takt botanisera bland talböckerna och få information
om titel, författare och innehåll via talsyntes. AudioIndex finns som pilotprojekt på
huvudbiblioteken i Umeå, Skellefteå, Uppsala, Enköping och Håbo.
(http://www.talandebiblioteket.se/ )
I princip kan informationen finnas helt och hållet i RFID-taggen, eller i en intern databas i
mobiltelefonen eller nås via mobiltelefonen och internet.
Som för 1D-streckkoder och 2D-punktkoder bör även RFID-läsare kunna kombineras med
program som läser upp displayens text. En sådan programvaruprodukt, Mobile Speak för
mobiltelefoner har beskrivits ovan. Det applikationsprogrammet gör att skärmtext på
mobiltelefoner kan läsas upp med hjälp av syntetiskt tal antingen till mobilens högtalare eller
till hörsnäcka eller headset. De senare kan vara trådlösa med hjälp av så kallad blåtand
radiokommunikationsteknologi.
Separata RFID-läsare finns som via blåtandsinterface kan kommunicera med mobiltelefoner,
till exempel från Baracoda (http://www.baracoda.com/baracoda/librairie-doc/TagRunnersDatasheet---English_1589.pdf ).
34
Bild 17 - Baracoda TagRunners – Contact RFID-reader
För RFID redovisas ett par relativt relevanta artikelreferenser. hittats. Artiklarna har följande
titlar:

Taking tablets

Reach out and touch: Using NFC and 2D barcodes for service discovery and
interaction with mobile devices

An RFID-based point-and-listen interface providing library access for the visually
impaired
Nedan är dessa inklippta med engelska sammanfattningar (abstracts).
Taking tablets
Campbell, S.
Brand, Volume 5, Issue 3, March 2006, Pages 20-25
Abstract
Talking packaging is emerging as an established health care tool to offer help for the blind
and visually impaired. ScripTalk, developed by En-Vision America, works by attaching an
RFID label to medication. The label is encoded with name of the drug and the patient, the
dosage instructions, and side effects. The patient uses a small reader to scan the label, and the
reader then reads out the information using synthesis technology. Manufacturers in the US are
looking for government subsidies to help fund implementation to further encourage the use of
talking packaging. European companies are also looking at governments and councils to
overturn inept legislation, set new regulations enforcing the use of smarter technology and are
35
searching for government funding. The laws will provide better for a wide range of disabled
people and more pharmacies stock talking labels.
Reach out and touch: Using NFC and 2D barcodes for service discovery and interaction
with mobile devices
O'Neill, E.a , Thompson, P.b , Garzonis, S.a , Warr, A.a
a Department of Computer Science, University of Bath, BA2 7AY, United Kingdom
b Vodafone Group R and D, Newbury, RG14 2FN, United Kingdom
Lecture Notes in Computer Science (including subseries Lecture Notes in Artificial
Intelligence and Lecture Notes in Bioinformatics), Volume 4480 LNCS, 2007, Pages 19-36
Abstract
We investigate the use of 2 tagging technologies: Near Field Communication (NFC) and 2dimensional barcodes. Our investigation combined a field trial and interview based study with
an experimental evaluation. The field trial focused on users' experience of the usability of
NFC for a range of trial services, users' perceptions of NFC use in their daily life context, and
users' suggestions for potential applications of NFC. The tags were embedded in a variety of
postcards, table-top signs and posters. The experimental evaluation compared the ease of use
of NFC and 2D barcodes, operationalised in terms of time taken to read a specified sequence
of tags on posters. We found that for untrained users the 2D barcodes were quicker to use than
the NFC tags but that training significantly improved users' performance with the NFC tags
while having no effect on their performance with the barcodes. © Springer-Verlag Berlin
Heidelberg 2007.
An RFID-based point-and-listen interface providing library access for the visually
impaired
Fallman, D. Lindbergh, K., Fjellstrom, O., Johansson, L., Nilbrink, F., Bogren, L.
Umeå Design Research Group, Umeå Institute of Design, Umeå University, SE-90187, Umeå,
Sweden
Lecture Notes in Computer Science (including subseries Lecture Notes in Artificial
Intelligence and Lecture Notes in Bioinformatics), Volume 4556 LNCS, Issue PART 3, 2007,
Pages 269-278
Abstract
We present the AudioIndex prototype, a light-weight mobile RFID-based point-and-listen
interface that allows visually impaired to browse and search for audio books within a public
library without the need for library staff guidance. AudioIndex has been specifically designed
to fit well into the library environment and its routines, a fit made possible by carefully
considering interaction styles and by solving a number of technical design challenges,
including distribution of data, hardware platform, and RFID specifications.
Övriga
Läsare för osynliga koder som endast syns i det för ögat okänsliga infraröd-området
respektive ultraviolett-området kräver speciella lampor och bildsensorer och är inget som kan
förväntas bli tillgängligt för allmän användning i närtid.
Som kommenterats tidigare finns vissa fördelar. För ögat osynlig information skulle i princip
kunna tryckas på godtyckliga redan upptagna ytor och nyttiggöras av blinda med anpassad
läsare. Navigationshjälpmedel för till exempel stads- och butiksmiljöer skulle kunna utvecklas
36
med denna princip utan att kräva någon egen yta. En referensen kring detta ges nedan med
tillhörande sammanfattning (abstract) på engelska.
Electronic clipping system with invisible barcodes
Kamijo, K., Kamijo, N., Sakamoto, M.
Tokyo Research Laboratory, IBM Japan, 1623-14 Shimotsuruma, Yamato-shi, Kanagawa,
Japan
Proceedings of the 14th Annual ACM International Conference on Multimedia, MM
2006 , 2006, Pages 753-762
Abstract
The Internet, digital television, and similar technologies have accelerated the speed of
digitalization. Nevertheless, paper media forms, such as newspapers and magazines, still have
large market shares, and the authors believe that these two worlds, digital and analog, will
coexist even in the future, with their own market areas. However, the demands to connect
between these two worlds are increasing, and barcodes and watermarking are examples of
technologies used to connect them. However, a barcode occupies space and disrupts the
layout of an article, and watermarking has limited capacity for embedding data.In this paper,
we propose an "electronic clipping system with invisible barcodes", which connects the
analog and digital worlds, addressing these problems. In this system, we overprint invisible
2D barcodes on printed articles using invisible ink, then take pictures of them using a camera
equipped with a special LED (Light Emitting Diode)that the invisible ink responds to, decode
the encoded data of the 2D barcode after the image is processed, and extract the information.
We developed a code extraction system which can extract the information from invisible 2D
barcodes even if the barcodes are overprinted on the articles in media such as newspapers, and
even if the article is in color. We also made a prototype cell phone which includes both the
barcode extraction code and the LED, and confirmed that we can correctly extract the
information from the pictures taken by the phone.
Author Keywords
2D bar code; Cell phone; Invisible ink; QR code; Ubiquitous; UV LED
37
Diskussion, kommentarer och slutsatser
Forskningen inom området hjälpmedel för att blinda skall kunna ta till sig
förpackningsinformation är liten, endast ett fåtal artiklar med denna specifika inriktning har
publicerats. Däremot är utvecklingen av produkter inom mobiltelefonområdet mycket
omfattande, inte minst pga att denna industri omsätter motsvarande ca 500 miljarder dollar
per år. Vissa produkter, främst programvaror har utvecklats och utvecklas speciellt för
synhandikappade och många andra produkter avsedda för bredare kundgrupper kan också
vara till god hjälp för synhandikappade och blinda.
Området blindas navigering eller gående ute i samhället är mycket mer etablerat som
forskningsområde och diverse teknologier är under utveckling. Ofta krävs i detta
sammanhang en hel del infrastrukturåtgärder, t.ex. att RFID-taggar placeras ut såväl inomhus
som utomhus i de miljöer som skall göras mer tillgängliga och säkra för blinda.
För helt blinda finns idag endast blindskrift (Braille) som etablerad informationsbärarteknologi på förpackningar. Dessvärre är det i huvudsak endast medicinförpackningar som
tack vare svensk och europeisk lagstiftning skall ha blindskrift på ytterförpackningen. Dock är
det bara en del av förpackningsinformationen som får plats varför blinda åtminstone i Sverige
kan begära att få all nödvändig information på ett separat blindskriftsdokument. Detta är
opraktiskt och förhållandevis dyrt (några hundra kronor per recept) samt fördröjer också
normalt expedieringen av medicinen.
Utöver blindskrift finns idag i huvudsak 2 tekniskt-ekonomiskt rimliga informationsbärarteknologier som kan utvecklas mot talande förpackningar nämligen tryckta streck- eller
punktkoder samt RFID. Båda kräver någon form av läsare som omvandlar kodad information
till tal. Denna läsare skall enligt önskemål helst ej vara en separat utrustning utan snarare ett
hjälpmedel som gärna kan vara integrerat i en mobiltelefon eller möjligen ett digitalt
fickminne av typ som är utvecklat för blinda, t.ex. produkten Milestone. Sannolikt kommer
sådana fickminnen och mobiltelefoner fusionera till samma fysiska produkt framöver.
Mobiltelefoner eller personliga digitala assistenter (pda-er) som mer avancerade
mobiltelefoner brukar kallas kommer att succesivt att kunna få allt större funktionalitet. Som
bekant finns idag redan möjligheter till att inkludera: kamera, filmkamera, GPS, internet med
email och WWW-läsare, MP3-spelare, radio, TV, NFC-RFID med mera i en mobiltelefon.
Framförallt är utvecklingen av applikationsprogramvaror för diverse tjänster omfattande.
Många delar idag visionen om att det som ursprungligen var en trådlös telefon i framtiden
skall bli ett oerhört kraftfullt universalhjälpmedel för alla kategorier användare. Denna
utveckling av nya funktioner och tjänster utförs ofta av mindre och mycket innovativa bolag
också på grund av att många nisch-applikationsområden, tex hjälmedel för blinda, är så
affärsmässigt små att de inte motiverar de stora telecom-bolagen att delta i utvecklingen.
Av streckkoder finns idag huvudsakligen 1 dimensionella så kallade EAN-13 koder som finns
på alla konsumentförpackningar, men 2-dimensionella koder kommer alltmer, inte minst för
att de kan innhålla väsentligt mer information per yta. Att 2-dimensionella Data Matrix-koder
i en nära framtid troligen kommer att tryckas på europeiska medicinförpackningar motiverar
starkt att försöka hitta möjligheter att informationen som de innehåller skall kunna
tillgodogöras också som talad information.
38
En mobiltelefon med följande integrerade och samverkande systemkomponenter skulle kunna
göra jobbet:
 digitalkamera med lampa och eller blixt
 programvara för bildtolkning, dvs igenkänning och översättning av helst alla vanligt
förekommande 1D och 2D-koder till text
 programvara som när behov finns gör att mobiltelefonen kopplar upp sig till internet
och tar hem relevant information från internetanslutna servrar och databaser
 talsyntesprogramvara som överför textinformation till tal
 eventuella extralinser, polarisatorer och adaptrar på mobiltelefonkameran för att
förbättra lästillförlitligheten
Idag finns egentligen alla förutsättningar att åstadkomma detta då alla delkomponenter finns
mer eller mindre färdigutvecklade. I praktiken är det antagligen ett omfattande arbete att ta
fram ett användarvänligt system som inte blir för komplicerat, men som ändå kan anpassas för
den enskilde användarens behov och möjligheter. Dessutom är det självfallet oundvikligt att
kameran faktiskt behöver få en tillräckligt skarp och upplöst bild av koden, dvs koden
behöver troligen uppta en ganska stor del av kamerans bildfält. En blind behöver således
helst lära sig var koden sitter på förpackningen, vilket i praktiken är rätt orimligt då det kan
variera mycket mellan olika förpackningar, eller söka av alla ytor systematiskt. En eller flera
upphöjda punkter eller linjer i anslutning till koden skulle möjliggöra att taktilt hitta koden så
att kameran kan riktas rätt. Då medicinförpackningar ändå behöver ha Braille blindskrift
präglad eller tryckt borde det vara realistiskt att implementera detta för denna
förpackningskategori. Antagligen krävs ändå en tvingande lagstiftning för att detta skall ske
eller att medlemsföretagen i EFPIA kommer överens om detta frivilligt.
RFID-tekniken har här en fördel då den inte kräver vare sig fri sikt eller att RFID-taggen är
vänd mot RFID-läsaren. Som kommenterats tidigare i rapporten är generell RFID-märkning
av medicinförpackningar och konsumentvaror rimligen inte aktuell inom överskådlig tid på
grund av främst kostnadsskäl.
Att få till taktil utmärkning av var visuella 1D-koder och 2D-koder finns på andra kategorier
av varor, t.ex. mejerivaror, är givetvis önskvärt och borde inte vara helt ekonomiskt
orealistiskt. Efter att investeringen i ett extra process-steg för prägling eller tryckning gjorts
bör extrakostnaden för varje taktil märkning vara praktiskt taget fösumbar. Tvingande
lagstiftning och ny lågkostnadsteknologi kanske ändå behövs för att detta skall ske.
Som beskrivits i rapporten har nyligen en produkt lanserats som gör det möjligt att få text som
fotograferats av med hjälp av en mobiltelefon kamera uppläst. Detta bör vara ett fantastiskt
verktyg för synhandikappade och blinda, men även för andra kategorier som har svårt att läsa.
I detta sammanhang bör det också vara intressant om taktila markeringar finns i anslutning till
den viktigaste förpackningsinformationen, t.ex. varunamn och bäst före datum på
mejeriprodukter.
Den kanske mest lovande utvecklingen när det gäller tekniska hjälpmedel för
synhandikappade och blinda är kanske ändå utvecklingen av bildbehandlings och
bildigenkänningssystem. Idag bör det vara fullt realistiskt att bygga upp stora bilddatabaser av
konsumentprodukter, sedlar, gatumiljöer etc. Ett svenskt projekt att komplettera
konsumentproduktdatabaser för streckkoder med digitala bilder pågår nu (ref: Torkel
Bergengren och Annika Strömberg, Arla).
39
En sådan digital bild kan datamängdsmässigt komprimeras oerhört mycket och ändå vara unik
med stor säkerhet bland alla motsvarande komprimerade bilder. Även mindre delar av bilden
kan räcka för identifieringen om den motsvarande informationsmängden är unik med
tillräcklig säkerhet. Sannolikt baseras det i tidigare avsnitt refererade bildtolknings- eller
mönsterigenkännings-programmet för mobiltelefoner på sådana grund-ideer. (ref: Professor
Robert Forchheimer, Linköpings Universitet)
Dessutom finns system för mönsterigenkänning som kan kategorisera olika strukturer och
därigenom känna igen olika typer av objekt: stolpar, träd, bilar, dörrar, människor, hundar etc.
Området artificiell intelligens där programsystem succesivt lär sig att prestera bättre när det
gäller t.ex. mönster- och bild-igenkänning har redan nått imponerande resultat.
Om man talar om yttre hjälpmedel för blinda och synhandikappade som bör kunna vara
realistiska så skulle ett digitalkamera- och RFID-baserat hjälpmedel som via t.ex. en
mobiltelefon kommunicerar med internet kunna utvecklas mycket långt. Kamera-enheten kan
som idag vara integrerad i mobiltelefonen eller den personliga digitala assistenten. Kameran
skulle också kunna vara diskret integrerad i ett par glasögon och kunna kommunicera trådlöst
med den lilla bärbara personliga digitala assistenten som antingen själv gav talade besked och
eller taktila besked om vad den såg eller om så behövdes kommunicerade över internet för
mer avancerad hjälp och tolkning. Genom att bara rikta huvudet och kameran mot tex.
förpackningar skulle den förpackningsinformation som önskades kunna erhållas etc etc.
Inbyggd GPS skulle tillsammans med utplacerade ”RFID-fyrar” samt bildtolkning kunna
hjälpa till vid navigering utomhus och inomhus.
Till en viss nivå finns all nödvändig hårdvara och mjukvara redan utvecklad för att realisera
ett sådant hjälpmedel. Omfattande och komplex program- och systemintegration återstår
dock. En stor del av nödvändig FoU är också relaterad till så kallade mjukare aspekter, dvs de
synhandikappades och beteendevetenskapares synpunkter på gränssnittet människahjälpmedel, funktionalitet etc.
Den mest avancerade utvecklingen som är redovisad i rapporten kommer huvudsakligen från
USA, men det bedöms att det också i Sverige finns kompetens i världsklass inom alla
nödvändiga discipliner.
40
Förslag till fortsatt utveckling och finansiering
När projektet startades var av naturliga skäl både uppdragsgivaren och uppdragstagaren
relativt okunniga om var forskings- och teknologifronten låg inom området ”texten måste
tala” eller ”talande förpackningar”. Det har som ovan redovisats visat sig att utvecklingen,
framförallt under senaste halvåret kommit mycket långt, längre än vad åtminstone
uppdragstagaren förväntat sig. En del av de initialt tänkta produkterna finns således redan
eller är annonserade att komma ut på marknaden snart.
Grundrekommendationen är att en kontinuerlig nyhetsbevakning startas som kan fånga upp
nya utvecklingar och produkter och tillsammans med SRF göra en initial bedömning av dom.
Denna kompletterande nyhetsbevakning behöver antagligen inte omfatta mer än 1 – 2 v arbete
per år av en van informationssökare med god teknisk allmänkompetens inkluderande ett par
möten med SRF och övriga intressenter. Medel för denna nivå borde inte vara så svårt att få
fram, kanske från allmänna arvsfonden.
En väsentligt högre ambitionsnivå skulle vara att skapa ett väl genomtänkt
systemintegrationsprojekt med flera samarbetande organisationer (högskolor,
forskningsinstitut, företag) inkluderande också tilltänkta kommersiella producenter av
utvecklade hårdvaror, mjukvaror och systemlösningar. Målet skulle vara att ta fram ett
robust, användarvänligt, individanpassningsbart hjälpmedelssystem som bl.a. integrerar och
utvecklar de bästa av de idag kända delteknologierna att maskinellt läsa, tolka och presentera
information från text, bild, film, 1D- och 2D-streckkoder samt RFID. En miniatyriserad
filmkamera integrerad i ett par glasögon skulle kunna ingå i systemet. Någon avancerad
mobiltelefon borde kunna vara en så kallad plattform för systemet. Presentationen av
informationen för den synhandikappade och blinda kan lämpligen ges både som tal och taktilt.
Dövblindas speciella problematik som inte tagits upp i denna rapport skulle också kunna tas
med. Ett sådant projekt skulle antagligen behöva vara minst 3-årigt och sannolikt behöva en
budget på minst någon till några miljoner kronor per år.
Då ett stort antal synhandikappade och blinda, främst sådana som fått sitt handikapp i högre
åldrar har svårt att lära sig läsa Braille blindskrift kan det vara motiverat att också utveckla av
taktila sensorläsare av Braille blindskrift som kan fästas på ett finger och där sensorsignalerna
sedan tolkas till text som läsas upp via talsyntes. Då ett sådant projekt innefattar rätt
omfattande grundutveckling av sensorer och övrig elektronikhårdvara bedöms kostnaden bli
minst lika hög som för systemintegrationsprojektet ovan.
Beroende av finansiering skulle projekten förslagsvis kunna vara helsvenska eller europeiska.
Finansieringen skulle kunna delas mellan deltagande bolag i projektet och t.ex. Vinnova eller
KK-stiftelsen i Sverige eller från Europeiska Unionen.
41
Bilaga 1 – konceptprodukter för blinda från Yanko design
I denna bilaga redovisas 3 intressanta konceptprodukter från Yanko design med bilder.
Informationen är direkt kopierad från deras hemsida och på engelska
(http://www.yankodesign.com/ ).
1. Touch Sight camera for the blind
2. Braille E-book
3. Braille interpreter
Touch Sight camera for the blind
November 17, 2008 Capturing an image takes on a different meaning with the Touch Sight
camera. The device makes it possible for the visually impaired to take digital photos by using
a Braille-like screen to make a raised image on the user’s forehead of whatever the lens sees.
The camera aims to provide a means of recording the mental photograph that the visuallyimpaired create of their surroundings using senses other than sight. It records sound for three
seconds after pressing the shutter button so that the user can then use the sound as a reference
when reviewing and managing the photos and in place of an LCD screen, the camera has a
lightweight, flexible Braille display sheet which shows a 3D image by embossing the surface.
The sound and picture combine to become a touchable photo. This image can then be saved
on the camera as well as be uploaded to share with others–and downloaded to other Touch
Sight cameras.
The Touch Sight camera was recently named among Time Magazine's best inventions 2008.
(http://www.time.com/time/specials/packages/0,28757,1852747,00.html )
Bild 18 - Touch Sight Camera (http://www.yankodesign.com/2008/08/13/this-camera-is-
42
outta-sight/ )
Braille E-book
Visually challenged people require braille books in order to read. However, not many books
are available in braille due to cost and inefficiency. Translating a 500 page book into braille
nearly doubles the thickness. EAP is a technology that can dynamically change the surface
pattern by way of an electromagnetic signal - simulating braille text. Not exactly a new idea
but a nice executive nonetheless.
Designers: Seon-Keun Park, Byung-Min Woo, Sun-Hye Woo & Jin-Sun Park
(http://www.yankodesign.com/2009/04/17/braille-e-book/ )
Bild 19 - Braille E-book (http://www.yankodesign.com/2009/04/17/braille-e-book/ )
43
Braille interpreter – for the blind that can not read Braille
You are lucky my friend that you can read this post. Being sight-impaired is not a situation
you want to be in. It gets even more complicated if you are blind and can’t even read Braille.
Luckily there is some though process being invested in the Braille Interpreter, a single-finger
glove that features a tactile sensor, a Bluetooth headphone and interpreting software.
The index finger portion of the glove hosts the said tactile sensor. Skim it over the Braille
surface and it sends a feed to the main device housed on the back of the glove. Over here the
feeds are interpreted and beamed to the headphone via Bluetooth as voice data.
Skim-Interpret-Hear Voice; nifty enough solution for those who can’t cope with Braille.
Designer: Hyung Jin Lim
(http://www.yankodesign.com/2009/02/17/for-the-blind-who-dont-know-braille/ )
Bild 20 - Braille interpreter (http://www.yankodesign.com/2009/02/17/for-the-blind-whodont-know-braille/
44
Bilaga 2 – grovselekterade referenser från tekniska och
vetenskapliga vetenskapliga tidskrifter
De flesta av referenserna är kompletterade med abstracts.
2D barcodes for mobile phones,
Kato, H., Tan, K.T., IET Conference Publications
Issue 496 CP, 2005, Page 48 (Edith Cowan University, WA, Australia), IET Conference
Publications , Issue 496 CP, 2005, Page 48
Abstract
2D barcodes were designed to carry significantly more data than its ID counterpart. These
codes are often used in industrial information tagging applications where high data capacity,
mobility, and data robustness are required. Mobile phones have evolved from just a mobile
voice communication device to what is now a mobile multimedia computing platform.
3 D object recognition and description - A method for the visually impaired using an
invisible bar code,
Makino, H.a e f g h, Morishita, F.a e i, Abe, Y.b j k, Yamamiya, S.b e k, Hasegawa, M.c,
Ishii, I.d, Nakashizuka, M.a , Systems and Computers in Japan, Volume 29, Issue 8, July
1998, Pages 1-8
a Dept. of Information Engineering, Faculty of Engineering, Niigata University, Niigata, 95021, Japan
b Dainichi-Seika Color Chem. Mfg. C., Tokyo, 123, Japan
c Sawarabi, Co., Ltd., Tokyo, 151, Japan
d Grad. Sch. of Science and Technology, Niigata University, Niigata, 950-21, Japan
e Niigata University
f Hokkaido University
g University of Toronto
h Japan ME Society, IEEE Japan, Japan Heart Pacemaker Society
i Toshiba Corporation
j Tokyo Agric. and Indust. University
k Dainichi-Seika Color Chem. Mfg. C., Basic Synthetic Research Center
[ref. finns]
Abstract
An object recognition and description system using a specially designed invisible bar code has
been developed and tested. The system can produce a spoken description of an object without
resort to a visible bar code, thereby providing privacy and security when required. Other
advantages of the system include the speed of object recognition and fast input to a speech
synthesizer for spoken description. Although a TV camera and image processing unit are
required, by attaching the barcode, speech guidance regarding objects or speech explanation
of how to use electrical instruments becomes possible with higher capability of information.
Also it is possible to extend the attachment space compared to the ordinary visible bar code,
which affects the original surface design. © 1998 Scripta Technica.
A blind navigation system using RFID for indoor environments,
Chumkamon, S., Tuvaphanthaphiphat, P., Keeratiwintakorn, P., Department of Electrical
Engineering, King Mongkut's University of Technology, North Bangkok, Thailand, 5th
International Conference on Electrical Engineering/Electronics, Computer,
45
Telecommunications and Information Technology, ECTI-CON 2008, Volume 2, 2008, Article
number 4600543, Pages 765-768
A pilot study on 3G mobile phone and two dimension barcode in classroom
communication and support system,
Chaisatien, P., Akahori, K., Dept. of Human System Science, Graduate School of Decision
Sciences and Technology, Tokyo Institute of Technology, Japan
Proceedings - The 7th IEEE International Conference on Advanced Learning Technologies,
ICALT 2007
2007, Article number 4280965, Pages 111-113
A robotic wayfinding system for the visually impaired
Kulyukin, V., Gharpure, C., Sute, P., De Graw, N. , Nicholson, J.
Department of Computer Science, Utah State University, Logan, UT 84322
Proceedings of the National Conference on Artificial Intelligence
2004, Pages 864-869
A system to aid blind people in the mobility - A usability test and its results
D'Atri, E.a , Medaglia, C.M.a, Serbanati, A.a, Ceipidor, U.B.a, Panizzi, E.b, D'Atri, A.c
a CATTID, Università di Roma La Sapienza, Rome, Italy
b Dipartimento di Informatica, Università di Roma La Sapienza, Rome, Italy
c CeRSI, Luiss Guido Carli University, Rome, Italy
2nd International Conference on Systems, ICONS 2007
2007, Article number 4196337
A u-Health security structure by using 2D barcodes
Shen, T.-W.
Department of Medical Informatics, Tzu Chi University, Hualien, Taiwan
HEALTHCOM 2007: Ubiquitous Health in Aging Societies - 2007 9th International
Conference on e-Health Networking, Application and Services
2007, Article number 4265855, Pages 316-318
Abstract
According to advance technologies, portable medical devices lead our societies to the world
of ubiquitous healthcare, so people may monitor their health at home. When a pervasive
computing system is implemented, there are three main components that should be
considered: compactness, mobility and security. This paper offers a u-Health security solution
from system structure level to the application level by using 2D barcodes. Hopefully, in the
near future, patients can use their cellular phones to remind for taking medication, visiting
doctor appointments, and checking drug information. Moreover, it can be used for PC, ATM,
and network access control as well as for transaction on security systems. © 2007 IEEE.
An indoor navigation aid designed for visually impaired people
Öktem, R.a, Aydin, E.b, Çaǧiltay, N.E.a
a Department of Electrical and Electronics Engineering, Atilim University, Ankara, Turkey
b Department of Software Engineering, Atilim University, Ankara, Turkey
Proceedings - 34th Annual Conference of the IEEE Industrial Electronics Society, IECON
2008
2008, Article number 4758435, Pages 2982-2987
46
An intelligent wireless bus-station system dedicated to disabled, wheelchair and blind
passengers
Hai-Ying, Z.a b De Sousaf, G.b, Chanet, J.-P.a, Kun-Mean, H.b, Jian-Jin, L.b, De Vaulx, C.b,
Kara, M.b
a Cemagref, UR TSCF, UMR TETIS, France
b Laboratoire LIMOS UMR 6158 CNRS, Blaise Pascal (Clermont-Ferrand II) University,
France
IET Conference Publications
Issue 525, 2006, Page 434
Abstract
The urban public transportation systems are usually not appropriate for disabled, wheelchair
and blind passengers (DWB). This paper introduces the MobiPlus system that aims at
improving the public transportation service so as to meet the needs of DWB. The MobiPlus
system is an intelligent wireless bus-station interactive system with the integration of multiwireless techniques (RFID, ZIGBEE, WiFi, and GPS). It consists of three subsystems: DWB
detection subsystem, wireless communication subsystem, and bus service subsystem. This
paper presents the design of the MobiPlus wireless interactive system at different levels, such
as hardware, software and protocol, and also gives the function description of its three
subsystems. Currently, this system has been implemented and is under evaluation at
Clermont-Ferrand city, France.
An RF ID-based point-and-listen interface providing library access for the visually
impaired
Fallman, D., Lindbergh, K., Fjellstrom, O., Johansson, L., Nilbrink, F., Bogren, L.
Umeå Design Research Group, Umeå Institute of Design, Umeå University, SE-90187, Umeå,
Sweden
Lecture Notes in Computer Science (including subseries Lecture Notes in Artificial
Intelligence and Lecture Notes in Bioinformatics)
Volume 4556 LNCS, Issue PART 3, 2007, Pages 269-278
Abstract
We present the AudioIndex prototype, a light-weight mobile RFID-based point-and-listen
interface that allows visually impaired to browse and search for audio books within a public
library without the need for library staff guidance. AudioIndex has been specifically designed
to fit well into the library environment and its routines, a fit made possible by carefully
considering interaction styles and by solving a number of technical design challenges,
including distribution of data, hardware platform, and RFID specifications. © Springer-Verlag
Berlin Heidelberg 2007.
An RFID based system for assisted living - Challenges and solutions
Symonds, J.a , Parry, D.a b, Briggs, J.b
a School of Computing and Mathematics, Auckland University of Technology, Auckland,
New Zealand
b School of Computing, University of Portsmouth, Portsmouth, United Kingdom
Journal on Information Technology in Healthcare
Volume 5, Issue 6, 1 December 2007, Pages 387-398
Abstract
Radio-frequency Identification (RFID) offers a potentially flexible and low cost method of
locating objects and tracking people within buildings. RFID systems generally require less
47
infrastructure to be installed than other solutions but have their own limitations. As part of an
assisted living system, RFID tools may be useful to locate lost objects, support blind and
partially sighted people with daily living activities and assist in the rehabilitation of adults
with acquired brain injury. This paper outlines the requirements and the role of RFID in
assisting people in these three areas. The development of a prototype RFID home support tool
is described and some of the issues and challenges raised are discussed. The system is
designed to support assisted living for elderly and infirm people in a simple, usable and
extensible way in particular for supporting the finding and identification of commonly used
and lost objects such as spectacles. This approach can also be used to extend the tagged
domain to commonly visited areas, and provide support for the analysis of common activities,
and rehabilitation. © The Journal on Information Technology in Healthcare.
Bar code reading from images captured by camera phones
Wang, K., Zou, Y., Wang, H.
Nokia Research Center, China
Abstract
Bar codes are being widely used in many fields for applications of great commercial value.
By encoding a series of characters or symbols, bar codes are able to both carry explicit
information and a database key. Nowadays, The availability of imaging phones provides
people a mobile platform for decoding bar code rather than the use of the conventional
scanner which is lack of mobility. However, the short-distance capture of bar codes using an
imaging phone inevitably makes bar code images blurred, meanwhile, these images are
contaminated heavily with noises. Hence, it is a challenge for automatic bar code reading by
imaging phones in such applications. In this paper, research effort on the algorithms of bar
code reading by real NOKIA imaging phone products is proposed and EAN-13, a widely used
1-D bar code standard, is taken as an example to show the efficiency of the method. The
method, of course, can be extended to other bar code standards without much effort. A
wavelet-based bar code area location and knowledge-based bar code character segmentation
scheme is applied to extract bar code characters under poor image quality of real conditions.
Then the waveforms of the 12 marked divisions are input to the decoding engine, which is
called statistical recognition block, and final decoding decision is made. Training of the
statistical classifiers is based on the modified GLVQ (Generalised Learning Vector
Quantization) method and the initial feature extraction is based on LDA (Linear Discriminant
Analysis). Training samples are from the database contains over 1,100 bar code images taken
by an imaging phone and the sample set is extended by manually shifting (distortion) of the
original samples to cover more possibilities of occurrence. Nearly 300 EAN-13 bar code
images taken by imaging phone (NOKIA 3650) without micro-lens are tested to prove the
effectiveness of the proposed method. The entire symbol recognition rate is 85.62%, which is
desirable for the first kick-off of the attempt to implement bar code reading applications in the
camera phone products. Bar code images taken with micro-lens or optical zoom functionality
are also tested and the entire symbol recognition rate is nearly hundred percent.
Bar code recognition in complex scenes by camera phones
Liu, Y., Yang, B., Yang, J.
School of Information Science and Engineering, University of Jinan, Jinan 250022, China
Proceedings - 4th International Conference on Natural Computation, ICNC 2008
Volume 5, 2008, Article number 4667477, Pages 462-466
Abstract
48
Mobile phones with a camera function are capable of capturing image and processing tasks.
Quick Response Code has been widely used in industrial information tagging applications
where high data capacity, robust error corrections are required. It has become a kind of mobile
2D barcode which is used widely in China and Japan. In deal with the influence by the
different light conditions and noise, a novel recognition algorithm is given in this paper. First,
we combine filter, rough location and binarization to erase noises and reduce computation.
Then, we propose an accurate location and orientation, skew correction with the help of
alignment patterns algorithm to build a bar code grid. Finally, we use error correction and
decoding process to generate the result. Our simulation results show that the proposed
schemes is accurate, fast and can significantly reduce the influence of non-uniform
illumination by achieving up to 98 percent in recognition rate. © 2008 IEEE.
Barcode readers using the camera device in mobile phones
Ohbuchi, E.a d, Hanaizumi, H.b e, Hock, L.A.c f
a NEC Electronics
b Hosei University
c NEC Electronics Singapore
d Mobile Systems Division, NEC Electronics Corporation, 1753, Shimonumabe, Kawasaki,
Kanagawa 211-8666, Japan
e Computer and Information Science, Hosei University
f Engineering Division, NEC Electronics Singapore Pte Ltd., 238A Thomson Rd. #12-08
Novena Sq., Singapore 307684
Proceedings - 2004 International Conference on Cyberworlds, CW 2004
2004, Pages 260-265
Abstract
This paper shows new algorithms and the implementations of image reorganization for
EAN/QR barcodes in mobile phones. The mobile phone system used here consists of a
camera, mobile application processor, digital signal processor (DSP), and display device, and
the source image is captured by the embedded camera device. The introduced algorithm is
based on the code area found by four corners detection for 2D barcode and spiral scanning for
ID barcode using the embedded DSP. This algorithm is robust for practical situations and the
DSP has god enough performance for the real-time recognition of the codes. The performance
of our image processing is 66.7 frames / sec for EAN code and 14.1 frames / sec for QR code
image processing, and this is sufficient performance for practical use. The released mobile
phone had performance of 5-10 frames / sec including OS and subsystem overheads. © 2004
IEEE.
Barcode-scanner aid for visually-impaired people
Damper, R.I., Garner, D., Jordan, G., Rahman, A., Saunders, C.
Univ of Southampton, Southampton, United Kingdom
Annual International Conference of the IEEE Engineering in Medicine and Biology Proceedings
Issue 1, 1996, Pages 397-398
Abstract
Visually-impaired people living independently face problems in determining the contents of
packaged foods, both at home and when shopping in modern, `self-service' stores. This work
was aimed at assessing the feasibility of using product barcodes as an aid to the identification
of package contents. Technical feasibility has been addressed by production of a prototype
49
bar-code scanner featuring synthetic speech output. Human factors assessment of the
prototype is ongoing. Wider issues (e.g. economic and social) are also receiving attention.
Business model and outlook for a 2D barcode service for mobile phones in China
Ouyang, Z., Zhang, B.
School of Economics and Management, Beijing University of Posts and Telecommunications
Proceedings of 2008 IEEE International Conference on Service Operations and Logistics, and
Informatics, IEEE/SOLI 2008
Volume 1, 2008, Article number 4686516, Pages 842-847
Abstract
In this paper, we describe the business pattern of the 2D barcode service for mobile phones in
China; pose 4 classification systems for 2D barcode service applications and divide 2D
barcode service applications for cell phones into 4 functions: data read model, online decode
model, decode confirm model and decode communication model. By means of industry chain
analysis, we derive two main income sources, which are direct income and indirect income.
Finally, we utilize the analysis model for telecom value-added service, and predict the outlook
for the service's development by combining the specific characteristics of 2D barcode and
evaluating the capacity for its production and diffusion. ©2008 IEEE.
Closet Buddy Dressing the visually impaired
Rose, J.
Georgia Southern University, PO Box 16849, Statesboro, GA 30460
Proceedings of the Annual Southeast Conference
Volume 2006, 2006, Pages 611-615
Abstract
There are approximately 180 million persons in the world today that are blind. Although there
have been a multitude of advancements in the field of optometry and surgery, most of these
visually impaired persons will never see an improvement in their condition. The Closet Buddy
system was designed to allow visually-impaired users to select outfits and find the appropriate
clothing in their closet. Utilizing an interface designed for the visually-impaired, users will be
picking out their own clothes and dressing to impress in no time.
Color targets Fiducials to help visually impaired people find their way by camera
phone
Coughlan, J.a, Manduchi, R.b
a Rehabilitation Engineering Research Center, Smith-Kettlewell Eye Research Institute, San
Francisco, CA 94115, United States
b University of California, Santa Cruz, CA 95064, United States
Abstract
A major challenge faced by the blind and visually impaired population is that of wayfinding the ability of a person to find his or her way to a given destination. We propose a new
wayfinding aid based on a camera cell phone, which is held by the user to find and read aloud
specially designed machine-readable signs, which we call color targets, in indoor
environments (labeling locations such as offices and restrooms). Our main technical
innovation is that we have designed the color targets to be detected and located in fractions of
a second on the cell phone CPU, even at a distance of several meters. Once the sign has been
quickly detected, nearby information in the form of a barcode can be read, an operation that
typically requires more computational time. An important contribution of this paper is a
principled method for optimizing the design of the color targets and the color target detection
algorithm based on training data, instead of relying on heuristic choices as in our previous
50
work. We have implemented the system on Nokia 7610 cell phone,and preliminary
experiments with blind subjects demonstrate the feasibility of using the system as a real-time
wayfinding aid.
Developing a camera-phone-based drug barcode reader and support system.
Chen, W.C., Chang, P, Chen, L.F.
Institute of Health Informatics and Decision Making, National Yang-Ming University, Taipei,
Taiwan / R.O.C.
AMIA ... Annual Symposium proceedings / AMIA Symposium. AMIA Symposium
2006, Page 882
Abstract
The Food and Drug Administration (FDA) published a rule that require certain human drug
and biological product labels to have a linear bar code, to help reduce the number of
medication errors. This paper descripts a software support system for care givers and patients
to identify the barcode use a camera phone. It is an economical and effective way if we can
create software to help people to identify the barcode and show the information they need just
on their phone.
Development of a novel finder pattern for effective color 2D-barcode detection
Kato, H.a, Tan, K.T.b, Chai, D.c
a Edith Cowan University, School of Computer and Information Science, 2 Bradford Street,
Mount Lawley, WA 6050, Australia
b School of Computer and Information Science, 2 Bradford Street, Mount Lawley, WA 6050,
Australia
c School of Engineering, 270 Joondalup Drive, Joondalup, WA 6027, Australia
Proceedings of the 2008 International Symposium on Parallel and Distributed Processing with
Applications, ISPA 2008
2008, Article number 4725260, Pages 1006-1013
Abstract
With a camera mobile phone, which has become a "must-have" device, 2D-barcode works as
an interface to bridge the physical and digital world. As the notion of ubiquitous computing
has permeated, developing a new 2D-barcode and its applications has been a growing trend
worldwide. A 2D-barcode symbol consists of two broad areas: data area and guide area. The
components of the latter is collectively called "finder pattern" and used in locating the 2Dbarcode symbol. The failure of finding the target symbol prevents a barcode reader from
successfully decoding the barcode. Hence, designing a functional finder pattern is one of the
key for improving the robustness of barcode reading, and thus, the entire 2D-barcode system.
We have designed a novel finder pattern integrated with a color 2D-barcode for camera
mobile phone applications. Through the development and evaluation of the finder pattern for
effective color 2D-barcode detection, this paper discusses keys to improve the functionality
and reliability of finder patterns, which should be kept in mind when designing a finder
pattern for any 2D-barcode symbol. © 2008 IEEE.
Electronic clipping system with invisible barcodes
Kamijo, K., Kamijo, N., Sakamoto, M.
Tokyo Research Laboratory, IBM Japan, 1623-14 Shimotsuruma, Yamato-shi, Kanagawa,
Japan
Proceedings of the 14th Annual ACM International Conference on Multimedia, MM 2006
2006, Pages 753-762
51
Abstract
The Internet, digital television, and similar technologies have accelerated the speed of
digitalization. Nevertheless, paper media forms, such as newspapers and magazines, still have
large market shares, and the authors believe that these two worlds, digital and analog, will
coexist even in the future, with their own market areas. However, the demands to connect
between these two worlds are increasing, and barcodes and watermarking are examples of
technologies used to connect them. However, a barcode occupies space and disrupts the
layout of an article, and watermarking has limited capacity for embedding data.In this paper,
we propose an "electronic clipping system with invisible barcodes", which connects the
analog and digital worlds, addressing these problems. In this system, we overprint invisible
2D barcodes on printed articles using invisible ink, then take pictures of them using a camera
equipped with a special LED (Light Emitting Diode)that the invisible ink responds to, decode
the encoded data of the 2D barcode after the image is processed, and extract the information.
We developed a code extraction system which can extract the information from invisible 2D
barcodes even if the barcodes are overprinted on the articles in media such as newspapers, and
even if the article is in color. We also made a prototype cell phone which includes both the
barcode extraction code and the LED, and confirmed that we can correctly extract the
information from the pictures taken by the phone. Copyright 2006 ACM.
Enabling platform for mobile content generation based on 2D barcodes
Van Laere, O., Strobbe, M., Leroux, P., Dhoedt, B., De Turck, F., Demeester, P.
Ghent University, IBBT - IMEC, Department of Information Technology, Gaston
Crommenlaan 8 bus 201, 9050 Gent, Belgium
Proceedings of the 2008 International Conference on Internet Computing, ICOMP 2008
2008, Pages 209-214
Abstract
As context-aware (and more specifically location-aware) computing enters the scene of
Internet computing, different location determination techniques are widely accepted.
Although accuracy of some of them is quite good for finegrained location data gathering,
none of these techniques provides a good balance between cost of ownership (infrastructure),
accuracy and ease of use. In this paper we present an enabling platform targeted at mobile
phones to perform focused retrieval of location-dependant content. As it is difficult to perform
exact location determination of mobile users using a single technology, a wrap-up of 2D
barcodes and the camera and connectivity of a mobile phone is used to obtain a perfect fix of
the user's location-aware interest while reducing necessary infrastructure to the bare
minimum. Using this information, very specific user generated content for a certain object on
a certain place can be returned to the user. As an illustration, an interactive city guidance
applicati EPC UHF RFID reader: Mobile phone integration and services
EPC RFID reader
Savolainen, J.T., Hirvola, H., Iraji, S.
Nokia Research Center
Abstract
Electrical identifiers are rushing to overtake and replace traditional identification methods,
like barcodes. Advantages of these new technologies are bigger data capacity and rate, more
reliable reading and no need for line of sight. NFC tags are widely used already for example
in libraries, but the representative of newer technology in UHF frequency band, EPC, is just
around the corner. In this paper, we present the integration of EPC RFID reader to the mobile
phone, as a functional cover. Furthermore, we propose ways to provide services to the user
who reads EPC tags. ©2009 IEEE.
52
on was implemented and evaluated.
An RFID based system for assisted living Challenges and solutions
Symonds, J.a, Parry, D.a b, Briggs, J.b
a School of Computing and Mathematics, Auckland University of Technology, Auckland,
New Zealand
b School of Computing, University of Portsmouth, Portsmouth, United Kingdom
Journal on Information Technology in Healthcare
Volume 5, Issue 6, 1 December 2007, Pages 387-398
Abstract
Radio-frequency Identification (RFID) offers a potentially flexible and low cost method of
locating objects and tracking people within buildings. RFID systems generally require less
infrastructure to be installed than other solutions but have their own limitations. As part of an
assisted living system, RFID tools may be useful to locate lost objects, support blind and
partially sighted people with daily living activities and assist in the rehabilitation of adults
with acquired brain injury. This paper outlines the requirements and the role of RFID in
assisting people in these three areas. The development of a prototype RFID home support tool
is described and some of the issues and challenges raised are discussed. The system is
designed to support assisted living for elderly and infirm people in a simple, usable and
extensible way in particular for supporting the finding and identification of commonly used
and lost objects such as spectacles. This approach can also be used to extend the tagged
domain to commonly visited areas, and provide support for the analysis of common activities,
and rehabilitation. © The Journal on Information Technology in Healthcare.
Bar code reading from images captured by camera phones
Wang, K., Zou, Y., Wang, H.
Nokia Research Center, China
Abstract
Bar codes are being widely used in many fields for applications of great commercial value.
By encoding a series of characters or symbols, bar codes are able to both carry explicit
information and a database key. Nowadays, The availability of imaging phones provides
people a mobile platform for decoding bar code rather than the use of the conventional
scanner which is lack of mobility. However, the short-distance capture of bar codes using an
imaging phone inevitably makes bar code images blurred, meanwhile, these images are
contaminated heavily with noises. Hence, it is a challenge for automatic bar code reading by
imaging phones in such applications. In this paper, research effort on the algorithms of bar
code reading by real NOKIA imaging phone products is proposed and EAN-13, a widely used
1-D bar code standard, is taken as an example to show the efficiency of the method. The
method, of course, can be extended to other bar code standards without much effort. A
wavelet-based bar code area location and knowledge-based bar code character segmentation
scheme is applied to extract bar code characters under poor image quality of real conditions.
Then the waveforms of the 12 marked divisions are input to the decoding engine, which is
called statistical recognition block, and final decoding decision is made. Training of the
statistical classifiers is based on the modified GLVQ (Generalised Learning Vector
Quantization) method and the initial feature extraction is based on LDA (Linear Discriminant
Analysis). Training samples are from the database contains over 1,100 bar code images taken
by an imaging phone and the sample set is extended by manually shifting (distortion) of the
original samples to cover more possibilities of occurrence. Nearly 300 EAN-13 bar code
53
images taken by imaging phone (NOKIA 3650) without micro-lens are tested to prove the
effectiveness of the proposed method. The entire symbol recognition rate is 85.62%, which is
desirable for the first kick-off of the attempt to implement bar code reading applications in the
camera phone products. Bar code images taken with micro-lens or optical zoom functionality
are also tested and the entire symbol recognition rate is nearly hundred percent.
Bar code recognition in complex scenes by camera phones
Liu, Y., Yang, B., Yang, J.
School of Information Science and Engineering, University of Jinan, Jinan 250022, China
Proceedings - 4th International Conference on Natural Computation, ICNC 2008
Volume 5, 2008, Article number 4667477, Pages 462-466
Barcode readers using the camera device in mobile phones
Ohbuchi, E.a d, Hanaizumi, H.b e, Hock, L.A.c f
a NEC Electronics
b Hosei University
c NEC Electronics Singapore
d Mobile Systems Division, NEC Electronics Corporation, 1753, Shimonumabe, Kawasaki,
Kanagawa 211-8666, Japan
e Computer and Information Science, Hosei University
f Engineering Division, NEC Electronics Singapore Pte Ltd., 238A Thomson Rd. #12-08
Novena Sq., Singapore 307684
Proceedings - 2004 International Conference on Cyberworlds, CW 2004
2004, Pages 260-265
Abstract
This paper shows new algorithms and the implementations of image reorganization for
EAN/QR barcodes in mobile phones. The mobile phone system used here consists of a
camera, mobile application processor, digital signal processor (DSP), and display device, and
the source image is captured by the embedded camera device. The introduced algorithm is
based on the code area found by four corners detection for 2D barcode and spiral scanning for
ID barcode using the embedded DSP. This algorithm is robust for practical situations and the
DSP has god enough performance for the real-time recognition of the codes. The performance
of our image processing is 66.7 frames / sec for EAN code and 14.1 frames / sec for QR code
image processing, and this is sufficient performance for practical use. The released mobile
phone had performance of 5-10 frames / sec including OS and subsystem overheads. © 2004
IEEE.
Barcode-scanner aid for visually-impaired people
Damper, R.I., Garner, D., Jordan, G., Rahman, A., Saunders, C.
Univ of Southampton, Southampton, United Kingdom
Annual International Conference of the IEEE Engineering in Medicine and Biology Proceedings
Issue 1, 1996, Pages 397-398
Abstract
Visually-impaired people living independently face problems in determining the contents of
packaged foods, both at home and when shopping in modern, `self-service' stores. This work
was aimed at assessing the feasibility of using product barcodes as an aid to the identification
of package contents. Technical feasibility has been addressed by production of a prototype
bar-code scanner featuring synthetic speech output. Human factors assessment of the
prototype is ongoing. Wider issues (e.g. economic and social) are also receiving attention.
54
Barcoded medication administration - A last line of defense
Cescon, D.W.a, Etchells, E.a b c
a Department of Medicine, University of Toronto, Toronto, ON, Canada
b Department of Medicine, Centre for Health Services Science, Sunnybrook Health Sciences
Centre, Toronto, ON, Canada
c Sunnybrook Health Sciences Centre, 2075 Bayview Ave, Toronto, ON M4N 3M5, Canada
JAMA - Journal of the American Medical Association
Volume 299, Issue 18, 14 May 2008, Pages 2200-2202
Abstract
Drug manufacturers should be required to offer all medications in single-unit dose format,
with barcode labeling. Barcoding requirements should expand to include lot number and
expiration date, and hospitals should be required to implement barcoding as a preferred
form of positive patient identification.
Closet Buddy Dressing the visually impaired
Rose, J.
Georgia Southern University, PO Box 16849, Statesboro, GA 30460
Proceedings of the Annual Southeast Conference
Volume 2006, 2006, Pages 611-615
Abstract
There are approximately 180 million persons in the world today that are blind. Although there
have been a multitude of advancements in the field of optometry and surgery, most of these
visually impaired persons will never see an improvement in their condition. The Closet Buddy
system was designed to allow visually-impaired users to select outfits and find the appropriate
clothing in their closet. Utilizing an interface designed for the visually-impaired, users will be
picking out their own clothes and dressing to impress in no time.
Color targets Fiducials to help visually impaired people find their way by camera
phone
Coughlan, J.a, Manduchi, R.b
a Rehabilitation Engineering Research Center, Smith-Kettlewell Eye Research Institute, San
Francisco, CA 94115, United States
b University of California, Santa Cruz, CA 95064, United States
Abstract
A major challenge faced by the blind and visually impaired population is that of wayfinding the ability of a person to find his or her way to a given destination. We propose a new
wayfinding aid based on a camera cell phone, which is held by the user to find and read aloud
specially designed machine-readable signs, which we call color targets, in indoor
environments (labeling locations such as offices and restrooms). Our main technical
innovation is that we have designed the color targets to be detected and located in fractions of
a second on the cell phone CPU, even at a distance of several meters. Once the sign has been
quickly detected, nearby information in the form of a barcode can be read, an operation that
typically requires more computational time. An important contribution of this paper is a
principled method for optimizing the design of the color targets and the color target detection
algorithm based on training data, instead of relying on heuristic choices as in our previous
work. We have implemented the system on Nokia 7610 cell phone,and preliminary
experiments with blind subjects demonstrate the feasibility of using the system as a real-time
wayfinding aid.
55
Developing a camera-phone-based drug barcode reader and support system.
Chen, W.C., Chang, P., Chen, L.F.
Institute of Health Informatics and Decision Making, National Yang-Ming University, Taipei,
Taiwan / R.O.C.
AMIA ... Annual Symposium proceedings / AMIA Symposium. AMIA Symposium
2006, Page 882
Abstract
The Food and Drug Administration (FDA) published a rule that require certain human drug
and biological product labels to have a linear bar code, to help reduce the number of
medication errors. This paper descripts a software support system for care givers and patients
to identify the barcode use a camera phone. It is an economical and effective way if we can
create software to help people to identify the barcode and show the information they need just
on their phone.
Dynamic 2D-barcodes for multi-device Web session migration including mobile phones
Alapetite, A.
Department of Management Engineering, Technical University of Denmark,
Produktionstorvet 426-A, Kongens Lyngby, 2800, Denmark
Abstract
This article introduces a novel Web architecture that supports session migration in multidevice Web applications, particularly the case when a user starts a Web session on a computer
and wishes to continue on a mobile phone. The proposed solution for transferring the needed
session identifiers across devices is to dynamically generate pictures of 2D-barcodes
containing a Web address and a session ID in an encoded form. 2D-barcodes are a cheap, fast
and robust approach to the problem. They are widely known and used in Japan, and are
spreading in other countries. Variations on the topic are covered in the article, including a
possible migration from a mobile device to a computer (opposite direction), and between two
or more mobile phones (possibly back and forth). The results show that this HCI approach is
inexpensive, efficient, and works with most camera-phones on the market; the author does see
any other mature technique with such assets. © 2009 Springer-Verlag London Limited.
Electronic clipping system with invisible barcodes
Kamijo, K., Kamijo, N., Sakamoto, M.
Tokyo Research Laboratory, IBM Japan, 1623-14 Shimotsuruma, Yamato-shi, Kanagawa,
Japan
Proceedings of the 14th Annual ACM International Conference on Multimedia, MM 2006
2006, Pages 753-762
Abstract
The Internet, digital television, and similar technologies have accelerated the speed of
digitalization. Nevertheless, paper media forms, such as newspapers and magazines, still have
large market shares, and the authors believe that these two worlds, digital and analog, will
coexist even in the future, with their own market areas. However, the demands to connect
between these two worlds are increasing, and barcodes and watermarking are examples of
technologies used to connect them. However, a barcode occupies space and disrupts the
layout of an article, and watermarking has limited capacity for embedding data.In this paper,
we propose an "electronic clipping system with invisible barcodes", which connects the
analog and digital worlds, addressing these problems. In this system, we overprint invisible
2D barcodes on printed articles using invisible ink, then take pictures of them using a camera
equipped with a special UV-LED (Light Emitting Diode)that the invisible ink responds to,
decode the encoded data of the 2D barcode after the image is processed, and extract the
56
information. We developed a code extraction system which can extract the information from
invisible 2D barcodes even if the barcodes are overprinted on the articles in media such as
newspapers, and even if the article is in color. We also made a prototype cell phone which
includes both the barcode extraction code and the LED, and confirmed that we can correctly
extract the information from the pictures taken by the phone. Copyright 2006 ACM.
Enabling platform for mobile content generation based on 2D barcodes
Van Laere, O., Strobbe, M., Leroux, P., Dhoedt, B., De Turck, F., Demeester, P.
Ghent University, IBBT - IMEC, Department of Information Technology, Gaston
Crommenlaan 8 bus 201, 9050 Gent, Belgium
Proceedings of the 2008 International Conference on Internet Computing, ICOMP 2008
2008, Pages 209-214
Abstract
As context-aware (and more specifically location-aware) computing enters the scene of
Internet computing, different location determination techniques are widely accepted.
Although accuracy of some of them is quite good for finegrained location data gathering,
none of these techniques provides a good balance between cost of ownership (infrastructure),
accuracy and ease of use. In this paper we present an enabling platform targeted at mobile
phones to perform focused retrieval of location-dependant content. As it is difficult to perform
exact location determination of mobile users using a single technology, a wrap-up of 2D
barcodes and the camera and connectivity of a mobile phone is used to obtain a perfect fix of
the user's location-aware interest while reducing necessary infrastructure to the bare
minimum. Using this information, very specific user generated content for a certain object on
a certain place can be returned to the user. As an illustration, an interactive city guidance
application was implemented and evaluated.
EPC UHF RFID reader: Mobile phone integration and services
First read rate analysis of 2D-barcodes for camera phone applications as a ubiquitous
computing tool
Kato, H., Tan, K.T.
School of Computer Science and Information Science, Edith Cowan University, 2 Bradford
Street, Mount Lawley, WA 6050, Australia
IEEE Region 10 Annual International Conference, Proceedings/TENCON
2007, Article number 4428778
Abstract
This paper presents a detailed study on the first read rate (FRR) of seven 2D-barcodes
currently used for camera phone applications. The study revealed a few surprising
observations. Through our analysis, we identified three key factors to improve the robustness
of 2D-barcode reading, the range of the reading distance and the stability of the readers. This
will contribute to the widespread use of 2D-barcode mobile technology as a ubiquitous
computing tool. ©2007 IEEE.
Guidance system for handicapped people
Matsubara, H., Fukazawa, N., Myojo, S., Tsuchiya, R.
Passenger Information Systems, Transport Information Technology Division
Quarterly Report of RTRI (Railway Technical Research Institute) (Japan)
Volume 46, Issue 1, February 2005, Pages 13-17
Abstract
57
This paper describes the design and implementation of a common information infrastructure
for passenger support systems. Based on this infrastructure, we have developed various
guidance systems for use not only by the transportation disadvantaged, including visuallyimpaired and wheelchair users, but also by non-impaired people. By using the common
infrastructure, we can build various guidance systems in a more cost-effective way. We have
achieved this goal by developing a common access interface to user position databased on
radio frequency identification (RFID) technologies and a method to describe guidance data
which can be used for a variety of guidance systems. We have also developed prototype
guidance systems based on this common information infrastructure.
How RFID technology can assist the visually impaired: The sesamonet system
Barboni, M., Rizzo, F. , Azzalin, G., Sironi, M.
Joint Research Centre of the European Commission, Institute for the Protection and Security
of the Citizen, Via E. Fermi 2749, 21020 Ispra (Va), Italy
RFID Technology - Concepts, Applications, Challenges - Proceedings of the 2nd International
Workshop on RFID Technology - Concepts, Applications, Challenges, IWRT 2008; In
Conjunction with ICEIS 2008
2008, Pages 142-148
Abstract
The Project's objective is the development of an integrated system to increase mobility of
people with disabilities and their personal safety and security, by identifying a secure path to
walk through selected areas, particularly for people with visual disability. This is done
through the use of mature and proven technologies (RFID, antennas, bluetooth, etc.) which
only have to be integrated for this specific application.The system is based on 3 main
components: a path made of transponders, a custom- designed walking cane and a smart
phone. Each RFID tag is associated to a message or a small beep. The system describes the
environment and warns the user if there is a potential danger such as a road crossing or a step.
How will RFID impact on pharmaceutical packaging and patient compliance?
Niemiec, M.A.
DDMS Holdings, United States
Abstract
The impact of RFID technology in pharmaceutical packaging and patient compliance is
presented. Unit dose blister packaging using RFID can aid in reducing adverse events
including death from errors. Unit dose intelligent packaging can tracks when pill is removed
from unit dose cell, which improved patient compliance. RFID technology also has
advantages including no need for a power source on the blister pack, wireless technology
allows real time monitoring of drug compliance and transfers compliance data to a hospital
mainframe or Website.
Imaging with Depth extension - Where are the limits in fixed-focus cameras?
Bakin, D., Keelan, B.
Micron Technology, Inc., 3080 North 1st Street, San Jose, CA 95134-5134, United States
Proceedings of SPIE - The International Society for Optical Engineering
Volume 7061, 2008, Article number 706106
Abstract
The integration of novel optics designs, miniature CMOS sensors, and powerful digital
processing into a single imaging module package is driving progress in handset camera
systems in terms of performance, size (thinness) and cost. The miniature cameras
incorporating high resolution sensors and fixed-focus Extended Depth of Field (EDOF) optics
58
allow close-range reading of printed material (barcode patterns, business cards), while
providing high quality imaging in more traditional applications. These cameras incorporate
modified optics and digital processing to recover the soft-focus images and restore sharpness
over a wide range of object distances. The effects a variety of parameters of the imaging
module on the EDOF range were analyzed for a family of high resolution CMOS modules.
The parameters include various optical properties of the imaging lens, and the characteristics
of the sensor.The extension factors for the EDOF imaging module were defined in terms of an
improved absolute resolution in object space while maintaining focus at infinity. This
definition was applied for the purpose of identifying the minimally resolvable object details in
mobile cameras with bar-code reading feature. © 2008 SPIE.
Imaging vs laser - When and where to use these bar code scanning technologies
Page, H.
Symagery
Abstract
The barcode scanning technologies such as Imager-based system and Laser scanner are
discussed. Laser scanner use laser beams as the light source and typically employ one or two
suspended sweeping mirror assemblies, using the laser to scan the barcode. Imager-based
system use a small video camera to capture an image of a barcode, where the reader uses
sophisticated digital image processing techniques to decipher the barcode. It is observed that
for a single purpose data capturing from 1D or pseudo two-dimensional barcodes, laser
scanner proved to be the best option, while Imaging technology is versatile in the case of 2D,
postal codes, graphics, text, signatures, pictures or machine readable information in addition
to 1D codes.
Improving efficiency in the Pharmaceutical Supply Chain and effectiveness of patient s
Safety through Intelligent Packaging Objectives and results of the European DRIVE
Project
Sanna, A.a, Bartolini, A.b, Giannotti, R.b
a Hospital San Raffaele Italy
b AstraZeneca Spa Italy
Abstract
The objectives and results of a European DRIVE project involving the incorporation of
intelligent packaging for improving efficiency in the pharmaceutical supply chain and
effectiveness of patient's safety are discussed. The objectives of the project included
developing safer, smarter, and trusted healthcare systems. The strategies adopted were
effienct product movement, efficient order management, and efficient information sharing.
Inventory management control, continuous replenishment process, product packaging and
handling, electronic product information, purchase order to payment, and electronic customer
information are few of the solutions provided.
Influence of font sizes on the readability and comprehensibility of package inserts
Fuchs, J.a b d, Heyer, T.a c, Langenhan, D.a c, Hippius, M.c
a PAINT-Consult, Jena, Germany
b Department of Drug Regulatory Affairs, Institute of Pharmacy, University of Bonn, Bonn,
Germany
c Institute of Clinical Pharmacology, Friedrich Schiller University, Jena, Germany
d PAINT-Consult, Friedrich-Engels-Str.19, 07749 Jena, Germany
Pharmazeutische Industrie
Volume 70, Issue 5, 2008, Pages 584-592
59
Abstract
The new European readability guideline draft for package inserts recommends a minimal font
size of 12 pt and 16 to 20 pt for medicines which are more frequently used by visually
impaired patients. However, research results illustrate that smaller font sizes are easier to
read. Therefore, the written readability test was used to investigate how font size influenced
the information locatability and comprehensibility. Fifteen questions focusing on the package
insert contents and 17 questions focusing on participants' opinions were compiled. The study
examined one package insert available on the German medicines market and its optimized
model version. Both were printed in 9 different font sizes, between 7 and 16 pt. The 205
participants were significantly more often unable to locate and understand information in the
original, 6.7 to 16.0% and 15.0 to 27.0%, as compared to the model, 2.8 to 6.7% and 9.2 to
14.7%. Font size only had a minor influence on locatability compared to other optimization
possibilities, optimal being between 9 to 12 pt. However, larger font sizes decreased the
locatability, while comprehensibility was not influenced. On the basis of these findings the
new readability guideline draft for package inserts should be reconsidered. The 9 pt font size
is ideal and more realistic and therefore should be recommended in this guideline, as the
minimum used in package inserts. © ECV Editio Cantor Verlag.
Innovations in pharmaceutical packaging - Smart blister packs
Harrop, P.
IDTechEx Ltd, Downing Park Innovation Centre, Swaffham Bulbeck, Cambridge CB5 0NB,
United Kingdom
Pharmaceutical Technology Europe
Volume 15, Issue 1, 1 January 2003, Pages 47-50
Abstract
Packaging technology is moving into the 21st century with innovative and cost-effective
developments, including sound, moving images and even tracking devices. What was once
deemed science fiction is rapidly becoming science fact. This article explores the latest
developments in blister pack technology, discussing the range of benefits to both
pharmaceutical manufacturers and patients.
Locating and decoding EAN-13 barcodes from images captured by digital cameras
Chai, D., Hock, F.
Visual Information Processing Research Group, School of Engineering and Mathematics,
Edith Cowan University, 100 Joondalup Drive, Joondalup WA 6027 Perth, Australia
2005 Fifth International Conference on Information, Communications and Signal Processing
Volume 2005, 2005, Article number 1689328, Pages 1595-1599
Abstract
In this paper, we propose a vision-based technique to locate and decode EAN-13 barcodes
from Images captured by digital cameras. The ultimate aim of our approach Is to enable
electronic devices with cameras such as mobile phones and Personal Digital Assistants
(PDAs) to act as a barcode reader. ©2005 IEEE.
Marketing Innovation Pharmaceutical packaging Technology and design requirements
are on the rise
Munzel, J.
Journal of Medical Marketing
Volume 7, Issue 2, March 2007, Pages 136-145
Abstract
60
This paper provides an overview of the current requirements for pharmaceutical packaging
and highlights the challenges faced by the pharmaceutical industry and packaging
manufacturers. Taking the implementation of Braille for pharmaceutical packaging in
Germany as an example, it is shown how packing manufacturers respond to changes in the
legal environment. At the same time, the reader gains an overview of the latest developments
in packaging technology, which today ensure that pharmaceutical products are child resistant
as well as senior and consumer friendly, and are protected against counterfeiting. In response
to increasing competitive pressure, the pharmaceutical industry has also discovered the
significance of packaging as an important sales instrument. Consequently, apart from
technical challenges, packaging design expectations are increasing as well. The author
demonstrates the possibilities whereby usually rather plain factual pharmaceutical packaging
can live up to modern sales and marketing guidelines thanks to appropriate finishing
technologies.
Marking in the surroundings by data-carriers for the visually impaired
Tatsumi, H.a, Murai, Y.b, Nagai, N.a, Miyakawa, M.a
a Department of Computer Science, Tsukuba University of Technology (NTUT), 4-12-7
Kasuga, Tsukuba, Ibaraki 305-8521, Japan
b School of Pharmacy, Nihon Pharmaceutical University, 10281 Komuro, Ina-cho, KitaAdachi-gun, Saitama 362-0806, Japan
Lecture Notes in Computer Science (including subseries Lecture Notes in Artificial
Intelligence and Lecture Notes in Bioinformatics)
Volume 4061 LNCS, 2006, Pages 1259-1264
Abstract
We are conducting a research project aimed at building an information secured environment
for the visually impaired, especially in our campus, by combining data-carrier technology and
networks. We use RFID tags and networks to keep the environmental information and to trace
the changes in the environment. Our approach is the following: 1. In the mental map kept by
the visually impaired person landmarks play a significant role, 2. We can turn any object
(location) in the surroundings into a landmark by attaching an RFID tag to it, 3. The changes
in the environment could be recognized, at least roughly, by recognizing changes of
landmarks. We outline two methods to trace the changes of locations of RFID tags in the
environment. The first one is to detect the moves of active RFID tags directly by analyzing
the signals emitted from them. The second one is to trace the moves of passive RFID-tags by
autonomous cruising robots. In both cases the changes are kept and updated in the network,
and then conveyed to a visually impaired person according to his inquiry. © Springer-Verlag
Berlin Heidelberg 2006.
Media delivery to remote renderers controlled by the mobile phone
Fasbender, A.a, Gerdes, M.a, Matsumura, T.b, Häber, A.c, Reichert, F.c
a Ericsson Research, Aachen, Germany
b Ericsson Research, Tokyo, Japan
c Faculty of Engineering and Science, University of Agder, Grimstad, Norway
Abstract
In today's content delivery solutions, service delivery and control are still tightly coupled, a
service typically being delivered to the same device that controls the session. We present a
solution that was designed with the goal to decouple service control and delivery. Using our
approach, multimedia streaming services can be delivered to off-the-shelf DLNA devices in
visited networks. The service provider receives information about the remote media player
and access environment via a mobile phone. Proximity technologies (e.g. barcodes, NFC) of
61
the control device are used for the exchange of required credentials. This paper describes a
typical scenario and our prototype implementation. ©2009 IEEE.
Mobile phone based interaction with everyday products - On the go
Adelmann, R.
ETH Zurich, Institute for Pervasive Computing, Clausiusstrase 59, 8092 Zurich, Switzerland
NGMAST 2007 - The 2007 International Conference on Next Generation Mobile
Applications, Services and Technologies, Proceedings
2007, Article number 4343402, Pages 63-69
Abstract
Linking the physical world with information and services is a powerful concept. Even though
RFID technology is very promising, the widespread use of RFID tags on retail products
remains unlikely for the next years. In contrast, barcodes are ubiquitous - printed on virtually
all consumer items world-wide. Recently there is an increasing interest in applications based
on the recognition of standard 1D barcodes using the built-in cameras of mobile phones. Since
many of the potential applications are especially useful when being "on the go", e.g., while
shopping, a simple and fast user interaction is essential. In this paper we want to present two
contributions that enable such a simple and fast interaction with everyday products and their
services: A system for the recognition of 1D barcodes on mobile phones that differs in two
aspects from already existing solutions: the fast and robust real-time recognition of codes on
the camera's video images as well as the live detection of additional code parameters, like the
barcode's relative orientation to the mobile phone. Besides that, we present and suggest the
usage of these additional parameters in order to ease and accelerate the user interaction
process - for example with the help of orientation sensitive menus. © 2007 IEEE.
Mobile robot exploration in indoor enivronment using topological structure with
invisible barcodes
Huh, J.a, Chung, W.S.b, Nam, S.Y.c, Chung, W.K.d
a 1st R and D Center, Agency for Defense Development, Daejeon, South Korea
b Research Center, Microrobot Co., Ltd.
c Kook Je College, Gyeonggi-do, South Korea
d School of Mechanical Engineering, Pohang University of Science and Technology, Pohang,
South Korea
ETRI Journal
Volume 29, Issue 2, April 2007, Pages 189-200
Abstract
This paper addresses the localization and navigation problem in the movement of service
robots by using invisible two dimensional barcodes on the floor. Compared with other
methods using natural or artificial landmarks, the proposed localization method has great
advantages in cost and appearance since the location of the robot is perfectly known using the
barcode information after mapping is finished. We also propose a navigation algorithm which
uses a topological structure. For the topological information, we define nodes and edges
which are suitable for indoor navigation, especially for large area having multiple rooms,
many walls, and many static obstacles. The proposed algorithm also has the advantage that
errors which occur in each node are mutually independent and can be compensated exactly
after some navigation using barcodes. Simulation and experimental results were performed to
verify the algorithm in the barcode environment, showing excellent performance results. After
mapping, it is also possible to solve the kidnapped robot problem and to generate paths using
topological information.
62
Navigation system for the blind: Auditory display modes and guidance
Loomis, J.M.a, Golledge, R.G.b , Klatzky, R.L.c
a Department of Psychology, University of California, Santa Barbara, CA 93106, United
States
b Department of Geography, University of California, Santa Barbara, CA 93106, United
States
c Department of Psychology, Carnegie Mellon University, Pittsburgh, PA 15213, United
States
Presence: Teleoperators and Virtual Environments
Volume 7, Issue 2, April 1998, Pages 193-203
Abstract
The research we are reporting here is part of our effort to develop a navigation system for the
blind. Our long-term goal is to create a portable, self-contained system that will allow visually
impaired individuals to travel through familiar and unfamiliar environments without the
assistance of guides. The system, as it exists now, consists of the following functional
components: (1) a module for determining the traveler's position and orientation in space, (2)
a Geographic Information System comprising a detailed database of our test site and software
for route planning and for obtaining information from the database, and (3) the user interface.
The experiment reported here is concerned with one function of the navigation system:
guiding the traveler along a predefined route. We evaluate guidance performance as a
function of four different display modes: one involving spatialized sound from a virtual
acoustic display, and three involving verbal commands issued by a synthetic speech display.
The virtual display mode fared best in terms of both guidance performance and user
preferences.
Passive radio frequency exteroception in robot assisted shopping for the blind
Gharpure, C., Kulyukin, V., Jiang, M., Kutiyanawala, A.
Computer Science Assistive Technology Laboratory, Utah State University, Logan, UT
84321, United States
Lecture Notes in Computer Science (including subseries Lecture Notes in Artificial
Intelligence and Lecture Notes in Bioinformatics)
Volume 4159 LNCS, 2006, Pages 51-60
Abstract
In 2004, the Computer Science Assistive Technology Laboratory (CSATL) of Utah State
University (USU) started a project whose objective is to develop RoboCart, a robotic
shopping assistant for the visually impaired. RoboCart is a continuation of our previous work
on RG, a robotic guide for the visually impaired in structured indoor environments. The
determinism provided by exteroception of passive RFID-enabled surfaces is desirable when
dealing with dynamic and uncertain environments where probabilistic approaches like Monte
Carlo Markov localization (MCL) may fail. We present the results of a pilot feasibility study
with two visually impaired shoppers in Lee's Marketplace, a supermarket in Logan, Utah. ©
Springer-Verlag Berlin Heidelberg 2006.
Method and system for identifying and providing additional information about an article to
the visually impaired
Pervasive 2D barcodes for camera phone applications
Kato, H.a b, Tan, K.T.a b
a Edith Cowan University
b School of Computer and Information Science, Edith Cowan Univ., 2 Bradford St., Mount
Lawley, WA 6050, Australia
63
IEEE Pervasive Computing
Volume 6, Issue 4, October 2007, Pages 76-85
Abstract
Six 2D barcodes were reviewed and an additional metric was used to better gauge reading
reliability. The barcodes were divided into two categories that includes database 2D barcodes
and index-based 2D barcodes. The database 2D barcodes include QR Code, VSCode, and
Data Matrix. Several QR Code features can enhance the code's reading robustness, including
error correction, a masking technique, and a structured-append function. The masking
technique allocates the black and white dots evenly and helps prevent pattern duplication. The
structured-append function enhances a QR Code's scalability by dividing the code into a 16
data areas. Veritec's VSCode aims to make mobile applications more secure. A distinctive
feature of VSCode is its high data capacity, which lets its store biometric data for accesscontrol applications. Veritec also offers additional security options through custom designs
that use unique encryption techniques.
Pharmaceutical packaging and labelling for blind and partially sighted people
Gill, J.
Pharmaceutical Technology Europe
Volume 18, Issue 11, November 2006, Pages 34-36 Pharmaceutical packaging and labelling
for blind and partially sighted people
Royal National Institute of the Blind, London, United Kingdom
Abstract
A European Commission directive requires suppliers to incorporate information on medicines
in formats suitable for blind and partially sighted people, although the associated standard has
not been introduced yet. This article looks at some of the issues that wil need to be addressed
when the standard is adopted.
Proposing a hybrid tag-camera-based identification and navigation aid for the visually
impaired
Ebrahim, Y.a, Abdelsalam, W.a, Ahmed, M.b , Chau, S.-C.b
a Dept. of Computing and Information Science, University of Guelph, Guelph, Ont., Canada
b Dept. of Physics and Computer Science, Wilfrid Laurier University, Waterloo, Ont.,
Canada
2005 2nd IEEE Consumer Communications and Networking Conference, CCNC2005
Volume 2005, 2005, Article number 1405164, Pages 172-177
Abstract
In this paper a barcode-based system to help the visually impaired identify objects in the
environment and navigate through unknown territories is introduced. The system is based on
the idea of tagging the different objects with 2D barcodes. With the aid of a portable camera
and a computing device, the system can recognize and relay the barcode content to the user.
We present the advantages of the proposed system compared to those of existing
technologies. The different steps for recognizing and extracting the barcodes are described
and applied to a sample image. © 2004 IEEE.
Providing environmental information by data carrier + networks - Information ensuring
for the visually impaired (1)
Tatsumi, H.a, Murai, Y.b, Miyakawa, M.a, Tokumasu, S.b
a Dept. of Computer Science, Tsukuba College of Technology, 4-12-7, Kasuga, Tsukuba,
Ibaraki, 305-0821, Japan
64
b Dept. of Information and Computer Sciences, Kanagawa Institute of Technology, 1030,
Shimo-ogino, Atsugi, Kanagawa, 243-0292, Japan
Conference Proceedings - IEEE International Conference on Systems, Man and Cybernetics
Volume 4, 2005, Pages 3628-3633
Abstract
Data carrier technology such as barcode and RFID greatly improves information ensuring for
the visually impaired; using the key kept in the data carrier attached to an equipment or
surrounding objects, one can obtain detailed information from a database on the network. The
purpose of the project we report here is the construction of such an information ensured
environment in the college life. In the first part we present two concrete examples: getting a
voice access to announcements on the bulletin board by using barcode, and messaging system
between students and teacher by using RFID tags. In the second part, after giving the idea of
setting marks in the environment by using RFID tags and tracing their moves, we present an
RFID-sensing robot which cruises in the environment and checks changes occurred in it by
using the record in RFID tags; by this we can cope with the dynamic changes of the
environment for information ensuring for the visually impaired. ©2005 IEEE.
Reach out and touch: Using NFC and 2D barcodes for service discovery and interaction
with mobile devices
O'Neill, E.a., Thompson, P.b, Garzonis, S.a, Warr, A.a
a Department of Computer Science, University of Bath, BA2 7AY, United Kingdom
b Vodafone Group R and D, Newbury, RG14 2FN, United Kingdom
Lecture Notes in Computer Science (including subseries Lecture Notes in Artificial
Intelligence and Lecture Notes in Bioinformatics)
Volume 4480 LNCS, 2007, Pages 19-36
Abstract
We investigate the use of 2 tagging technologies: Near Field Communication (NFC) and 2dimensional barcodes. Our investigation combined a field trial and interview based study with
an experimental evaluation. The field trial focused on users' experience of the usability of
NFC for a range of trial services, users' perceptions of NFC use in their daily life context, and
users' suggestions for potential applications of NFC. The tags were embedded in a variety of
postcards, table-top signs and posters. The experimental evaluation compared the ease of use
of NFC and 2D barcodes, operationalised in terms of time taken to read a specified sequence
of tags on posters. We found that for untrained users the 2D barcodes were quicker to use than
the NFC tags but that training significantly improved users' performance with the NFC tags
while having no effect on their performance with the barcodes. © Springer-Verlag Berlin
Heidelberg 2007.
Real-time recognition of two-dimensional barcode based on ARM and DMA
Kun, Z., Baifeng, W., Qiang, Y.
Fudan University, 200433
2006 7th International Conference on Computer-Aided Industrial Design and Conceptual
Design, CAIDC
2006, Article number 4127043
Abstract
Two-dimensional barcode symbology is an emerging technology used for compactly storing
and retrieving information. Accompanied with the development of the technology of 2Dbarcode and speech coding, the dream of storing the speech on the paper has come true. Since
the data capacity of speech 2D-barcode is large and must be decoded with the least delay, a
high-performance, low-cost device is extremely needed in the decoding system. ARM
65
(Advanced RISC Machines) microcontroller is widely used in many fields due to its
characteristics of high-performance, small volume, low power dissipation and low-cost
exactly. This paper proposes a novel implementation of real-time 2D-barcode recognition
using ARM and DMA, which is an important technology used for high speed data transfer.
RecognizeCane - The new concept of a cane which recognizes the most common objects
and safety clues.
Scherlen, A.C., Dumas, J.C., Guedj, B., Vignot, A.
National School of Engineering of St Etienne, 58 rue Parot, 42023 St Etienne, France.
Conference proceedings : ... Annual International Conference of the IEEE Engineering in
Medicine and Biology Society. IEEE Engineering in Medicine and Biology Society.
Conference
Volume 2007, 2007, Pages 6357-6360
Abstract
This paper introduces the new concept of an electronic cane for blind people. While some
systems inform the subject only of the presence of the object and its relative distance,
RecognizeCane is also able to recognize most common objects and environment clues to
increase the safety and confidence of the navigation process. The originality of
RecognizeCane is the use of simple sensors, such as infrared, brilliance or water sensors to
inform the subject of the presence, for example, of a stairway, a water puddle, a zebra
crossing or a trash can. This cane does not use an embedded vision system. RecognizeCane is
equipped with several sensors and microprocessors to collect sensor data and extract the
desired information about the close environment by means of a dynamic analysis of output
signals.
Retinal prosthesis
Weiland, J.D.a b, Liu, W.c, Humayun, M.S.a b
a Doheny Retina Institute, Department of Ophthalmology, Keck School of Medicine, Los
Angeles, CA 90089, United States
b Department of Biomedical Engineering, Viterbi School of Engineering, University of
Southern California, Los Angeles, CA 90089, United States
c Department of Electrical Engineering, Baskin School of Engineering, University of
California, Santa Cruz, CA 95064, United States
Abstract
Retinal prostheses represent the best near-term hope for individuals with incurable, blinding
diseases of the outer retina. On the basis of the electrical activation of nerves, prototype
retinal prostheses have been tested in blind humans and have demonstrated the capability to
elicit the sensation of light and to give test subjects the ability to detect motion. To improve
the visual function in implant recipients, a more sophisticated device is required. Simulations
suggest that 600-1000 pixels will be required to provide visual function such as face
recognition and reading. State-of-the-art implantable stimulator technology cannot produce
such a device, which mandates the advancement of the state of the art in areas such as analog
microelectronics, wireless power and data transfer, packaging, and stimulating electrodes.
Copyright © 2005 by Annual Reviews. All rights reserved.
RFID based indoor navigational aid for persons with severe visual impairments.
Szeto, A.Y., Sharma, S.K.
Department of Electrical and Computer Engineering, San Diego State University, San Diego,
CA. 92182-1309, USA.
66
Abstract
A flexible, low cost, and portable indoor navigational aid for persons who are blind or have
severe visual impairments remains an unmet need and a technical challenge. Whereas devices
using global positioning system (GPS) signals hold promise for navigational assistance in the
outdoor environment, they do not work where GPS signals are absent or greatly attenuated.
Thus a network of navigational beacons is needed for the indoor environment. This paper
describes the promise of an indoor navigational aid that relies on a network of custom
extended-range RFID tags. RFID (radio-frequency identification) technology has the
advantages of being low cost, unobtrusive, and highly flexible in the sense that sight impaired
travelers can use personalized RFID tags to mark indoor locations of their particular interest.
However, commercially available RFID tags have very short detection ranges. To make them
suitable as indoor electronic beacons, their range of detection must be greatly extended. Some
of the technical challenges and proposed solutions that can extend the detection range are
discussed in this paper following an overview of the proposed RFID based indoor
navigational aid.
RFID for aiding the visually impaired recognize surroundings
Tatsumi, H.b, Murai, Y.c, Miyakawa, M.a b
a IEEE
b Department of Computer Science, Tsukuba University of Technology, Ibaraki, 305-8521,
Japan
c School of Pharmacy, Nihon Pharmaceutical University, Saitama, 362-0806, Japan
Conference Proceedings - IEEE International Conference on Systems, Man and Cybernetics
2007, Article number 4414119, Pages 3719-3724
Abstract
For a visually impaired person identifying the landmark he is expecting in his cognitive map
is crucial. To let him do this, we approach as follows: we set landmarks in the environment by
RFIDs and then we identify, trace and localize them. In the first part we describe our
approach in detail, including landmarking by passive RFIDs and tracing them by autonomous
robots. As visually impairedness badly interfere with the detection of changes in the
environment, in the second part, we describe localization of active RFIDs which are deployed
in the room and subject to spontaneous move. Our approach for this problem is: 1. place
several anchoring (fixed) RFIDs, 2. for the estimation of a possible location of movable
RFIDs we use clustering by SOM, 3. we navigate robots iterating the estimation algorithm
until we reach the desired object (RFID). © 2007 IEEE.
RFID in robot assisted indoor navigation for the visually impaired
Kulyukin, V.a, Gharpure, C.a, Nicholson, J.a, Pavithran, S.b
a Department of Computer Science, Utah State University, Logan, UT
b Center for Persons with Disabilities, Utah State University, Logan, UT
2004 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS)
Volume 2, 2004, Pages 1979-1984
Abstract
We describe how Radio Frequency Identification (RFID) can be used in robot-assisted indoor
navigation for the visually impaired. We present a robotic guide for the visually impaired that
was deployed and tested both with and without visually impaired participants in two indoor
environments. We describe how we modified the standard potential fields algorithms to
achieve navigation at moderate walking speeds and to avoid oscillation in narrow spaces. The
experiments illustrate that passive RFID tags deployed in the environment can act as reliable
stimuli that trigger local navigation behaviors to achieve global navigation objectives.
67
RFID in the supply chain: Panacea or Pandora's box?
Dos Santos, B.L.a, Smith, L.S.b
a Department of Computer Information Systems, University of Louisville's, College of
Business
b University of Louisville's, Louis D. Brandeis School of Law
Communications of the ACM
Volume 51, Issue 10, 1 October 2008, Pages 127-131
Abstract
Industrial analysts state that radio frequency identification (RFID) can play a significant role
in effective supply chain management. RFID can provide significant benefits for retailers and
supply chain members, as it can help in reducing counterfeiting, theft, and bullwhip effect. It
can also improve on-shelf availability, customer service, inventory management, downstream
forecasting, warehouse, and back room operations. The RFID technology can replace most of
the existing barcode-based systems that are being used, to identify and track products in a
supply chain. A RFID tag is a small object that can be attached to, or incorporated into any
object, enabling it to be identified and tracked effectively. RFID tags contain silicon chips and
antennas that enable them, to receive and respond to radio-frequency queries from a RFID
reader.
RFID information grid for blind navigation and wayfinding
Willis, S., Helal, S.
Computer and Information Science and Engineering Department, University of Florida,
Gainesville, FL 32611, United States
Proceedings - International Symposium on Wearable Computers, ISWC
Volume 2005, 2005, Article number 1550783, Pages 34-37
Abstract
We describe a navigation and location determination system for the blind using an RFID tag
grid. Each RFID tag is programmed upon installation with spatial coordinates and information
describing the surroundings. This allows for a self-describing, localized information system
with no dependency on a centralized database or wireless infrastructure for communications.
We describe the system and report on its characteristic performance, limitations, and lessons
learned. © 2005 IEEE.
Portable adapter for barcode scanners
Soon, I.Y.a, Yeo, C.K.b, Sng, Y.H.a
a Sch. of Elec. and Electronics Eng., Nanyang Technol. Univ., Nanyang A., Singapore,
Singapore
b School of Applied Science, Nanyang Technol. Univ., Nanyang A., Singapore, Singapore
Microprocessors and Microsystems
Volume 23, Issue 4, 11 October 1999, Pages 217-223
Abstract
Barcode technology presents management with rapid, timely and accurate information and
provides quick turnaround times for customers. Its popularity can be attested by its use in all
the sectors of the industry. Ordinary barcode scanners are linked to personal computers and
hence render the scanner non-portable unless the scanner is connected to a notebook or palmtop computer. One class of portable barcode scanners utilizes wireless transmission
technology, usually radio frequency, which faces problems of limited coverage and radio
interferences. These devices often have a prohibitive price tag, as they comprise a handheld
unit and a base station. Another type of portable scanners has built-in memory units to store
68
the data collected. However, the price is still high. In both cases, users cannot make use of
their existing non-portable scanners but need to replace them with portable ones. This paper
describes the design of a low-cost portable adapter for commercial barcode scanners. The
portable adapter transforms any ordinary barcode scanner into a portable standalone data
collector. It essentially comprises an 8-bit microcontroller with a local memory module for
storing the barcodes. A Liquid Crystal Display and keypad are also integrated for error
checking and correction purposes. Barcode information can subsequently be uploaded to the
host computer via the keyboard port or RS232 link.
Robot-assisted shopping for the visually impaired: Proof-of-concept design and
feasibility evaluation
Kulyukin, V.a c, Gharpure, C.a, Coster, D.b
a Computer Science Assistive Technology Laboratory, Department of Computer Science,
Utah State University, Logan UT
b Department of Mathematics and Statistics, Utah State University, Logan UT
c Department of Computer Science, Utah State University, 4205 Old Main Hill, Logan, UT
84322-4205
Assistive Technology
Volume 20, Issue 2, June 2008, Pages 86-98
Abstract
This article presents RoboCart, a proof-of-concept prototype of a robotic shopping cart for the
visually impaired in supermarkets. RoboCart autonomously leads shoppers to required
locations and cues them through synthetic speech and a portable barcode reader to the salient
features of the environment sufficient for product retrieval. In a longitudinal pilot feasibility
study, visually impaired shoppers (n = 10) used the device to retrieve products in Lee's
MarketPlace, a supermarket in Logan, Utah. The main finding is that RoboCart enables
visually impaired shoppers to reliably and independently navigate to and retrieve products in a
real supermarket. © 2008 RESNA.
Robust recognition of 1-D barcodes using camera phones
Wachenfeld, S., Terlunen, S., Jiang, X.
Computer Vision and Pattern Recognition Group, Department of Computer Science,
University of Münster, Germany
2008 19th International Conference on Pattern Recognition, ICPR 2008
2008, Article number 4761085
Abstract
In this paper we present an algorithm for the recognition of 1D barcodes using camera
phones, which is highly robust regarding the the typical image distortions. We have created a
database of barcode images, which covers typical distortions, such as in homogeneous
illumination, reflections, or blurriness due to camera movement. We present results from
experiments with over 1,000 images from this database using a Matlab implementation of our
algorithm, as well as experiments on the go, where a Symbian C++ implementation running
on a camera phone is used to recognize barcodes in daily life situations. The proposed
algorithm shows a close to 100% accuracy in real life situations and yields a very good
resolution dependent performance on our database, ranging from 90.5% (640z*480) up to
99.2% (2592*1944) The database is freely available for other researchers. © 2008 IEEE.
Search strategies of visually impaired persons using a camera phone wayfinding system
69
Manduchi, R.a, Coughlan, J.b, Ivanchenko, V.b
a University of California, Santa Cruz, CA
b Smith-Kettlewell Eye Research Institute, San Francisco, CA
Lecture Notes in Computer Science (including subseries Lecture Notes in Artificial
Intelligence and Lecture Notes in Bioinformatics)
Volume 5105 LNCS, 2008, Pages 1135-1140
Abstract
We report new experiments conducted using a camera phone wayfinding system, which is
designed to guide a visually impaired user to machine-readable signs (such as barcodes)
labeled with special color markers. These experiments specifically investigate search
strategies of such users detecting, localizing and touching color markers that have been
mounted in various ways in different environments: in a corridor (either flush with the wall or
mounted perpendicular to it) or in a large room with obstacles between the user and the
markers. The results show that visually impaired users are able to reliably find color markers
in all the conditions that we tested, using search strategies that vary depending on the
environment in which they are placed. © 2008 Springer-Verlag Berlin Heidelberg.
Seeing-Is-Believing: Using camera phones for human-verifiable authentication
McCune, J.M.a, Perrig, A.a, Reiter, M.K.b
a CyLab, Electrical and Computer Engineering Department, Carnegie Mellon University,
Pittsburgh, PA, United States
b Department of Computer Science, University of North Carolina, Chapel Hill, NC, United
States
Abstract
Current mechanisms for authenticating communication between devices that share no prior
context are inconvenient for ordinary users, without the assistance of a trusted authority. We
present and analyse Seeing-Is-Believing (SiB), a system that utilises 2D barcodes and cameraphones to implement a visual channel for authentication and demonstrative identification of
devices. We apply this visual channel to several problems in computer security, including
authenticated key exchange between devices that share no prior context, establishment of the
identity of a TCG-compliant computing platform, and secure device configuration in the
context of a smart home. Copyright © 2009, Inderscience Publishers.
Speaking monuments - design and implementation of an RFID based blind friendly
environment
Chaudhry, M.a, Kamran, M.b, Afzal, S.c
a Al-Khawarizmi Institute of Computer Science, University of Engineering and Technology
Lahore
b Department of Electrical Engineering, University of Engineering and Technology Lahore
c Department of Computer Science and Engineering, University of Engineering and
Technology Lahore
2nd International Conference on Electrical Engineering, ICEE
2008, Article number 4553944
Abstract
The research reported here, represents a navigation system for blinds --- a compelling mobile
application of wearable computing that would be not only a challenging task from research
perspective, but also beneficial for society. The objective of this research is to create a
portable, self-contained system that will allow visually impaired individuals to travel through
familiar and unfamiliar environments without the assistance of guides. The user can get
auditory clues about step-by-step walking guidance to move in an indoor environment. This
70
paper focuses on the navigation design limited to a room and experiments show acceptable indoor accuracy. First portable prototype has been tested on a group of blind children from a
training institute in Lahore, Pakistan. The real time experimentation results verify the
significance of our designed system. ©2008 IEEE.
The blind interactive guide system using RFID based indoor positioning system
Na, J.
Hankuk Aviation University, School of Electronics, Telecommunications and Computer
Engineering, Ko Yang Si, Gyung Gi Do, 412-791, South Korea
Lecture Notes in Computer Science (including subseries Lecture Notes in Artificial
Intelligence and Lecture Notes in Bioinformatics)
Volume 4061 LNCS, 2006, Pages 1298-1305
Abstract
In this paper, we designed and implemented the Blind Interactive Guide System (BIGS) for
the blind person to use in the building. The BIGS uses RFID-based indoor positioning system
to acquire the current location information of the user. The system consists of two parts: the
smart floor and the portable terminal unit. The smart floor is a floor of a building where each
tile of the floor has the passive RFID tag which transmits a unique ID number. The portable
terminal unit is an embedded system equipped with an RFID reader as an input device so that
the BIGS can get the current location information of the user. Using the preinstalled map of
the target floor, the blind person can navigate to the final destination. The prototype is
implemented and successfully operated. © Springer-Verlag Berlin Heidelberg 2006.
The development of a white cane which navigates the visually impaired
Shiizu, Y.a, Hirahara, Y.a, Yanashima, K.b, Magatani, K.a
a Department of Electrical Engineering, Tokai University, Japan
b National Rehabilitation Center for the Disabled, Japan
Annual International Conference of the IEEE Engineering in Medicine and Biology Proceedings
2007, Article number 4353464, Pages 5005-5008
Abstract
In this paper, we describe about a developed navigation system that supports the independent
walking of the visually impaired in the indoor space. This system is composed of colored
navigation lines, RFID tags and an intelligent white cane. In our system, some colored
marking tapes are set on along the walking route. These lines are called navigation line. And
also RFID tags are set on this line at each landmark point. The intelligent white cane can
sense a color of navigation line and receive tag information. By vibration of white cane, the
system informs the visually impaired that he/she is walking along the navigation line. At the
landmark point, the system also notifies area information to him/her by pre-recorded voice.
Ten normal subjects who were blind folded with an eye mask were tested with this system.
All of them were able to walk along the navigation line. The performance of the area
information system was good. Therefore, we have concluded that our system will be
extremely valuable in supporting the activities of the visually impaired. © 2007 IEEE.
The research on blind navigation system based on RFID
Bin, D., Haitao, Y., Jiang, L., Xiaoning, Z.
School of Management, University of Science and Technology of China, Hefei, 230026,
China
71
2007 International Conference on Wireless Communications, Networking and Mobile
Computing, WiCOM 2007
2007, Article number 4340289, Pages 2058-2061
Abstract
Based on the investigation about daily activity characteristics and modes of the blind, the
study found that the main difficulties encountered in a trip of the blind included walking on
the road, finding way, taking a bus and looking for usual life-arena. After analyzing the
research and application of actual blind navigation technologies, to solve the demands and
difficulties in the blind trip, the study presents a blind navigation system based on Radio
Frequency Identification (RFID), wireless and mobile communications technologies. The
system consists of RFID tag, portable reader which can be integrated into the blind cane,
mobile phone, Call Center and center information servers. Using this system, the blind are
able to know their location, condition of roads, vicinity buildings, and inquire about the
optimal routes to their destination and available vehicles. The technologies used in this
navigation system are mature, which ensures the system is practical, universal and with
perfect function. © 2007 Crown Copyright.
The value of vision
Knauer, C., Pfeiffer, N.
Universitäts-Augenklinik, Langenbeckstrasse 1, Gebäude 102, 55131 Mainz, Germany
Graefe's Archive for Clinical and Experimental Ophthalmology
Volume 246, Issue 4, April 2008, Pages 477-482
Abstract
Background: The value of vision is assumed to be very high. To verify this assumption and to
assign resources in medical care accordingly, it is necessary to quantify the value of vision.
Although the value of vision is difficult to measure, visual quality of life can be quantified as
a surrogate criterion. The measured value gains even more relevance if a comparison can be
made between visual quality of life and systemic diseases. Multidisciplinary comparisons are
only possible by using utility analysis. Two established methods to measure utility values are
the standard gamble method and the time trade-off method. The purpose of this review is to
find ophthalmologic utility values, and utility values affected by systemic diseases that
correlate to the ophthalmologic ones. Methods: A literature search was conducted though
PubMed of the National Library of Medicine (http://www.ncbi.nlm.nih.gov.lt.ltag.bibl.liu.se;
date: 06.02.2006). The search terms were: "time trade-off/standard gamble" [text word] and
"eye/vision/visual" [text word]; results 24. A report was classified as relevant if visually
impaired persons were tested by the time trade-off method or the standard gamble method, or
if information was provided on the reliability and validity of these measurements in a group of
visually impaired persons. Additional searches were done to find associated publications. A
total of 42 publications were found to be of interest. Results: Results showed that patients,
with 20/30-20/50 visual acuity would be willing to pay 19% of their lifetime to get back
normal visual acuity. Patients with 20/200-20/400 visual acuity would give up 48% of their
lifetime, and blind people would give 60% of their lifetime to regain normal visual acuity.
Comparable utility values are seen in patients with AIDS (21%), patients after a stroke who
are unable to walk and wash themselves without assistance (46%), and bedridden and
incontinent patients following a stroke (66%). Conclusion: Patients attach great value to
vision. The time trade-off method appears to be an appropriate tool to quantify visual quality
of life, and one that can be used to compare utility values of different disease s. © SpringerVerlag 2007.
Trinetra - Assistive technologies for grocery shopping for the blind
72
Lanigan, P.E., Paulos, A.M., Williams, A.W., Rossi, D., Narasimhan, P.
Carnegie Mellon University, Pittsburgh, PA 15213, United States
Abstract
Trinetra aims for cost-effective, assistive technologies to provide an independent groceryshopping experience for the blind by leveraging barcodes and networking diverse embedded
COTS devices. © 2006 IEEE.
Ref finns
U.S. keeps close watch on European Braille directive
Schultz, J.
Folding Carton Industry
Volume 34, Issue 4, July 2007, Pages 58-59
Abstract
New European legislation requires the application of Braille on all pharmaceutical packaging
for the US folding carton manufacturers and suppliers. The directive requires Braille labeling
for medicinal products on the outer, or secondary, packaging that must include the name of
the medicinal product, strength and pharmaceutical form, common name, and multilingual
packaging. The Braille is introduced to make pharmaceutical packaging more easier for the
sight impaired, thus providing another opportunity for growth. Thoro Packaging, a folding
carton manufacturer in Corona, California, has been Braille embossing cartons for several
years and the technology acquired allows to Braille-emboss cartons during diecutting. The
European Carton Makers Association (ECMA) has launched a European code of practice for
the production of Braille on folding cartons. Various other companies are also using Braille
during the diecutting process for further growth opportunities.
Using an audio interface to assist users who are visually impaired with steering tasks
Cohen, R.F., Haven, V., Lanzoni, J.A., Meacham, A., Skaff, J., Wissell, M.
University of Massachusetts Boston, 100 Morrissey Boulevard, Boston, MA 02125
Eighth International ACM SIGACCESS Conference on Computers and Accessibility,
ASSETS 2006
Volume 2006, 2006, Pages 119-124
Abstract
In this paper we describe the latest results in our on-going study of techniques to present
relational graphs to users with visual impairments. Our work tests the effectiveness of the
PLUMB software package, which uses audio feedback and the pen-based Tablet PC interface
to relay graphs and diagrams to users with visual impairments. Our study included human
trials with ten participants without usable vision, in which we evaluated the users' ability to
perform steering tasks under varying conditions. Copyright 2006 ACM.
Utilizing QR code and mobile phones for blinds and visually impaired people
Al-Khalifa, H.S.
Information Technology Department, College of Computer and Information Science, King
Saud University, Riyadh, Saudi Arabia
Lecture Notes in Computer Science (including subseries Lecture Notes in Artificial
Intelligence and Lecture Notes in Bioinformatics)
Volume 5105 LNCS, 2008, Pages 1065-1069
Abstract
In this paper a barcode-based system to help the visually impaired and blind people identify
objects in the environment is introduced. The system is based on the idea of utilizing QR
codes (two-dimensional barcode) affixed to an object and scanned using a camera phone
73
equipped with QR reader software. The reader decodes the barcode to a URL and directs the
phone's browser to fetch an audio file from the Web that contains a verbal description of the
object. Our proposed system is expected to be useful in real-time interaction with different
environments and to further illustrate the potential of our work, two scenarios are presented.
© 2008 Springer-Verlag Berlin Heidelberg.
Virtual leading blocks for the deaf-blind: A real-time way-finder by verbal-nonverbal
hybrid interface and high-density RFID tag space
Amemiya, T.a, Yamashita, J.b, Hirota, K.b, Hirose, M.b
a Grad. Sch. of Info. Sci./Technology, University of Tokyo, 4-6-1 Komaba, Meguro-ku,
Tokyo, 153-8904, Japan
b Res. Ctr. for Adv. Sci./Technology, University of Tokyo, 4-6-1 Komaba, Meguro-ku,
Tokyo, 153-8904, Japan
Proceedings - Virtual Reality Annual International Symposium
2004, Pages 165-172
Abstract
In this paper, we discuss application possibilities of augmented reality technologies in the
field of mobility support for the Deaf-Blind. We propose the navigation system called Virtual
Leading Blocks for the Deaf-Blind, which consists of a wearable interface for Finger-Braille,
one of the commonly used communication methods among Deaf-Blind people in Japan, and a
ubiquitous environment for barrier-free application, which consists of floor-embedded active
radio-frequency identification (RFID) tags. The wearable Finger-Braille interface using two
Linux-based wristwatch computers has been developed as a hybrid interface of verbal and
nonverbal communication in order to inform users of their direction and position through the
tactile sensation. We propose the metaphor of "watermelon splitting" for navigation by this
system and verify the feasibility of the proposed system through experiments.
Slut
74